Hive 导数据的两种方案
作者头像
  • 李静
  • 2019-10-31 06:49:15 4

背景:

有小伙伴询问,在进行数据分析时,经常会使用 hive -e "sql" > result.csv 命令将查询结果导出到 CSV 文件中,但默认情况下,Hive 使用制表符(t)作为分隔符,而 Excel 无法识别这种分隔符。因此,需要将制表符转换为逗号。

方案一:使用 Linux 管道符进行转换

可以使用 sed 工具来实现制表符到逗号的转换:

bash hive -e "select * from table_name limit 100" | sed 's/t/,/g' > result.csv

方案二:使用 Hive 导出数据并指定分隔符

另一种方法是在 Hive 中直接指定输出文件的分隔符,然后将数据导出到本地目录:

bash insert overwrite local directory '/path/to/directory' row format delimited fields terminated by ',' select * from table_name limit 100

这两种方案已经足够满足大多数需求,如果有更好的方法,欢迎分享交流。

希望这些方法能帮到大家。

    本文来源:图灵汇
责任编辑: : 李静
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
方案数据Hive
    下一篇