数据工程-HDFS到Hive导入

by prentiss 2021-05-05

系统通过统一界面的HDFS到Hive导入步骤,实现界面化数据从HDFS到Hive的导入。通过界面点击,添加HDFS到Hive导入步骤至列表,并在列表中选择步骤进行编辑。

1

过程编写

HDFS数据源配置

点击浏览,选择对应HDFS目录中的文件。

Hive目标表配置

目标表可以选择当前数据库中已有的表,也可以选择新表需创建。

原表的话可以选择追加或覆盖。

新表创建参考下图

2

选择对应的HDFS文件,点击预览,然后点击下一步。

3

确定数据格式为text或csv,核对每个字段的字段类型,确认后点击执行即可。

运行记录

用户可通过界面,查看步骤的历史运行记录日志详情。

留言

评论

${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}} · ${{item.date.slice(0, 10)}} 回复

暂时还没有一条评论.