数据工程-文件上传

by prentiss 2021-05-05

通过系统统一界面的文件上传步骤,实现excel、csv格式文件的(批量)上传及HDFS导入。

步骤配置

通过界面点击【数据采集-文件上传】,可通过界面操作上传文件至HDFS目录。点击文件上传步骤,可对该步骤进行编辑。

1

过程编写

文件上传配置

进行配置excel/csv上传格式文件及存储路径等信息

信息项内容备注
HDFS目标目录选择机构项目的默认根目录为:/org/<机构名>/;个人项目的默认根目录为:/user/<当前登陆用户名>/。输入“/”可查看并选择子目录
是否覆盖HDFS目录同名文件根据实际需要进行勾选,勾选后可对HDFS目录下同名文件进行覆盖
文件上传历史管理

管理(历史)上传文件,支持批量文件(单个文件大小不超过100MB)上传。

点击选取文件进行(批量)文件选择,点击上传进行文件上传。文件上传后可对文件列表进行管理,包括:文件重新上传或删除该列表文件。

注:文件列表的删除,不会影响该文件在HDFS中的存储

运行记录

用户可通过界面,查看步骤的历史运行记录详情

留言

评论

${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}} · ${{item.date.slice(0, 10)}} 回复

暂时还没有一条评论.