数据流水线-视频

by prentiss 2021-04-25

BDOS Online提供一套数据工作流系统,能够根据时间或数据可用性来运行这些程序和查询,实现任务的编排、调度、监控。并以DAG拖拉拽的方式,全任务管理、监控作业及其依赖关系,提供数据采集、数据处理及数据导出等步骤初始化后的定时自动化调度运行,并支持任务排队和插队机制。

本演示场景以某电商的广告渠道投放及生产系统的Demo数据为例(Demo样例数据约5万条),对渠道数据和生产数据进行采集,将投放的广告数据与生产数据进行深度的关联,得到渠道数据模型,并从广告点击率、获客成本等维度对数据进行分析,最后通过工作流对部分典型环节进行统一调度管理。包含的步骤如下:

第零步:克隆流水线项目至机构项目

第一步:采集行业广告渠道信息和业务数据到HDFS

第二步:把数据从HDFS导入到数仓(Hive)

第三步:进行渠道数据建模,并从广告点击率、获客成本等维度对数据进行分析

第四步:把数据从数仓导入到指定的MySQL库,以便对渠道分析结果进行BI可视化展示

第五步:数据流水线

第六步:BI可视化展示 – Superset (机构用户)

个人用户设置Superset数据源请参考

留言

评论

${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}} · ${{item.date.slice(0, 10)}} 回复

暂时还没有一条评论.