快速部署数据流水线实战

数据的世界

许多企业正面临着从各个角度生成数据的世界，他们现有的遗留系统可能不是去处理这些数据的最佳选择。尤其在现在大数据的商业领域中，数据存储在各式各样的数据库中，数据流水线需要数周甚至数月才能完成，并且必须由多名工程师维护自定义数据仓库去进行大量资源分配。

而现在，通过BDOS，你可以即时使用可视化的操作面板，只需要几个步骤的点击，就能搭建好一个完整的的数据流水线，这里通过使用一个简单的例子来展示BDOS迅速搭建数据流水线的和可视化整个搭建过程的能力：把MySQL数据库中的数据导入到Hive数据仓库，在Hive里经过计算之后再经过一个ETL程序再次导入回MySQL之中，整个过程你完全不需要考虑众多组件的依赖，数据接口，以及构架搭建。通过BDOS你可以专注在商业智能上的业务处理。

商业场景扩展

增强商业智能

你的企业里面，客户信息的保存可能分散在多个数据库和文件系统中的孤岛中，领导层无法通过不完整的信息做出决策，通过BDOS搭建的数据流水线，可以帮助决策层整合了来自多个源的数据并将其转换为有用的格式，做出基于数据驱动的战略或者运营的决策。

日志聚合

你的企业可能非常需要启动一个日志聚合系统，能从各种服务器或来源收集事件并处理其大量数据。 根据日志事件本身的内容，可以在划分为很多个细分邻域比方说审计，故障检测，预测趋势，以及智能分析。

场景实现

本情景教程需要实现的，是通过BDOS的程序管理模块，来搭建一个完整的数据流水线的过程。在这个教程里面我们使用了，程序管理当中的子模块来配合工作，其中包括：数据采集，HIve，ETL，工作流管理，以及作业管理，去试下一个首先从数据源采集数据到Hive数据仓库，然后对其中的数据进行计算，最后通过ETL的过程将数据导入目标数据库的一个数据流的操作。