数据中台如何落地？| 第二期图文直播文字回放

11月6日晚，智领云第二次社群图文技术直播和大家“见面”了。本次直播中由智领云高级产品经理王龙飞就为什么说数据中台的构建是数字化转型的设计模式创新？数据中台在市场主体数字化转型到底有何效用？选择数据中台的原则是什么？数据中台建设的目标是什么？数据中台究竟应该如何去落地等开发者关心的话题，与社群内的技术小伙伴们进行了深入细致的探讨与交流。

一、数字化转型的现状

企业初期信息化强调的是业务软件的开发和功能的实现，以解决具体的问题。随着系统的增多，各种应用的烟囱效应理所当然的出现，同时在数据使用和利用方面也出现了相同的问题。数据不会用，用不好，成为了当前企业所面对的共同挑战。

基于这些挑战，产生了一些典型的问题，这些典型的问题包括：多业态的管理混乱、系统分散、 信息零碎、数据同步不及时、报告数据不准确、效率低下等。

举一个例子，之前我们帮助过一个大型国企做数字化转型的项目，他们的主要业务是为设备做检测。由于这个业务涉及的流程比较复杂，涉及的部门繁多，每个部门又有自己的业务系统需求，要把这些分散的系统、零碎的信息进行统筹管理，是一个很大的挑战。

同时，数据的同步、数据的分析也是一个大问题，所有部门的数据标准不一致，每一个部门的报告都有不同的内容，谁对谁错无法溯源，更谈不上为决策分析做参考以提高效率了。因此，他们迫切的希望能够实现数字化运营。

二、对于企业和机构这些市场主体来说，实现数字化转型的意义是什么？

首先，企业和机构通过数字化，形成整体业务的数据闭环，从而能够为企业提供数据/AI的赋能；

其次，通过数字化，企业或者机构就可以掌握最全面、最及时、更多维度的业务现状；

第三，通过数字化，可以更加快捷地提升业务应用的迭代和发布速度；

第四，通过数字化，可以打通数据壁垒，消除数据/应用孤岛和烟囱；

第五，可以提高数据能力/价值的复用率；

最后，数字化可以为企业提供量化的ROI，精确监控和计划资源的使用。

三、为什么许多企业或者机构在执行数字化项目时仍然步履维艰？

首先，成本测算问题。数据类的项目属于基础服务，基础服务类的项目都是成本项目，管理者很难估算这个成本投入是否能够得到更多的回报，而如何让这个成本项目变成一个盈利项目，这是一个很现实的问题。很多企业就是由于成本测算的失位，从而导致数字化转型无疾而终。

第二，横向业务数据流转困难。这是因为部门之间业务连接不畅，形成隔阂，从而导致数据人力耦合度很高。简单的讲，就是谁的数据谁知道，其他人都看不懂，协调困难，这也让项目很难执行。

第三，技术能力不足。这一点很多企业应该深有体会，非IT行业的企业，其技术水平一般比较薄弱，这样的条件对于数字化转型过程中的技术准备是难以为计的，最终的结果要么是外包技术人员，要么是大规模的扩展项目预算、招聘员工、组建团队等等，这就很容易造成项目的成本结算超标，导致转型失败。

第四，业务系统异构。这可能是一个普遍的问题，因为大型企业和机构都害怕被绑定，因此，其业务系统通常由多个厂商来开发，年久失维。同时，形成了大量的异构数据，在数据标准上难以统一，治理难度就变得很大。

最后，信息化不足。比如有一些企业仍然使用纸质或者Excel来记录数据的流转，这显然效率不会太高。

四、数字化转型中遇到如此多的困难，应该如何解决？

要实现数字化，就要先实现信息化。因此，一般的路径是先建设计算、存储、网络，安全等各种基础设施，然后建立虚拟化或者云化的服务，接着去构建应用中间件、数据层，包括各种关系型数据库和非结构化的数据库。

还有一些企业构建了大数据平台，再去开发应用服务。如果按照云计算的模式来划分的话，就是IaaS、PaaS和SaaS。这样的建设路径，相信大多数的企业用户是认同的，也符合逻辑。

但是根据我们的走访和调研，大多数用户在通过这个路径进行数字化建设时，他们的数据部门都会十分痛苦。这是因为，本来云化建设的目标就是要去破除信息壁垒，打破数据烟囱，但现在的情况是，物理壁垒打破了，一个一个的逻辑壁垒又产生了。我们看到所有的系统事实上还是一种烟囱式的结构，只不过原来的烟囱式架构是建筑在物理层面之上，而现在则是建立在逻辑层之上。

而且随着业务的增长，系统越来越多，每一次业务系统的构建，就要从数据库层开始向上重复的构造。于是，各种烟囱式的架构又产生了。新的模式能够让数据标准统一起来，即数据中台。数据中台的构建是一种创新的IT信息化设计模式，是数字化转型的设计模式创新。

五、为什么说数据中台的构建是数字化转型的设计模式创新？

首先，从业务形态上来讲，传统的市场主体信息化模式已经存续多年了，业务系统突飞猛进，数据量，数据存量大而繁，其设计模式亟待创新。

其次，从市场环境深度来看，市场主体的降本增效和增值创新的趋势目标是把现有的数据变现，并且要支撑业务快速发布，来抢占市场先机。

因此，能够帮助企业或者机构实现这些目标的数据中台的引入是市场主体数字化转型过程中的一个必然选择。

六、数据中台在市场主体数字化转型中到底有何效用？

首先，最重要的是，通过数据中台的建设，可以统一化对企业或机构制定各类数据标准，让企业和机构的数据标准统一起来。数据标准的重要性不言而喻，它是数据持续生态的一个基础。

第二，就是数据资源的统一、编目。没有业务属性的数据就是一堆数字，毫无价值，所以可以通过数据中台建设完成数据治理，并且统一编目，让数据和业务属性关联起来循环管理。

第三，就是数据的进化和ROI。大部分的企业和机构，经过多年的数据化运作，数据量已十分丰富，它们都希望能够实现数据变现。而通过数据中台对数据的流水线进行全流程的监控，让数据流转起来，数据服务的盈利点就会显露而出，进而可以实现管理的ROI化。

七、数据中台建设的目标究竟是什么？

数据中台建设的目标是让专业的数据人员做数据层的事，让业务开发者只专注于他们本身的业务开发。如果企业或者机构有了数据中台，形成了标准数据的仓库或主题库，那么后期的业务应用开发，就没有必要去重复建设冗余的库表，只需要去增量的建表或增加一些字段就可以了，业务应用的发布也就可以变得更加迅捷。

八、数据中台究竟应该如何去落地？

第一步，要做顶层规划和设计。这需要我们梳理现有的核心业务和数据，并根据梳理的结果完成既定的模型展现和应用，还要抽取核心业务生产数据，形成采集、加工、梳理的全自动化流程和相应的数据仓库。并在这些工作的基础上，形成一到两个典型业务场景。这样，数据中台的生态就形成了。

第二步，数据应用的建立。要结合第一阶段的数据成果，形成一到两个典型业务应用，并兼容现有历史数据，全面形成以数据中台为基础的数据加工流程体系与报表体系。

第三步，数据驱动业务。根据业务开展扩充数据应用的开发，形成多视角多主题的客户画像、资源画像、任务单画像等。然后，企业和机构的管理者就可以通过数据指导业务系统的建立，通过数字化来做决策。

最后一步，就是数据服务供应。通过建立完善的数据使用流程，以前期数据成果作为输出，以数据沙盒的安全使用形式对外提供数据服务。同时，不断完善数据应用和模型，准确设计预测模型，指导市场、投资、采购、生产等行为。

这样，市场主体就能够通过数据中台建立起一整套的数据生态，从而把传统数字化转型的痛点一一解决。

九、选择数据中台有哪些原则？

首先，要选择云原生的底层架构。

这是因为，企业或者机构选择数据中台，本身就有一定的成本压力，他们希望能够快速的见效。而云原生数据中台的特点就是云化编排、实施快捷、部署高效。因此，可以充分满足企业或者机构“快”的需求。

其次，就是数据汇聚要平滑。

因为我们知道，企业或机构在做数据汇聚时，行政压力是很大的，因为业务系统多态对于汇聚的要求会更高，比如要支持多种数据类型，汇聚过程中需要按需编辑。因此，要求数据中台具有这些“第一层”的治理能力。

再者，选择具有全流水线的监控、报警、链路管理、血缘监测等功能的数据中台。

当前的企业和机构都清楚的知道自身数据的价值，对数据的治理和维护也将更加精细化。那么，在选择数据中台时就应该选择具有全流水线的监控、报警、链路管理、血缘监测等功能的数据中台。

最后，数据处理的最终目的是为业务来提供服务。

在数据的流转过程中，必须安全可靠，同时也要提供灵活多样的数据服务方式。比如说像文件FTP的传输方式、JDBC的数据链路传输方式，API的接口传递方式，还有多租户隔离，安全策略的符合标准等等。

直播问答精选1、是否小规模的系统用物理机部署，大规模用容器云？

不是的。我们在硅谷的经验表明，使用云原生的架构可以完美支撑从小规模集群到大规模的发展。选择使用物理机和容器云一般是出于性能和管理的考虑。

之前分享的“游戏行业应该如何建设数据中台？”文章中有提到过“使用基于公有云的混合架构是EA的构建原则之一，私有云主要服务于EA的游戏服务器，因为这些服务的实时性要求很高，EA希望能自己掌控这些资源，而公有云主要服务于离线的数据分析，因为这部分服务没有那么紧急，并不会对业务造成巨大的影响，所以EA使用的是基于公有云的混合云架构”

数据中台的建设不是一蹴而就的，一开始使用小规模集群，等壮大了再使用大规模部署，其实是最自然的方案。关键是需要有一个平台能够统一管理，避免造成一个个的孤岛。

2、企业建设数据中台的最佳路径和方法是什么？

我们一般会建议从主要痛点着手，先在小范围运转，解决实际业务痛点，在此基础上迭代扩展。云原生的数据中台可以很容易的从小而美发展成大而全。

3、中台强在复用能力，请问中台技术和业务能力是怎么展现的，在新的业务到来时可以快速响应？

一般业务数据能力的复用体现在数据服务，数据共享。以银行业务举例，银行有很多部门需要构建用户画像，他们各部门自己也都有一些用户数据。我们看到很多地方都是每个部门建一个大数据平台或大数据仓库来完成这项工作。而如果构建了数据中台，中台中有客户模型，各部门可以贡献数据，完善模型，同时可以使用模型的结果，这就是数据能力的复用和共享，体现在业务上就是快速响应。这个过程就是数据集成，数据流转后形成数据共享，对业务的支持能力就能够得以体现。