企业数据中台建设探索与实践
3月18日晚,智领云技术直播第二期如约而来。在第一期的直播中,智领云的技术专家们讲述了关于医疗行业信息化和数据中台建设的内容,精彩的内容吸引了不少听众。在直播最后的互动环节,有很多听众对数据中台表现出浓厚的兴趣,提出了很多与中台或者数据中台相关的问题。因此,在第二次的直播中,智领云解决方案架构师文征从智领云的角度重点讲述了什么是中台、数据中台与中台的关系以及如何建设数据中台,并以相关落地案例分享了智领云建设数据中台的实践经验。
什么是中台?
近年来,中台的概念炙手可热,作为一家起源于硅谷,始终致力于建设企业数据中台的原生“数据中台”企业来说,智领云对于中台有着自己的认识和理解,这种认识和理解一部分来源于硅谷的一些高新科技企业,如推特、脸书、Uber、EA等,另一部分则来源于智领云公司本身的实践经验。
智领云认为,中台主要应分为业务中台和数据中台,虽然有些大公司还有所谓的技术中台,但从大部分企业的角度来说,业务中台和数据中台还是更具有普适性。
实际上,中台并不仅仅是技术,更是一种思想,体现在企业中间就是一种文化,同时它也是一种思维模式,这种思维模式决定了企业的行为方式、战略决策甚至是组织架构的变革。体现在技术上,就是一种全面快速的数据服务能力、业务协调能力,这是中台的关键点。
中台是对行为的抽象,比如我们去做一个订单,订单实际上是一个动词,因为它的背后是销售行为,销售就是一个动词,动词就是一种行为,业务中台就是对这种行为的抽象。而数据中台就是参与这些业务,这些行为的实体的抽象,比如说我们参与了一个销售的行为,在销售的行为中,商品、订单、用户甚至优惠券都参与了这个行为,他们实际上都是一种实体,是参与整个销售行为的实体,所以说数据中台是对参与行为实体的抽象。另外,数据中台的建设一定是自上而下的、是由业务驱动结合战略的,它是企业对自己的业务和数据的一个自省的过程,即企业到底有哪些资源,需要些什么样的业务。
为什么需要中台
那么,企业为什么需要中台?我们从下面的这张图来解释一下。如图,最底层是中台技术,最上层是业务创新,中间层是生态运营和产业互联网,一个企业的运营,需要整合整个产业的上下游的企业和资源,那就需要产生驱动力。这个驱动力则由两种力量产生,一种是拉力,拉力就是企业要做业务创新就必须要快,更快。推力就是企业要把自身的技术,自己的业务去创新,通过这些业务,通过这些数据,有可能就会有新型的业务产生。而这两种力量的共同作用就促使企业需要采用中台技术。
总结来说,企业之所以需要中台主要基于以下几点原因:
第一,企业需要对数据和业务的快速响应能力。
在互联网时代,特别是通过这次疫情以后,很多传统企业,生存出现了困难,这一方面是大环境的影响,但从另外一方面也说明,它对市场的响应不够快,这种较慢的反应,就有可能造成它的消亡,而产生这种问题的原因,很可能是它不能较快的接受到相应的信息,而这种快速接受信息的能力,实际上是可以通过中台实现的。
第二,中台是对硬件和软件资源的高效利用,从而避免重复建设。
如果我们能把企业所有的业务资源、软件资源,硬件资源全部摊开来看,在一定程度上,我们就能够看清全局,从而避免重复建设。但实际上,在很多企业,甚至大型企业中都可能会存在很多的重复建设。这主要是因为他们无法从全局看待整个企业的资源。而中台,实际上就为企业提供了一个“放大镜”,可以帮助企业从全局上进行企业资源的高效管理和规划,从而避免重复建设。
第三,中台为企业提供了快速的试错,可以减少探索成本。
企业可以快速的去构建一个新型业务,快速的去获取到一些业务所产生的新型的数据,这就是所谓的探索。但任何一种探索,实际上都是有成本的,虽然有些企业宣称可以不计成本的进行新业务的探索,但实际上,这种承诺还是有底线的。但是如果有了中台,企业就可以快速的得到市场对新业务的反馈,及时调整策略,从而降低试错成本。
总的来说,中台具有四种能力,首先是对流程和数据的抽象、共享、复用。其次,中台是对接口和数据资源的编目、管理和交换。第三,中台具有对上层应用快速整合和拼装的能力。第四,中台规范开发行为、数据行为、交换行为。中台必须具有上述的四种能力,缺一不可,否则它就不是一个真正的中台,而可能只是一个大数据平台。中台更是一种思想,是一种文化,它一定会在整个公司的各个部门,各个流程上有所体现。
中台建设的核心
既然中台对于企业如此重要,下面,我们就谈谈企业中台建设的核心。
首先中台的建设一定是自上而下的,自上而下就是说中台的建设一定要依赖于强有力的行政支持,部门的配合,并结合企业战略规划。不管是现在,还是以前,我们在做项目的时候,经常会遇到“门阀”,所谓门阀,就是说在企业中,当需要跨部门获取资源的时候,通常会遇到很大的阻力,而中台,实际上就需要打破这些“门阀”,才能实现中台建设的目标。而要解决这样的“门阀”问题,仅仅依靠部门之间的协调,其实是事倍功半的,这就需要高层的介入。所以说中台一定要依赖于强有力的行政支持以及部门的配合,一定是一把手工程,一定要从企业战略的高度来看待,因为企业战略规划决定了我们中台的高度。
第二,复用只是表现,核心是对业务域的划分以及对业务域能力的暴露。这句话什么意思呢?就是说当你看到企业可以快速的去支撑某个前端业务的开展,其核心实质上是底层,只有把我们所有的数据资源、业务资源规划好,才能具有这种能力。同时,只有把这种能力清楚的暴露,才有可能看到可以支持哪些前端快速的进行业务创新。
第三,一定要站到“上帝视角”的高度,去全面梳理整个公司现有业务以及数据在各个部门的分布。这个事情实际上很多公司都忽略了,以为项目做完,业务可以正常运行,就可以了。然后又来一个项目组,可能没与其他部门或者系统去沟通,又把同样的过程去做一遍,这就造成了重复建设。所以,我们要全面的梳理企业现有的业务以及数据在各个部门的分布,看一下企业目前处在信息化的什么阶段,然后把所有的数据归类,把这些数据沉淀,并做一些分析,这样才能拥有全局的视角。
第四,是反复强调的,中台驱动力一定是自上而下,从外至内,从全局出发的企业级工程。
什么样的企业适合建设中台
那么,什么样的企业适合建设中台?
首先,有一定信息基础,并沉淀了相关的业务数据的企业适合建设中台。如果一家企业是从零开始,还没有进行信息化建设,没有相关的数据沉淀,那么这些企业更适合先建立数据平台,有了一定的积累和沉淀后,再建设中台。
其次,业务相对复杂、渠道多、供应链复杂的企业适合建设中台。典型的案例,就是快消企业,这类企业多渠道、流程也比较长,涉及售前、渠道、生产、物流、采购、供应链等多个环节。它们实际上是比较符合去做数据中台的规划的。
另外,有数字化转型的规划和计划,需要面对市场变化以及市场扩展需求的企业不妨建立中台,从而对自己的业务有一个全面的认识和自省。
此外,需要数字化,量化各个业务场景,让数据说话,支撑理性决策的企业,也是比较需要去建设一个中台的。因为这样可以全面的去反应企业的业务是否健康,是否需要改善,这样的企业也比较适合建设中台。
中台的架构
下面我们再来看一下中台的架构。
整个中台,大体上分为四个部分,最底层是资源层,主要是一些基础的计算、存储、网络等硬件资源。中间是中台层,包括相对底层的技术中台、容器化的PaaS平台、项目管理平台、接口管理等,左边是业务中台,右边是数据中台,业务中台和数据中台实际上是互通的,就是说业务中台产生的数据可以回补数据中台的数据,数据中台也可以支持业务中台,这是一个互补关系,业务中台和数据中台快速的去支撑上层业务的创新、渠道的开发,新业务的开展。
所以说前台就是应用或者是应用的展现,中台更靠近前台,因为它要快速的去支撑业务或者应用创新以及应用的开发。而在中台架构中,数据中台是一个重要和不可或缺的部分。
什么是数据中台?
数据中台不是凭空而来的,它是企业的应用、数据、业务发展到一定阶段的必然产物。当企业有少量数据的时候,可能会用到Excel或者数据库来管理数据,通过Excel或者数据库就可以产生报表,但当数据比较多的时候,使用Excel或数据库就感觉有点吃力了,这时就需要建立数据仓库。数据仓库可以输出数据运营报表。再后来,就进入了大数据阶段。在这个阶段,通常需要建设大数据平台。大数据平台与数据仓库的很大一个区别,就是它支持异构数据,支持海量数据的承载。但当企业进入大数据阶段以后,会发现当需要报表或者其他数据分析结果时,还是需要自己来处理,在速度上就稍微慢一点。而随着互联网经济的发展,数据中台应运而生,数据中台可以更加快速的去支撑前端的业务,也就是数据业务化,数据中台通过数据的抽象、共享、复用的能力,快速的支撑前端业务的发展。
数据中台与数据仓库、数据平台的区别
实际上,数据中台与传统数据仓库和数据平台的最根本差异,就是对数据的抽象、共享和复用。从上图可以看到,为了管理好企业的数据,建立了渠道类、销售类、生产类、仓储类数据仓库,而建设数据仓库的目的本来是为了打破传统的烟囱架构,然而,一个又一个的数据仓库的出现又形成了一个一个小烟囱。而数据中台的建设,首先就是要把这几个数据仓库中共有的、共性的、能够复用的一些数据抽象出来,然后形成各自的产品域、客户域、订单域。其次,从严格意义上来说,分析报表或者说BI,并不属于数据中台的范畴。但分析报表或者BI需要数据中台的支撑。第三,数据中台是以全渠道、全业务为基础做切面和抽象。第四,很重要的一点,就是One Data,One ID,One Service。One Data就是说如果想要去获取前端业务的数据,在数据中台中这份数据有且仅有一份,而不是像以前那样,数据有可能在多个数仓中都有分布。One ID,就是指每个使用数据的用户都只有惟一的ID。One Service,就是所获取到的数据已经被服务化,不需要再去调用其他应用,就可以直接从数据中台获取,而且既可以获取到业务API,也可以获取到数据API。第四,数据中台是建立在数据仓库与数据平台之上的,它更靠前端。
建设数据中台的整体思想
那么,如何建设数据中台呢?从智领云看来,数据中台建设的整体思想,首先是从业务的调研开始的。这个业务调研,一定是全公司级别的调研,然后是顶层业务抽象,站在“上帝视角”去看,接着是顶层域的划分,这些都属于业务抽象的范畴。
其次,是架构设计,就是把企业所拥有的、所涉及的以及调研出来的这些成果,进行抽象化、技术化。把业务的架构以及业务流、数据流绘制出来,从而支撑新的业务域以及整个上层应用的开发。
然后,是中间模块以及开发交互的设计。这里重点说一下开发交互,开发交互一定是迭代开发,这可能是与传统数据库最不同的地方。在迭代开发的过程中间,需求一定是慢慢的去打磨的。以前做开发,当需求确定以后,如果要新加数据流或者新的功能,通常是非常困难的。而数据中台的建设一定是要慢慢的去打磨需求,然后灵活的进行功能的调整。这是和传统数据库有着很显著区别的开发过程,因为要快速响应前端的开发,一定会有功能调整、业务域的调整。
最后,是运营支撑。但运营支撑并不是终点,而是通过运营支撑的反馈,再去重新调整前面的设计,做业务的抽象,做业务需求的打磨,做功能调整,这是一个循环往复的过程。
怎样做数据中台的整体规划与调研
做数据中台整体的规划与调研,首先要清楚公司的整体战略、市场计划。很多企业去做数据项目的时候,只是关心客户需要什么,并且实现就可以了,但做数据中台不行,数据中台建设一定要从公司整体战略和市场目标来考虑。就像阿里说的,让天下没有难做的生意,这个就是战略。市场计划就是下一步准备做什么,长远的计划是什么。
第二,要把各部门主要的工作流程描述清楚。比如供应商应该给什么样的数据、给几个ID、价值多少、部门与部门之间的业务流程是怎样的。
第三,是要弄清楚是否需要与其他部门进行数据交换,是提供数据或者是依赖对方数据,提供什么数据给别人,依赖别人什么样的数据,以什么样的方式进行交互,是用API,还是用数据库,或者用Excel。
第四,还要了解本部门的数据是如何支撑市场、生产行为的。比方说,人事部门是如何去支撑市场的?有人说,人事部门不卖东西,也不生产东西,如何支持市场?其实,虽然是人事部门,但是如果人事部门做了人员培养计划,这些人员所具备的素质,显然会影响生产的流程,也会影响销售流程,这其实就是人事部门对于市场的影响。这是很重要的一点,如果不知道各个部门到底想要什么,他们能够给企业带来什么,这个中台建设将会是很失败的。
业务域的调研和与抽象方法
下面简单的谈一下业务域的调研与抽象。这里其实涉及更多的是业务中台的范畴,但由于它与数据中台极其相关,所以简单描述一下。业务中台分为业务实体层、业务行动层、业务活动层。业务实体层,就是指销售行为里面的订单、商品。业务协作层就是指要完成销售行为所需要的促销、活动券等这些促销行为。业务活动层,就是销售行为。业务中台就是把这几个层抽象出来。业务中台还包括功能抽象、业务抽象以及中台抽象。比如说常用的一些认证功能、报表功能、上传功能的抽象和共享。另外就是业务的抽象,比如CRM、ERP、财务系统中的业务抽象。最后是中台的抽象,中台抽象更偏重于业务的流程。把这几部分抽象出来,就是业务中台。这就是业务域的调研与抽象法。
数据域的调研与抽象方法
而数据中台的数据域的调研和抽象与业务域的调研和抽象有相似,但也有不同。数据域的调研与抽象,不可能只是描述某一个节点的数据,而是描述企业整个发展历程的所有数据,包括数据从前到后,从前端到后端,从原来的小企业到现在的大企业,再到多个业务的企业的过程中数据是怎样的演变过程以及企业的所有业务域,都是数据中台需要去考虑的。
数据中台的实体贯穿于整个企业的行为中,这个企业行为包括现在的行为、历史的行为、现行域的行为,是围绕着企业核心业务实体最需要关注的领域而展开的。如前所述,数据中台是从前端,从业务端去推动中台发展的。因此,要围绕着核心业务,抽象出静态实体、实体变化和行为结果。静态实体就是静态的、没有时间戳,没有时间标志的实体,如上图打个比方,比如一只猴子本身就是静态实体。动态实体,就是实体的变化跟踪。比如,猴子变成人,是因为它使用了工具,它直立起来行走了,到现在他用了平板电脑了,这整个的动态变化过程,也需要去跟踪,并把这些数据描述出来,形成信息。然后是行为结果的抽象,比如猴子使用了工具造成的结果,这种结果数据也是数据域所需要去考虑的。所以,数据域做抽象的时候,这个轮廓一定要拉的更宽一点,不但考虑到现在,还要考虑到历史,甚至还要结合企业的战略,考虑到未来,这就是做数据调研与抽象的一个方法论。
数据中台的典型架构
一个数据中台的典型架构如上图所示,这是一个快消行业的数据中台。它有不同的部门,以及多个业务域。那么,在设计这类企业的数据中台时,首先就要将其相关的业务域划分出来,然后形成数据分析模型,然后通过这个数据分析模型,把这些域足够丰富。之后,就可以做相应的数据算法,从而用数据驱动企业进行业务创新。
可以看到,实体散落在各个核心业务行为中,而数据中台从顶层视角出发,以上层业务为推动,可以快速的创造新的业务场景,因此,一旦可以将一个域描述的足够的全面和丰富,就有可能正确合理的去推动一项新的业务的发展,反之,就不能正确的指导前端的业务发展。所以,一定要把所有的域,从各个部门、 各个生产系统、各个数据系统里面抽象出来,才能形成真正的数据中台。
数据中台案例分析
下面,以智领云的一个实际案例,来分析一下数据中台对于企业带来的收益。
这是一家新零售企业,这家企业渠道非常多,有线上渠道、线下渠道,还有供应商,渠道商以及各种渠道推广,比如广告联盟、京东推广、广告公司推广、电视广告等等。但在推广的过程中遇到了一些问题。就是它的渠道信息、渠道推广是相对封闭的,也就是说渠道与渠道之间,线上与线下之间没有进行打通,推广渠道,比如电视推广、京东推广或者是广告联盟推广所获得的反馈信息也没有打通,结果就是“一团乱麻”。
而实际上,这是传统企业在进行渠道建设中会遇到的比较典型的问题。智领云当时按照以下建设步骤为他们进行了设计。
首先,对这家公司的全业务流程进行了详细的梳理。其次,根据这些业务流程制定了相应的开发流程。第三步,进行了数据标准的制订,因为这家企业的不同的渠道,以前是各自为政,现在一定要把这些数据要拉通,数据拉通就一定要把相应的标准制订下来,这样才可以进行数据的交换和沟通。第四步,就是业务规则的制订以及业务的转换规则、市场服务规则的制定。这实际上就是定标准。第五步,业务域的划分,这是比较重要的。而且业务域的划分,一定是以迭代的形式去做的。第六步特别重要,就是在帮助企业建设数据中台时,一定要先找到一、两个痛点来进行突破,只有这样,才可能给这个企业树立起建设数据中台的信心。并且有了这个示范效应,其他部门才会积极配合,这是很重要的。最后,就是定期的迭代开发。
那么,当时智领云是怎样为这家企业去做业务的梳理的呢?智领云有一套工具,这套工具基本上是以0侵入的方式监控数据、应用、用户,可以让客户清晰的了解整个公司的业务应用和数据分布、业务流转、数据资产、数据流转以及现在的使用状况,这大大方便了我们对这家企业做业务的梳理。
另外,智领云有一个数据建模的工具,这个数据建模工具,可以进行基于大数据的全数据加工和打通,把应用以及数据接口化,从而提供快速的服务能力以及变现能力。此外,智领云还有一个重要的应用数据接口ABI管理工具,通过这个工具可以很快的去产生一个新的业务。
智领云还提供了一个自定义拖拽报表的功能,也解决了这家企业的一些痛点。这家企业一个星期一个渠道的推广费用大概是50万,在双十一等购物节的活动中则投入更大。它有几十个渠道,可想而知,其推广费用有多么庞大。然而,在没有进行渠道数据打通之前,它并不知道那些推广的费用到底有没有效果,有没有转换成订单。而通过自定义拖拽报表,就能很快速的呈现出哪些是有效的推广,哪些是无效的推广,应该怎样把资金挪到最有用的渠道上面去,从而为企业节省了大量的渠道资金投入。而这就是数据中台带来的力量。
数据中台建设的经验
最后,对数据中台建设的经验进行一下总结。
第一,数据中台的建设一定是要迭代建设和不断沟通。第二,强有力的行政支持是确保数据中台建设成功的关键。第三,一定要先制订好规范制度,否则就无法实现数据统一,也无法打通数据。第四,就是避免想当然的看待业务和实体。第五,一定要找有价值的业务场景,不要天天围绕着那些不痛不痒的东西去做数据中台,一定要抓关键点、见效快的业务场景去做。比如,一个星期可以给企业省五十万,或者赚一百万这种业务场景。这给企业带来利益的同时,也会令大家更愿意做下去,也就对数据中台树立了相应的信心。最后,就是在做数据中台的时候,一定要避免微服务的滥用。一定不要把业务与微服务划等号,一定要是功能抽象,只有必须去承载并发量或者是改动量比较大的地方,才去用微服务。
> 直播问答精选
1.业务中台和数据中台的关系?
业务中台是对行为的抽象,数据中台是参与这些行为的实体的抽象。
2. 对业务抽象不是很理解?
销售行为,生产流程在不同的渠道都会产生,把这些流程及其关系抽象出来就是业务抽象。
3. 数据中台可否理解为IaaS的范围?
IaaS不关心业务,IaaS更加偏向于基础架构的建设,如存储、网络、计算等资源的发布。
4. 数据中台是PaaS的范围吗?
PaaS可以算是是中台的技术中台的一部分,PaaS服务于开发、测试、运维,和业务无关。中台的概念更靠前端,而PaaS是纯技术的,数据中台趋向于应用的云化管理,比如数据库池化、中间件池化。
5. 企业数仓是建数据中台必须的吗?
数仓是中台使用的一种技术,中台一般是建立在数仓之上的。数仓会用到大数据平台承载数据,起到一个承上启下的作用。
6. 数据中台是个技术架构和组织形式,数仓是存储数据的形式?
不是。数仓是业务层,承载了业务建模的功能和内容,存储形式可能是传统数据库,也可能是Hive或者MPP这些支持关系型模型的系统。
7. 中台和SaaS的区别?
PaaS是面对系统开发者,SaaS是面对直接使用的客户,中台面对的是开发企业上层应用的开发人员,他们的服务对象不同。
8. 到底是业务中台还是数据中台对前端业务进行支撑服务?
两者都会对前端业务有支撑作用。
9. 业务域和数据域怎么区分?
业务域是个动词,数据域是个名词。业务域一般和公司产品线对应,数据域一定是产生于业务域。例如,公司可能有好几个部门有自己不同的产品,那么他们属于不同的业务域,但是他们都会用到用户数据,用户画像,这都属于数据域。
10. 容器PaaS平台是什么?
其实就是应用云平台,将应用池化,用Mesos管理分布式资源,用K8S编排,让应用在Docker中运行,应用发布能够更快的开放与发布,能根据业务的不同弹性扩展,同时对应用的日志、路由等进行监控。
11.对于一个项目,建设流程是数据中台和业务平台谁优先?
其实是按市场需要来决定的。如果市场需要数据,就先做数据。不过,业务中台建设往往会触动公司业务架构的变动,一般数据中台会在前,业务中台应该与数据中台是相互关联,业务数据化,驱动数据中台建设,数据业务化驱动业务的快速迭代和创新,这是企业数字化转型的一个路径。
12.与第三方系统对接数据,或与已有的商用系统对接数据,是通过业务中台,还是数据中台?
一定是通过数据中台来获取。对数据中台来说这属于资产,是需要管理的。具体来讲,是通过数据中台中的数据采集和数据融合工具。
13.若调用第三方功能服务的话,是通过业务中台么?
看具体的,中台对外都是一个API管理出口,就是我们说的One Service,调取第三方业务可以是技术中台来支撑,统一规范管理后给业务中台提供统一接口服务,BDOS不仅是数据服务的中台,还能便捷的调度AI 模型,实现Model as a Service的中台。
14.现在好像又出了个AI中台?
模型即服务(Model as a Service)是数据中台一个高阶功能,数据中台建设到一定程度,企业很多数据服务需要通过机器学习或AI模型对业务层提供服务,模型即服务可以进一步抽象出来,AI中台可以看成是这个概念的一种表述方式,但AI离不开数据,AI中台相对数据中台和业务中台,还不是一个企业整体层面的概念,更像是一个上层的应用系统,AI平台和AI中台也不是一个概念,有点像大数据平台和数据中台的关系,构建AI智能认知中台来实现业务衔接,它不仅是一个能力中台,也是一个战略中台。
15.中台的实质
中台从根本上还应该是一套方法论,将帮助企业用一个高效的路径来实现业务能力,数据能力的抽象,共享和复用,以及开源节流,精细化管理和运营,从而提高企业对市场的反应速度。
最后,福利来了!在公众号后台回复“PPT2下载”将获得此次直播的PPT,回复“回放2”则会获得此次直播的视频回放。
留言
评论
${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}}说 · ${{item.date.slice(0, 10)}} 回复
暂时还没有一条评论.