智领云入选《2022爱分析 · DataOps厂商全景报告》,旗下 BDOS Online 产品能力获认可

by June 2023-02-17

近日,国内领先的数字化市场研究与咨询机构爱分析发布了《2022爱分析·DataOps厂商全景报告》,智领云基于成熟的解决方案和扎实的落地能力,凭借旗下新一代在线DataOps大数据平台–BDOS Online,成功入选全景地图一站式数据开发管理平台领域。


随着企业数字化程度加深,数据分析赋能业务价值被高度重视,也为企业数据分析场景带来明显变化。一方面,数据分析场景日益丰富以及数据分析需求快速变化带来数据应用开发需求迅速增加;另一方面,数据分析工具多元化导致数据用户角色更复杂,如数据工程师、数据管理员、报表开发人员、运维工程师等。数据应用开发需求增长与数据用户角色的复杂致使企业数据开发、数据运维工作量以及数据应用交付协调难度大大增加。此外,单个环节的自动化无法解决全局问题。

因此,企业需要一套全新解决方案,真正实现数据驱动业务增长。DataOps服务于业务部门、大数据部门,提供敏态数据开发支持,优化数据生产者和数据消费者协作效率,成为解决以上问题的最佳方案。

基于此,智领云于2022年发布了国内第一个纯K8s在线数据平台——BDOS Online,这是智领云自主研发的一款云原生Data Platform as a Service(DPaaS)产品,旨在为需要高效快速实现多源异构数据应用开发、发布、运维的企业级用户提供一个在线协同数据应用开发及运营平台。

智领云认为目前的大数据技术是强大的,但它们对于普通人来说仍然太难使用。部署一个适合生产环境的数据平台仍然是一项艰巨的任务。对于已经开始这一过程的公司来说,他们的数据平台团队大部分时间仍在做相似的事情,就像重新造轮子。

有些公司已经意识到这些问题(Qubole,DataMeer,Bluedata等),并开始采用不同的方法来解决这个问题。其中一些使用基于容器的解决方案,另外一些以Hadoop为中心构建其平台。

BDOS Online作为新一代在线DataOps大数据平台正是目前市场所需要的,其即开即用,快速搭建数据工程,以解决繁杂的数据开发问题,在实践中降低迈入数据大门的门槛。

具体而言,BDOS Online可以提供数据采集、数据治理、数据分析、机器学习、BI报表、数据服务、数据应用发布等数据应用必需能力组件,并以数据工程的方式实现工程管理、应用共享、质量管理、代码复用等DataOps核心功能。

在应用方面,允许用户即开即用、按需付费,以最低成本高效实现和共享数据价值。同时还支持公有云及私有云发布,并可无缝迁移。

作为云原生大数据平台,BDOS Online并非一定强调行业属性,而是提供基础架构服务,对数据应用开发提供支持,希望客户在云上具有两种使用云原生的方式。

第一种是在公有云上直接使用,主要面对中小客户/大客户中的创新团队第二种是在企业内部使用,主要面对已经有大数据平台/需要搭建大数据平台,但需要更高效的数据应用开发能力的客户。(欢迎大家扫描下方二维码,全面了解BDOS Online的功能和价值。)


附:爱分析ifenxi「2022 DataOps厂商全景报告」

01

研究范围定义

在后疫情时代,以数据分析为代表的数据消费场景日益丰富,数据驱动业务增长成为市场共识,数据开发管理越来越受到企业决策者重视。

当前,各类管理信息系统、协同办公系统的应用,物联网和边缘设备的普及,都让企业端数据采集和分析的场景变得越来越多,数据驱动的场景从当前集中在前端的营销、销售环节,正在向后端供应链的全场景延伸,从与消费互联网紧密相关的零售电商向金融、教育、医疗、工业等全行业覆盖,数据消费场景的丰富和分析需求的快速增长导致数据应用开发需求迅速增加。

金融、零售等行业头部企业纷纷成立独立的数据管理部门,在数据开发与管理方面的投入明显增加。建设银行、民生银行、兴业银行等金融机构通过新建数据管理部门来实施大数据战略,快速释放数据生产力,实现数据资产的集中管理,聚集数据人才,深度挖掘与共享数据资源,从而利用数据驱动全方位支持业务发展。

尽管对数据的需求和投入不断增大,但在实际管理和应用时企业仍面临诸多挑战:

企业内部数据管理的协作成本越来越高。一方面,数据分析工具多元化导致数据用户角色更复杂,企业内现在设置了如数据工程师、数据管理员、报表开发人员、运维工程师等多个职位,反而容易造成职责边界交叉模糊,协作困难。另一方面,IT部门、数据部门和业务部门之间难以建立起紧密的融合关系,数据部门相对弱势,难以推动业务部门主动用数,整体数据应用效率较低。

单个环节的自动化无法解决全局问题。尽管企业在数据开发、数据治理等单个环节采购了相关的工具或平台,实现了局部的自动化,然而仅仅能解决表面问题,无法真正解决全局需求。难以建立覆盖所有业务的规范统一、集成互联的数据基础,从根本上消除数据孤岛,实现企业级数据集成整合、全面共享应用,提升企业大数据能力。

数据应用开发需求增长与数据用户角色的复杂致使企业数据开发、数据运维工作量以及数据应用交付协调难度大大增加。因此,企业需要一套全新解决方案,真正实现数据驱动业务增长。DataOps以其能服务于业务部门、大数据部门,提供敏态数据开发支持,优化数据生产者和数据消费者协作效率,成为解决以上问题的最佳方案。

在此背景下,为企业引入DataOps过程中提供全面的规划、建设和产品选型参考,爱分析调研并撰写了《2022年爱分析DataOps厂商全景报告》。DataOps市场定义图1:数据全生命周期

数据全生命周期包括三个阶段:首先,由业务部门在业务运行过程中产生原始数据;其次,大数据部门(IT部门)对原始数据进行数据加工;最后,加工后的数据再次回到业务部门完成数据消费。因此,在数据全生命周期中核心环节基本上由大数据部门(IT部门)完成。

大数据部门(IT部门)职责包括两方面:1)数据资产统一管理;2)支持业务部门的敏稳双态数据消费需求。

DataOps核心是面向于大数据部门的第二项职责,既满足业务部门稳态的数据消费需求,如数据报表、数据可视化、自助式分析等;也要满足业务部门敏态的数据消费需求,如机器学习建模、智能推荐等,敏态需求迭代速度更快,其中涉及到很多探索式需求。

DataOps市场定义:服务于业务部门(业务部门ITBP)和大数据部门,满足敏稳双态数据消费需求,提升数据加工环节效率的咨询、工具和服务。

图2:DataOps市场全景地图

基于数据全生命周期三大阶段,进一步将数据加工环节拆分为数据采集(数据同步)、数据开发、数据服务(数据虚拟化)和数据质量提升;将数据消费环节拆分为数据分析和数据应用。并根据每一阶段存在的业务需求,映射出对应的细分市场。

本次报告,爱分析认为DataOps全景图主要覆盖数据加工环节,具体来说,与数据采集、数据同步对应的是“敏捷数据管道”市场;与数据开发对应的是“一站式数据开发管理平台”市场;与数据服务对应的是“数据服务平台”市场、“智能数据资产目录”市场和“指标中台”市场;与数据质量提升对应的是“数据可观测性平台”市场和“数据治理”市场。

爱分析认为,甲方企业真正要实现DataOps,必须具备完整的数据能力,建设一整套面向业务需求的数据开发管理机制,仅仅具备单点能力是远远不够的。因此,上述对DataOps市场划分,主要是考虑到市场发展现状、甲方企业建设进展和厂商能力,并不意味着具备单点能力就可以实现DataOps。
爱分析综合考虑市场关注度、甲方需求和实际落地进展等因素,选取以下3个特定市场进行重点分析,分别是“一站式数据开发管理平台”、“敏捷数据管道”和“智能数据资产目录”。

本报告面向金融、制造、汽车、消费品零售、能源等行业的大数据部门负责人、IT部门负责人和业务部门(业务部门ITBP),通过对各特定市场的需求定义和代表厂商能力解读,为企业数字化转型规划与厂商选型提供参考。

厂商入选标准本次入选报告的厂商需同时符合以下条件:

  • 厂商的产品服务满足各市场定义的厂商能力要求;
  • 厂商具备一定数量以上的企业付费客户;
  • 厂商在特定市场的营业收入达到指标要求。

02

厂商全景地图

爱分析基于对甲方企业和典型厂商的调研以及桌面研究,遴选出在DataOps市场中具备成熟解决方案和落地能力的入选厂商。

03

市场洞察1.DataOps市场规模超180亿元

爱分析推算,2022年中国DataOps市场规模为185.1亿元人民币,同比增速为13.0%。考虑到大部分DataOps项目甲方还是大型企业,立项和交付受疫情影响很大,2022年增速较2021年明显放缓,但预计2023年会40%以上的增速,市场进入快速发展阶段。

图3:中国DataOps市场规模预测

DataOps市场由软件产品和服务组成,现阶段整个市场并未形成统一标准和规范,绝大多数DataOps项目都是基于甲方企业自身需求进行落地,因此,软件产品占比30%左右,大量项目还是以服务为主。大部分DataOps项目是厂商提供核心产品组件,基于实际甲方需求,形成DataOps解决方案。

DataOps市场甲方以金融、制造、能源、消费品与零售等行业为主,主要是以集团型甲方企业和行业头部甲方企业为主,但两者对DataOps的需求略有不同。集团型甲方企业在实际开展数据管理工作时,已经深刻意识到数据管理与数据服务的挑战,正在寻求新的数据管理解决方案。行业头部甲方企业在数字化转型、数据能力建设处于行业前列,数据部门自身有很强烈的创新和探索意愿,愿意尝试更多新的技术方案。

2.DataOps是实现数据驱动业务的关键基础设施

DataOps概念一经出现,就会不断跟数据中台进行比较。爱分析认为,数据中台承载了企业实现数字化转型的长远愿景,DataOps解决了数据驱动业务的实际问题。

2019年至今,数据中台一直备受诟病,建设预期与实际结果之间的巨大落差是大量数据中台项目失败的重要原因之一。很多数据中台项目需求来自企业决策者,并非技术部门或数据部门,数据中台往往承载了企业决策者实现数字化转型的美好预期,不过数字化转型并非一蹴而就,企业在数字化转型中遇到的挑战也不可能完全依靠技术平台来解决。

数据中台建设虽然出现很多负面新闻,但持续数年的数据中台建设对整个数据智能市场发展还是起到了重要推动作用。第一,数据中台在实际企业业务开展中还是发挥了价值,数据驱动业务、数据驱动决策的理念深入人心,越来越多的企业决策者和业务人员重视数据的价值,将数据分析作为一项重要工具。第二, “数据统一管理与共享服务”等理念被大量企业的技术部门和数据部门所接受,越来越多的企业用这套理念来建设自身的数据开发与管理能力。

DataOps的需求多数来自于技术部门或数据部门负责人,解决的是企业开展数据开发管理工作的挑战。当越来越多的业务部门关注数据,基于数据分析来实现业务增长,对企业的技术部门或数据部门而言,最大的挑战是如何基于有限资源,最大化地满足多个业务部门的数据消费需求。

一味地增加人力和预算,并不能从根本上解决这一问题。以某头部互联网公司为例,其数据开发管理团队一度增加到千人规模,但依然无法满足各个业务部门提出的数据需求。技术部门的挑战一定要通过新的数据开发管理服务标准、流程和协作机制来解决,才能满足企业日益增长的数据消费需求。

爱分析认为,实现数据驱动业务在技术架构创新的同时,还需要关注数据与业务之间的协作机制、流程和标准创新,后者是实现数据驱动业务的关键,DataOps重点在解决这一问题。

3.DataOps考验厂商的产品架构能力

与数据湖仓引擎、实时计算引擎不同,DataOps并非技术架构创新,而是产品架构创新。性能是DataOps项目建设的重要指标,但并非最核心指标。大部分DataOps建设面临的问题是,如何实现技术、数据和业务的融合,同时满足三方的需求。

第一,应用开发与数据开发融合。当前大部分企业的应用开发与数据开发还是分开,但越来越多应用都是数字化应用,基于数据驱动的应用,数据开发与应用开发呈现融合态势,如何在满足IT运维、安全等前提下,提升数据开发的效率是一大挑战,特别是集团型企业多数都有很强的合规要求。

第二,业务深度参与数据开发工作。当前业务和数据之间的协作并不紧密,自助式分析等数据分析工具兴起,让业务部门具备自助式数据分析和管理的能力,但大部分数据开发工作业务部门依然没办法深度参与,会导致很多数据开发工作并不能满足业务需求,特别是在当下业务快速迭代的背景下。

基于上述挑战可以看出,每个甲方企业在落地DataOps项目时,一定存在非常大的差异化,但背后要解决的本质问题会非常类似。对于DataOps厂商而言,需要从数据开发管理的全局出发,以终为始,在设计产品架构时要考虑到企业完整需求,才能够应对不同DataOps项目的差异化甲方需求。

04

市场分析与厂商评估爱分析对本次DataOps项目重点研究的特定市场定义如下。同时,针对参与此次报告的部分代表厂商,爱分析撰写了厂商能力评估。

一站式数据开发管理平台

市场定义:一站式数据开发管理平台,是指针对整个数据加工链路进行数据的监控、管理和运维,实现数据质量持续提升。甲方终端用户:
金融、制造、汽车、消费品零售、能源等行业的大数据部门负责人、IT部门负责人

甲方核心需求:
对甲方而言,核心是建立一套面向未来数据开发的机制,提升面向业务视角的数据开发能力,而不仅仅是实现数据整合。

过往,甲方更多是将数据整合和管理作为企业的阶段性目标和项目来完成,对数据如何应用、如何在业务场景中发挥价值关注度不足。在实践过程中,投入大量资源和人力,完成数据整合之后,“取数难”、“用数难”、数据质量低等问题依然存在,甲方还是无法发挥数据的价值。

因此,甲方真正需要具备的是一套完整的数据开发管理的能力,包含但不限于统一开发管理平台、面向业务需求的开发管理流程与机制等。

1)梳理流程,建立统一的开发管理机制。

  • 在甲方现有流程中,应用开发和数据开发往往是分开进行,但考虑到越来越多数字化应用是基于数据驱动这一趋势下,企业需要考虑将二者融合。过去建设的数据中台尽管一定程度上能够支持报表、自助式分析等应用,但实质上仍未能满足支撑整个数据开发管理体系,无法满足越来越多基于数据驱动的应用需求,特别是以机器学习建模为代表的探索式应用。
  • 随着企业数字化转型程度加深,数据管理和应用需求越来越迫切,很多甲方成立专门的数据部门处理数据相关的问题,并与IT部门和业务部门厘清职责边界,建立起协作关系,数据部门与IT部门、业务部门如何进行协作,内部需要达成共识并建立协作机制。
  • 数据开发和管理的建设并非一蹴而就,而是一个长期的工程。在实际建设中,既要考虑长期方向与目标,与整个公司战略方向相适配,又要设置阶段性目标,让高层和相关部门感受到落地效果。因此,甲方需要明确数据开发和管理的实现路径,并设置阶段性目标。
  • 对于金融等强监管行业,整个机制还需要符合监管要求。自数据安全法、个保法等法律法规出台以来,监管机构对数据安全审查加强,企业在数据开发和管理过程中要注意合规问题,审慎使用数据,提升数据治理水平。

2)搭建功能丰富、具备扩展性的开发管理平台。

  • 经过多年信息化和数字化建设,绝大多数甲方已经具备一定数据基础,以MPP、Hadoop为代表的技术架构,以大数据平台为核心的数据开发和治理工具,因此,一站式数据开发管理平台需要兼容现有的数据基础设施。同时,随着业务的发展,未来产生越来越多的创新业务场景,平台需要有充分的扩展性以应对多元的需求,能够支持各类型业务场景开展。
  • 平台需要围绕整个数据开发管理的需求,提供丰富的功能,并具备自动化开发能力。企业需要在这一平台上完成所有类型数据的开发和管理,覆盖数据加工全链路的监控、管理、运维等需求,具备对全域数据治理的能力。同时,为应对越来越多且时效性越来越强的开发任务,还需要利用自动化工具提升效率。

厂商能力要求:

  • 厂商需要具备咨询能力和成功实践经验,能提供成熟的方法论。不仅提供数据平台的产品,还能够基于可复用的成功经验,针对客户的业务需求和内部建设现状指导实施落地;需要具备规划能力,能够设计一套适用于未来几年的框架,帮助数据部门、IT部门、业务部门能够达成共识,通过帮助客户梳理流程,基于数据产品调整组织架构并优化协作方式,提供完整的咨询服务;此外,还需要为客户提供建议,帮助甲方设置实现路径,并制定阶段性目标。
  • 产品需要有较强的架构能力和可扩展性。需要具备解耦能力,采用模块化方式构建,能够单独拆分功能模块按需提供。在扩展性方面,需要能够适配企业内的其他生态,支持多种接口协议,已封测及对接多种软件或硬件接口调用等方式,能够快速满足企业未来的创新应用。
  • 产品需要具备丰富的功能,能够覆盖数据加工的全流程,包括数据开发、数据治理、数据资产和运维监控等各个方面,能够提供多人可协作的项目空间管理,具备持续集成和发布的能力。

入选标准:
1.  符合一站式数据开发管理平台市场分析的厂商能力要求;
2.  累计在该市场服务客户数10家及以上;
3.  累计在该市场收入5000万及以上。

关于厂商全景报告

  • 爱分析厂商全景报告面向数字化市场的甲方用户,由爱分析定期撰写并公开发布,为甲方采购旅程中的数字化规划、厂商选型等环节,提供决策依据和支撑。
  • 报告提供所覆盖领域的数字化市场全景地图、特定市场分析与入选标准,以及入选厂商列表、代表厂商评估等研究成果。
  • 甲方用户可以依据入选厂商列表,拟定潜在供应商名单,并通过爱分析第三方评估,了解厂商在特定市场的产品服务优势,选择合适的厂商进行选型。

注:报告来源爱分析ifenxi「2022 DataOps厂商全景报告」

留言

评论

${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}} · ${{item.date.slice(0, 10)}} 回复

暂时还没有一条评论.