DataOps：不仅仅是数据的DevOps

附件

  《DataOps：不仅仅是数据的DevOps》全文下载

1.17 MB

Login is required to access this page

Login

关于DataOps的一个常见误解是，它只是应用于数据分析的DevOps。虽然在语义上有点误导，但“DataOps”这个名字有一个积极的属性，它传达了这样一个信息，即数据分析可以实现通过DevOps而进行的软件开发。也就是说，当数据团队使用新的工具和方法时，DataOps可以在质量和周期时间上产生一个数量级的改进。DataOps实现这些收益的具体方式反映了数据团队（相对于使用DevOps的软件开发团队）的独特人员、流程和工具特征。这是我们对DataOps和DevOps之间明显的和细微差异的深入探讨。

DataOps的知识遗产 

DevOps是一种软件开发方法，它借助（或使用）自动化加速构建生命周期（以前称为发布工程化）。DevOps通过利用按需 IT 资源（基础设施即代码）和自动化代码的集成、测试和部署，专注于软件的持续集成和持续交付。这种软件开发和 IT 运营（“开发Development”和“运行OPerations”）缩短了部署时间，缩短了上市时间，最大限度地减少了缺陷，并缩短了解决问题所需的时间。 

使用DevOps，领先的公司已经能够将他们的软件发布周期时间从几个月缩短到（实际上的）秒级。这使他们能够在快节奏的新兴市场中成长并处于领先地位。谷歌、亚马逊和许多其他公司现在每天发布多次软件。通过提高代码发布的质量和周期时间，DevOps为这些公司的成功赢得了很多赞誉。 

优化代码构建和交付只是数据分析这样一个大难题的一部分。DataOps旨在缩短数据分析的端到端周期时间，涵盖范围从创意的起源到创造价值的图表、图形和模型的文字创建。除了工具之外，数据生命周期还依赖于人。要使DataOps有效，还必须管理协作和创新。为此，DataOps将敏捷开发引入数据分析，以便数据团队和用户更高效地协同工作。 在敏捷开发中，数据团队以称为“冲刺”的短增量发布新的或更新的分析。随着创新的快速发生，团队可以不断重新评估其优先级，并更轻松地适应不断变化的需求。使用（以往的）流水线式项目管理方法，这种类型的响应是不可能做到的，该方法将团队锁定在一个漫长的开发周期中，并在最后提供一个“大爆炸”的交付成果。 

研究表明，当敏捷开发取代传统的瀑布式（流水线式）顺序方法时，敏捷软件开发项目完成得更快，缺陷更少。敏捷方法在需求快速变化的环境中特别有效——这是数据分析专业人士众所周知的情况。在DataOps环境中，敏捷方法使组织能够快速响应客户需求并加快实现价值的时间。 

敏捷开发和DevOps为数据分析增加了重要价值，但 DataOps还有另外一个主要组成部分。敏捷和 DevOps 与分析开发和部署相关，而数据分析还管理和编排数据管道。数据不断地从管道的一侧进入，通过一系列步骤并以报告、模型和视图的形式输出。数据管道是数据分析的“操作”端。将数据管道概念化（或比喻做）为一条生产线，该生产线必须管理质量、效率、限制条件和正常运行时间，这个概念是很有用的。为了完全接受这种“生产制造”思维，我们将此管道称为“数据工厂”。 

在DataOps中，必须操作（或运行）的数据流是一个重要的关注领域。DataOps编排、监控和管理数据工厂。统计过程控制(SPC)是一种特别强大的精益制造（或精益生产）工具。统计过程控制(SPC) 测量和监控数据管道的数据和操作特性，确保统计数据保持在可接受的范围内。当统计过程控制(SPC)应用于数据分析时，它将显著提高效率、质量和透明度。统计过程控制(SPC)到位后，流经操作系统的数据将被验证是否有效。如果发生异常，数据分析团队将首先通过自动报警获知（消息）。 

虽然“DataOps”这个名字暗示它大量借鉴了DevOps，但这三种方法——敏捷、DevOps和统计过程控制（SPC）——构成了DataOps的知识遗产。敏捷性管理着分析开发，DevOps优化代码验证、新分析的构建和交付，统计过程控制（SPC）编排和监控数据工厂。图 2 说明了敏捷、DevOps和统计流程控制（SPC）如何流入DataOps。 

您可以在一个世纪以来人类管理复杂系统思想演变的背景下查看DataOps。它始于像 Demming 和统计过程控制（SPC）这样的先驱——逐渐地，这些想法以敏捷性、DevOps和现在的DataOps的形式进入技术领域。 

DevOps与DataOps— 人为因素 

如上所述，DataOps与管理人员和工具一样重要。DataOps和DevOps之间的细微差别与利益相关者的需求和偏好有关。 

DevOps的创建是为了满足软件开发人员的需求。开发工程师喜欢编码并拥抱技术。学习一门新语言或部署新工具是一个机会，而不是麻烦。他们对代码创建、集成和部署的所有细节都有专业的兴趣。DevOps拥抱（或欢迎）复杂性。 

而DataOps的用户通常与此相反。他们是专注于构建并部署模型和可视化的数据科学家或分析师。科学家和分析师通常不像工程师那样精通技术。他们专注于领域专业知识。他们对让模型更具预测性或决定如何以最佳方式呈现数据感兴趣。用于创建这些模型和可视化的技术只是达到目的的一种手段。数据专业人员最乐于使用一两个工具——除此之外的任何东西都会增加不受欢迎的复杂性。在极端情况下，复杂性超出了他们的管理能力。DataOps接受或认可数据专业人员生活在一个多工具、异构的世界中，并试图让这个世界对他们来说更易于管理。 

DevOps与 DataOps— 流程差异 

通过查看数据分析开发和生命周期流程，我们可以开始了解数据专业人员所面临的独特复杂性。我们发现，与软件开发人员相比，数据分析专业人员面临着既相似又独特的挑战。 DevOps的生命周期通常使用无限符号形状的图表来说明 – 参见图 4。循环的结束（“计划”）反馈到起始（“创建”），并且该过程无限期地迭代。   

DataOps生命周期也具备这些迭代属性，但一个重要的区别是DataOps由两个活动（或活跃）且相交的管道组成（图 5）。上面描述的数据工厂是一个管道。另一个管道管理数据工厂的更新方式——新分析的创建和部署到数据管道中。 

数据工厂将原始数据源作为输入，并通过一系列精心编排的步骤产生分析见解，为组织创造“价值”。我们称之为“价值管道”。DataOps进行自动化编排，并使用 统计过程控制（SPC）监控流经价值管道的数据质量。

 “创新管道”是将新的分析思想引入价值管道的过程。创新管道在概念上类似于DevOps的开发过程，但经过仔细检查，有几个因素使 DataOps开发过程比DevOps更具挑战性。图 5 显示了价值和创新管道的简化视图。 

DevOps与 DataOps — 开发及部署流程 

DataOps建立在DevOps的开发模型之上。如图 6 所示，DevOps流程包括一系列软件开发项目常见的步骤： 

• 开发 — 创建/修改应用程序
• 构建 — 组装应用程序组件
• 测试 — 在测试环境中验证应用程序
• 部署 — 将代码转换为生产
• 运行 — 执行应用程序

 DevOps引入了两个基本概念：持续集成 (CI) 和持续部署 (CD)。持续集成CI 在开发环境中不断构建、集成和测试新代码。构建和测试是自动化的，因此它们可以快速重复地发生。这样可以快速识别和解决问题。图 6 说明了持续集成CI 如何包含DevOps的构建和测试过程阶段。  

持续部署（CD）是一种部署或交付软件的自动化方法。应用程序通过所有资格测试后，DevOps 会将其部署到生产中。持续集成CI 和 持续部署CD 一起解决了阻碍敏捷开发的主要限制。在DevOps之前，敏捷方法学Agile 创建了一系列快速更新和创新，这些更新和创新将在手动集成和部署过程中停滞不前。借助自动化持续集成CI 和 持续部署CD，DevOps 使公司能够每天多次更新其软件。 

DataOps 中编排的双重性 

需要注意的是，“编排”在图 6 所示的DataOps 过程中发生了两次。正如我们上面解释的，DataOps 编排数据工厂（价值管道）。数据工厂由具有许多步骤的管道过程组成。想象一个复杂的有（方）向无环图 (DAG)。“编排器（或协调器）”可以是一个软件实体，它控制步骤的执行、遍历（或涵盖）整个DAG 并处理异常。例如，编排器（或协调器）可能会创建容器，调用运行时进程上下文敏感的参数，从一个阶段到另一个阶段传输数据，并“监视”管道执行。数据工厂的编排是图 7 中 DataOps 流程中的第二个“编排”。 

如上所述，创新管道具有数据管道的代表性副本（或拷贝），用于在部署到生产之前测试和验证新分析。这是与“测试”结合并在“部署”新分析之前进行的编排——如图 8 所示。 编排发生在价值和创新管道中。同样，测试在DataOps 中扮演着双重角色。