一键安装部署所有大数据组件，是一种什么体验？

在人们的印象中运维工程师

常年背着沉重的书包

全年7*24小时无休

每一分每一秒都不能放松警惕

深夜维护升级系统

傻小子加班是常态

你看运维人小张，凌晨两点半忙碌的背影有多感人。赶上公司大数据平台组件安装，他舍己为人，安装完一个组件，再来三个组件……组件适配、引擎调优，一步步手工部署，一项项人工检查，眼看已是半夜，距离所有大数据组件安装完成仍遥遥无期……当别人已进入梦乡，他还是那个用加班熬夜换“岁月静好”的老实人。

不过，数据人可不都这么悲催，你看运维小李的工作就轻松很多，甚至做到了小张不敢想象的“准点下班”。小李所在公司的大数据平台组件安装部署，嚣张到根本不需要繁杂的手工部署，一键安装部署轻松搞定。后期数据平台的运维，更做到了自动化管理和检测，数据运行情况一目了然，“哪里出错点哪里”不在话下。

对于企业和数据工作者而言，提高工作效率大概有两种主要方式，第一种方式就是加快员工的工作速度，争取在同一段时间内多干一些活来实现多产；而明智的企业和聪明的员工会选择第二种方式，就是通过先进的平台和产品，让一些重复性的、繁琐性的工作被自动化，从而节省出时间来做一些实质性的业务，达到轻松又高效的工作步调。

同样是运维人员，为什么两人在安装部署自家公司大数据平台组件时，却有着截然不同的状态呢？原因并不在运维人本身，而在于传统大数据平台和云原生大数据平台的本质区别。

传统大数据平台：集成安装复杂，运维人员能力要求高

企业作为技术提供方要为多个内部或外部的机构进行大数据集群的部署和实施，但传统大数据平台的软件部署、组件互相适配、计算引擎调优等方案相对复杂，手工部署的步骤多，导致集群部署周期长，项目实施成本很高，运维流程复杂，运维人员能力要求高。显然，传统大数据平台的痛点之一就是集成安装复杂，各个组件都是独立安装流程，需要很多软硬件适配，手工配置文件修改，在安装过程中需要人工状态检查及同步协调，难以自动化及自助化。

云原生K8s大数据平台KDP：一键式安装部署，高效的集群发布和运维

为解决传统大数据平台在集成安装部署大数据组件难题，越来越多的企业开始尝试基于K8s技术构建的云原生大数据平台。但是云原生架构下进行大数据组件安装部署仍有难点：统一配置管理；应用、存储系统的生命周期管理；可观测性服务（指标、告警、日志、负载分析等）；集群环境安全；自动化运维；应用版本升级等难点。作为市场上首个可完全在Kubernetes上部署的容器化云原生大数据平台，KDP利用云原生架构优势，继承大数据组件在类似CDH上的安装部署体验，又发挥云原生架构下的优势：

1、简化了大数据组件与K8s集群的集成。引入新的大数据组件时，只需要按照标准配置文件进行配置，在几个小时内就可以快速实现新的大数据组件部署到K8s。传统大数据平台引入一个新的大数据组件则需要几天甚至几周的时间。

2、降低了大数据平台部署的复杂性。一个后台工程师只需要掌握基本的K8s技术，就可以通过统一的部署方式进行大数据平台的发布，而不需要去学习和掌握10到20种不同的大数据技术。KDP的部署往往只需要几个小时就可以完成，而传统大数据平台的部署最少也需要一两天的时间。

3、减少了大数据平台运维的成本。一个拥有两百个节点的传统大数据平台往往需要5、6个全职大数据运维工程师进行运维，他们经常需要运行各种不同的命令对不同的大数据组件进行配置调优以解决各种性能问题。在KDP平台，这样规模的集群只需要1、2个懂K8s技术的运维工程师，通过统一的命令对各种大数据组件进行配置调优，而且这种操作的机会并不多，因为KDP平台本身会通过云原生技术自动解决大部分的性能问题。

具体来看，云原生大数据平台KDP一键式安装部署及运维的优势还表现在以下几方面：

1、支持一键安装部署常用大数据组件包括：Kafka，Spark，Flink，Hive、HDFS、Minio、HBase等

2、一键安装、布署和升级

3、支持ClickHouse、Tidb、FastDFS等常用组件和开源项目定制化集成需要

4、可视化显示大数据组件依赖关系

5、支持客户化数据组件云原生化定制改造需要

6、简化安装布署和升级维护成本

7、多节点软件自动化升级和安装，大大减少维护工作量

高效的集群发布和运维，使得企业在采用KDP后，可以大幅度提升实施项目的部署效率，降低项目实施运维人力和时间成本。