案例 | 汽车金融大数据平台之云原生技术：实现高可用、高灵活、高扩展性

当前，我国经济已转向高质量发展阶段，科技创新与金融行业不断融合发展, 汽车金融领域的数字化进程也在不断加速。汽车金融企业或平台如何在新金融模式下稳步快速发展，其中最关键的一环就是运用大数据技术建立起核心竞争力，借助数据更好地服务消费者，真正做到利用数据驱动决策和创新。

那么，如何实现汽车金融的数智化管理？在汽车金融平台建设过程中，如何保证架构的延续性，可弹性扩充，高灵活性？通过云原生技术如何赋予汽车金融建模工具与模型平台的能力？本篇案例分享其建设实践。

金融业务快速发展
亟需破解数据分析与应用难题

显然，大数据的应用分析能力，正在成为金融机构未来发展的核心竞争要素，在交易欺诈识别、风险定价、精准营销、全生命周期风险管理、增长运营等方面都有着重要商业价值。某汽车金融公司业务，涉及多个前后端系统，包含集团系统，金融业务系统，自动化决策系统。随着金融业务快速发展，数据维度和体量不断增长，现有数据库不足以支撑全部业务需求，分析工具及数据应用需求顺势增加，痛点与需求包括以下几点：

◼︎ 数据源繁多且持续增长，亟需统一的整理及清洗机制，便于分析人员获取目标数据；

◼︎ 数据分层建设与管理，解决底层数据和加工数据分层管理问题，加强数据安全，便于分析人员提炼数据价值；

◼︎ 数据表关系的统筹规划，迫切需要提高数据访问速度；

◼︎ 加强数据协作，添加共享报表功能，使非分析人员也能够快速获得数据支持；

◼︎ 清除数据库历史遗留数据，进行统一的清洗及治理；

◼︎ 建立健全数据检测机制，及时关注数据和数据库健康状况。

为解决以上问题和需求，提升金融业务数字化水平，亟需建设一个既能满足现有业务发展需要，又能够为汽车金融业务发展提供足够支撑的，具备集“技术领先、技术开放、运维技术与业务一体化”为一身的数据平台。

技术领先性，在于作为新建核心类数字化系统，要善于引用最新的技术成果进行相对同行的“弯道超车”；技术开放性，在于作为该汽车的重要业务板块，汽车金融需要自行掌握技术平台，把握系统建设的主动权；运维技术与业务的一体化，是技术快速响应业务需求的必然要求，也是数据平台技术发展的重要发展特征。

探索引领云原生创新应用

构建汽车金融数据平台及风险数据集市

基于云原生架构，实现高扩展性、高可用性、高弹性等优势，成为构建实时数据平台的首选技术。

智领云科技作为国内云原生大数据核心技术的先行者和倡导者，其研发技术团队基于对该汽车金融业务发展的理解，以及数据平台技术趋势，在需求解决和平台建设过程中，避免采用了传统方式构建数据仓库和数据集市，而是基于云原生架构建立起数据平台，并基于此新型技术来架构风险数据集市。

传统的实时数据仓库和数据集市技术通常采用流处理方式，将数据流式传输到处理系统中，实现对数据的实时处理和分析。然而，这种处理方式存在着一些问题，例如难以扩展、难以维护、难以应对突发流量等。

通过利用云原生技术的优势，更好地实现对实时数据的处理和分析。云原生架构作为一种基于容器、微服务、自动化部署、自动化治理、自动化运维等技术的新型架构模式，提供高可用性、高弹性、高扩展性等优势，保证架构的延续性、可扩充性、无缝对接企业级开源软件。

智领云大数据平台基于先进的云原生架构开发，遵从容器平台架构、应用微服务架构、大数据基础架构、数据安全架构四大架构设计原则。系统在支持互联网协议第四版（IPv4）的基础上，支持互联网协议第六版（IPv6）。提供了一整套大数据产品套件，帮助政府、企业用户通过统一平台，以可视化、可扩展的方式进行大数据开发、数据管理和数据探索，并实现数据以及数据分析模型的抽象和共享，总体架构包含云平台层、大数据基础能力层、数据管理运营层、数据应用层和智能化运维体系。

◼︎ 云平台层：云平台层是整个平台的基础“底座”，负责对所有分布式资源管理负责计算及存储资源调度，同时对容器进行编排，实现多用户的租户空间资源分配和隔离。在此平台之上可以实现应用的部署，资源的能够无缝扩容。基于Docker的容器化技术提供一键式应用沙盒发布，基于Kubernetes流行架构能够提供基于Docker容器化后的应用调度和基础集成能力。

◼︎ 大数据基础能力层：大数据基础能力层是整个平台的“能力工具”层，负责在K8s统一框架上集成各类大数据的组件，包括Hive、Hadoop、Spark、ElasticSearch、Kafka、Flink、TensorFlow、MongoDB。要实现大数据的应用，除了要有足够的数据支撑之外，还需要各类有用且高效的大数据工具。基础能力层就是一个能力框架层，它可以快速集成各类主流大数据组件，为上层的管理运营层提供各种组件工具。

◼︎ 数据管理运营层数据管理运营层是整个平台的“工作中心”，这里需要使用大数据基础能力层所提供的各类大数据组件，对大数据平台之外的数据进行采集、清洗、转换、治理、分析计算，并为数据应用层提供可使用的数据服务，同时还具备全局的元数据统一管理，还提供经过使用大数据算法工具计算出的算法模型的服务。

◼︎ 数据应用层：数据应用层是整个大数据平台的“数据能力展现”层，在该层之上会有基于平台输出的“智能化数据”构建好的各类按照科技人员管理业务要求的应用。经过数据管理运营层加工、治理、分析计算好的数据都可以在本层上使用，本层上的各类应用能够使用这些“业务有效”数据，满足智能化管理的需要。

◼︎ 智能化运维体系：智能化运维体系是整个大数据平台运行稳定、安全、可靠的保证，是平台的“卫兵”体系。这个体系中能够保证多用户在平台上的隔离使用，互不干扰，保证了平台中运行、处理的数据的安全有效；能够保证在平台上运行的所有操作和过程都全程留痕、有迹可查，所有的操作和数据都是经过了审核和审计，达到了平台管理的要求总之，云原生数据仓库技术是构建实时数据仓库的首选技术，它基于云原生架构，能够实现高可用性、高弹性、高扩展性等优势。通过使用分布式存储和容器化技术，实现数据的分布式存储和多副本同步，从而提供更高的可用性和可靠性；通过使用容器化和自动化部署技术，实现自动化水平和垂直扩展，从而提供更高的弹性和可伸缩性；通过使用微服务和容器化技术，实现水平扩展，从而提供更高的扩展性和可伸缩性。

经过初期平台建设，系统除了具备基础的大数据平台能力和业务能力之外，汽车金融数据平台也具备了面向未来业务发展的系统架构。基于该架构，还可根据需要进行模块扩展，即可满足数据探索分析、数据挖掘、数据建模、数据运维、数据安全、数据质量监控业务需要，可提供数据开发、数据与服务共享等全栈式的数据生命周期管理平台。

小步快跑 快速迭代

云原生技术实现架构“再创新”

云原生基础架构：方便未来各种技术和数据组件的扩展使用，避免数仓迭代完善过程中受限于“绑死的”平台技术组件，无法横向扩展。既包括组件灵活使用，也包括计算和存储资源的横向扩展。

云原生数据驱动平台：未来的数据应用会非常广泛，未来的数据价值会不断被发掘以及利用提升企业的经营，所以以数仓建设为基础，构建一个数据驱动平台，以此充分挖掘数据潜在价值。

湖仓一体：湖仓一体的技术架构是为支持多源异构数据源基础上实现多场景数据应用的最新技术框架，可以实现数据湖和数据仓库的一体化，大大提高了数据应用开发与管理的效率。湖仓一体架构以MinIO作为数据湖的存储基础，通过Hive+Spark作为数仓的根基，可选择其他数据组件作为数仓的基础。

实时数仓：业务部门随着业务的发展，对数据的实时性统计分析的需求场景会逐渐增多，T+1的时效已经无法满足统计与分析的需要，因此会提出对实时数仓的需求，实时性的需求从T+1到T+0，从小时级到分钟级。实时数仓可以基于Kafka + Flink + Redis等组件构建实时数仓，满足实时计算的需求。

机器学习、人工智能和数据分析：机器学习、人工智能和数据分析是大数据平台中的重要能力，是为数据管理提升管理质量，将以往滞后管理提升至提前预见性管理的重要科学动力，也是数仓建设进行风控模型构建以及预测分析的基础能力。

整体数据平台基于SOA设计思想，具备大数据批处理及实时流处理能力，可满足公司现在及未来较长时间内风控、反欺诈的实时决策、模型运算、量化分析等场景要求。具有相对的独立性，不依赖特定的操作系统、数据库系统、中间件应用服务器和硬件环境，便于后续部署和升级移植，保证系统具有可伸缩性和可扩展性，并提供7*24不间断服务和日终批处理能力。

通过金融与科技的结合，大幅提升了该汽车金融企业的业务效率和质量，为公司高质量发展提供有力的支持。面对行业的新趋势，客户的新需求，智领云科技将坚持用丰富的扎实的研发能力及行业经验，为金融机构提供专业、优质、安全的金融科技数智化服务，系统采用的云原生架构和模块化解决方案，既能满足现有需要，又能兼顾后期快速迭代要求。

未来智领云科技将不断通过智能科技手段，提升客户服务体验，提高管理效率，降低公司经营成本，为未来高质量可持续发展奠定坚实基础，同时助力汽车产业稳健发展。