数据工程-数据服务

系统通过简单的界面配置，对大数据平台内的数据以Restful接口形式统一对外提供查询服务，使接口不再归属于某个数据应用，并支持用户选择同步/异步发布接口功能，使接口可以在不同的数据应用之间共享。并利用KONG网关实现针对用户和API两个维度的访问控制，用户可通过界面操作对访问权限和访问流量进行精细控制，使接口背后的数据共享成为可能，解决不同应用共享数据相互影响的问题。

API

用户点击数据服务-API图标，添加API步骤至数据工程步骤列表。点击该步骤编辑图标，进入API程序步骤编辑界面。

步骤配置

API基础信息

信息项	内容	备注
API名称	–	系统默认生成
API路径	–	系统默认生成
请求方式	下拉框选择	系统支持Get和Post两种方式
描述		用户自定义

数据集配置

信息项	内容	备注
数据源	下拉框选择	用户也可创建新数据源进行添加
数据库	下拉框选择
数据表	下拉框选择
数据过滤		根据实际需要填写，例如：blog.status > 0 and cast(blog.str as char(4)) as str1

添加数据源

如用户需要添加新的数据服务类数据源，可点击数据源下方的链接，并填写配置信息

信息项	内容	备注
类型*	下拉框选择	系统当前版本支持MySQL数据源类型
名称*		用户自定义
URL		根据实际情况填写
用户名		根据实际情况填写数据源用户名
密码		根据实际情况填写数据源用户密码

【数据集配置 – MySQL】

系统支持用户通过界面简单配置，创建基于MySQL为数据源的API，并提供对MySQL数据集的异步查询功能

API访问控制

系统使用KONG的JWT和Rate Limit插件来实现访问控制，用户可通过API访问控制或JWT验证对创建的API进行访问流量限制。

API访问控制

条目	内容	描述
每秒		”0“为不限制，用户根据实际需要填入
每小时		”0“为不限制，用户根据实际需要填入
每天		”0“为不限制，用户根据实际需要填入
分配流控
总访问额度
JWT验证	用户组白名单	此功能为高级功能，用户可在企业版系统控制台中，对API设置用户组及用户颗粒度的访问权限
IP和IP段白名单	开启/关闭	填入IP或IP段，如：127.0.0.1或192.168.0.0/24，用户根据实际需要进行填写

配置完毕后点击测试，测试成功后点击发布，即可发布该API。

上下游数据

用户成功执行该步骤后，可通过上下游数据界面查看上下游数据信息。时间同步有时耗，需等待片刻进行查看。

运行记录

用户可通过界面，查看步骤的历史运行记录日志详情。