数据工程-数据服务

by prentiss 2021-05-05

系统通过简单的界面配置,对大数据平台内的数据以Restful接口形式统一对外提供查询服务,使接口不再归属于某个数据应用,并支持用户选择同步/异步发布接口功能,使接口可以在不同的数据应用之间共享。并利用KONG网关实现针对用户和API两个维度的访问控制,用户可通过界面操作对访问权限和访问流量进行精细控制,使接口背后的数据共享成为可能,解决不同应用共享数据相互影响的问题。

API

用户点击数据服务-API图标,添加API步骤至数据工程步骤列表。点击该步骤编辑图标,进入API程序步骤编辑界面。

1

步骤配置

API基础信息
信息项内容备注
API名称系统默认生成
API路径系统默认生成
请求方式下拉框选择系统支持Get和Post两种方式
描述用户自定义
数据集配置
信息项内容备注
数据源下拉框选择用户也可创建新数据源进行添加
数据库下拉框选择
数据表下拉框选择
数据过滤根据实际需要填写,例如:blog.status > 0 and cast(blog.str as char(4)) as str1

添加数据源

如用户需要添加新的数据服务类数据源,可点击数据源下方的链接,并填写配置信息

信息项内容备注
类型*下拉框选择系统当前版本支持MySQL数据源类型
名称*用户自定义
URL根据实际情况填写
用户名根据实际情况填写数据源用户名
密码根据实际情况填写数据源用户密码

【数据集配置 – MySQL】

系统支持用户通过界面简单配置,创建基于MySQL为数据源的API,并提供对MySQL数据集的异步查询功能

API访问控制

系统使用KONG的JWT和Rate Limit插件来实现访问控制,用户可通过API访问控制或JWT验证对创建的API进行访问流量限制。

API访问控制

条目内容描述
每秒”0“为不限制,用户根据实际需要填入
每小时”0“为不限制,用户根据实际需要填入
每天”0“为不限制,用户根据实际需要填入
分配流控
总访问额度
JWT验证用户组白名单此功能为高级功能,用户可在企业版系统控制台中,对API设置用户组及用户颗粒度的访问权限
IP和IP段白名单开启/关闭填入IP或IP段,如:127.0.0.1或192.168.0.0/24,用户根据实际需要进行填写

配置完毕后点击测试,测试成功后点击发布,即可发布该API。

上下游数据

用户成功执行该步骤后,可通过上下游数据界面查看上下游数据信息。时间同步有时耗,需等待片刻进行查看。

运行记录

用户可通过界面,查看步骤的历史运行记录日志详情。

留言

评论

${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}} · ${{item.date.slice(0, 10)}} 回复

暂时还没有一条评论.