【技术实现步骤摘要】
本专利技术涉及属于软件(数仓数据开发相关)，主要应用于数据中台数据仓库建设，用于辅助数据加工脚本的开发及管理，具体涉及一种数据开发平台和数据开发方法。
技术介绍
1、现有技术中的数据开发面向不同类型的数据库，需要使用不同的客户端工具，例如面向oracle使用plsql，面向cdh使用hue，面向transwarp使用waterdrop等。并且现有技术中的开发管理依赖于本地或者在线的word、excel、txt等格式的文档记录数据开发相关的计划、分工、脚本、版本等开发成果及管理信息。
2、在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
3、开发人员学习成本高，需要针对不同数据库学习不同开发工具的使用。且开发方式单一，只能通过直接编写sql的形式进行开发，对于开发人员的技术门槛要求较高，开发效率低下。
技术实现思路
1、有鉴于此，本专利技术实施例的目的在于提供一种数据开发平台和数据开发方法，以解决现有技术中的问题。
2、第一方面，本专利技术实施例提供了一种数据开发平台，所述数据开发平台包括：
3、注册中心，用于统一管理微服务集群，使得不同微服务之间通过服务名动态调用；
4、负载均衡设备，用于分发和管理流量；
5、web服务，用于接收来自用户的请求，将所述请求转发给微服务网关；
6、微服务网关，用于过滤所有的数据开发平台的前端和后端的微服务调用，并转发请求到鉴权服务进行统一的鉴权认证；
7、鉴权服务，用于对所述请求进行统一的鉴权认证；
8、微服务集群，其按照业务功能拆分为多个不同的独立运行的微服务，用于提供统一的开发管理流程、安全的用户认证与授权、统一的数据源管理、脚本开发管理，以及脚本开发成果展示；
9、文件服务器，用于存放开发过程生成的脚本文件或者临时文件；
10、分布式缓存，用于缓存用户登录会话信息和/或菜单权限信息；
11、配置数据库集群，用于存放系统配置和/或开发配置数据。
12、在一些可能的实施方式中，所述微服务网关，具体包括：
13、rest协议接入模块，用于支持restful api的接入，处理和转发符合restful设计风格的api请求；
14、合作方权限过滤模块，用于根据合作方的身份和权限对api请求进行过滤和控制，确保只有经过授权的合作方能够访问相应的api；
15、服务访问权限过滤模块，用于对内部微服务的访问进行权限控制，确保只有经过授权的微服务能够相互通信；
16、流量控制模块，用于对api请求的流量进行控制和管理；
17、非rest协议接入模块，用于支持非restful协议的接入；
18、协议适配模块，用于将不同的协议进行转换和适配，使得客户端和服务端使用不同的通信协议进行通信；
19、报文映射模块，用于对不同格式的报文进行映射和转换，使得客户端和服务端使用不同的数据格式进行通信。
20、在一些可能的实施方式中，所述微服务集群包括：
21、管理微服务，用于提供统一的开发管理流程，其包括项目管理、需求管理、或者任务拆分流转；
22、基础微服务，用于提供用户认证、授权和日志记录的基础功能，实现通用业务功能的复用；
23、数据源微服务，用于提供统一的数据源管理功能，其包括多种类型数据源的配置信息维护、连通性测试和元数据查询；所述多种类型数据源包括：关系型数据源、大数据数据源、非关系型数据源中的任意多个；
24、映射微服务，用于提供etl脚本开发配置的相关支持，脚本版本管理，以及脚本血缘解析能力；
25、展示微服务，用于提供统一的开发脚本成果展示能力，其包括全链路血缘展示和/或开发成果目录。
26、在一些可能的实施方式中，所述展示微服务包括：
27、全链路血缘展示模块，配置有用于解析单个或多个开发脚本以确定数据流向的血缘分析器，该血缘分析器能够识别并展示从源数据表至目标数据表的所有上游和下游脚本加工血缘链路图；
28、开发成果目录模块，配置有用于创建和维护层级目录的目录管理器，所述目录管理器允许将开发脚本与目录关联，并基于目录检索查看相关的开发脚本；
29、其中，所述全链路血缘展示模块进一步包括用于将解析得到的血缘信息以图形化界面展示的展示器，所述展示器能够展示包含多级上游和下游关系的完整血缘链路图。
30、其中，所述目录管理器允许用户通过用户界面添加、编辑或删除目录项，并将开发脚本与相应的目录项关联。
31、其中，所述展示微服务还可以包括权限控制模块，用于控制不同用户对于全链路血缘展示模块和开发成果目录模块的访问权限。
32、在一些可能的实施方式中，微服务集群中的相应微服务具有如下功能：
33、当业务场景为高并发读取场景时，所述基础微服务使用分布式缓存来存储业务数据；
34、当业务场景为高写入频率场景时，所述数据源微服务使用配置数据库集群来存储业务数据；
35、当业务场景为大数据量存储场景时，所述数据源微服务使用文件服务器来存储业务数据；
36、当业务场景为高可靠性和数据持久化场景时，所述数据源微服务使用配置数据库集群来存储业务数据；
37、当业务场景为快速读取和计算场景时，所述基础微服务使用分布式缓存来存储业务数据。
38、在一些可能的实施方式中，所述注册中心包括健康检查模块，所述健康检查模块包括下子模块：
39、心跳检测子模块，用于定期验证微服务节点的活跃状态并确保其响应性；若微服务节点未按时响应，则从服务列表中排除；
40、状态监测子模块，用于通过健康检查请求评估微服务节点的健康状态；若微服务节点报告不健康状态，则标记为不可用；
41、负载评估子模块，用于监控微服务节点的资源使用情况并判断其健康状况；当微服务节点资源负载超出阈值，将所述微服务节点视为不可用。
42、在一些可能的实施方式中，所述注册中心包括：
43、接收模块，用于在微服务启动时接收并存储微服务的注册信息，所述注册信息包括服务名和网络地址；接收调用方微服务发送的携带服务名的请求；
44、微服务调用模块，用于解析所述服务名，并将请求准确地路由至所述服务名对应的目标微服务节点，以便完成微服务间的动态通信。
45、在一些可能的实施方式中，所述映射微服务包括脚本血缘解析模块，用于自动解析数据加工脚本中的血缘关系并将解析结果存储到配置数据库集群中；
46、所述脚本血缘解析模块包括：
47、ide集成子模块，用于在集成开发环境中，在开发者保存或提交脚本时自动触发脚本血缘解析；
48、配置化开发子模块，用于在配置化开发流程的最后一步确认生成脚本时进行脚本血缘解析本文档来自技高网...
【技术保护点】
1.一种数据开发平台，其特征在于，所述数据开发平台包括：
2.根据权利要求1所述的数据开发平台，其特征在于，所述微服务网关，具体包括：
3.根据权利要求1所述的数据开发平台，其特征在于，所述微服务集群包括：
4.根据权利要求3所述的数据开发平台，其特征在于，
5.根据权利要求1所述的数据开发平台，其特征在于，所述注册中心包括健康检查模块，所述健康检查模块包括如下子模块：
6.根据权利要求1所述的数据开发平台，其特征在于，所述注册中心包括：
7.根据权利要求3所述的数据开发平台，其特征在于，所述映射微服务包括脚本血缘解析模块，用于自动解析数据加工脚本中的血缘关系并将解析结果存储到配置数据库集群中；
8.根据权利要求3所述的数据开发平台，其特征在于，所述映射微服务包括智能推荐模块，用于基于历史脚本的血缘关系数据，为开发人员提供表、字段或者关系的使用热度分析和推荐；
9.根据权利要求3所述的数据开发平台，其特征在于，所述映射微服务包括依赖关系存储模块，用于将脚本血缘解析模块解析出的依赖关系存
10.根据权利要求1所述的数据开发平台，其特征在于，包括如下中的任意一项或多项：
11.一种数据开发方法，应用于如权利要求1所述的数据开发平台，其特征在于，所述数据开发方法包括以下步骤：
...【技术特征摘要】
1.一种数据开发平台，其特征在于，所述数据开发平台包括：
2.根据权利要求1所述的数据开发平台，其特征在于，所述微服务网关，具体包括：
3.根据权利要求1所述的数据开发平台，其特征在于，所述微服务集群包括：
4.根据权利要求3所述的数据开发平台，其特征在于，
5.根据权利要求1所述的数据开发平台，其特征在于，所述注册中心包括健康检查模块，所述健康检查模块包括如下子模块：
6.根据权利要求1所述的数据开发平台，其特征在于，所述注册中心包括：
7.根据权利要求3所述的数据开发平台，其特征在于，所述映射微服务包括脚本血缘解析模块，用于自动解析...
【专利技术属性】
技术研发人员：张彬彬，肖姝，林金鹏，李志敏，
申请(专利权)人：北京宇信科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。