基于前端的数据建模方法及其装置、电子设备及存储介质制造方法及图纸

技术编号:37957737 阅读:14 留言:0更新日期:2023-06-30 09:31
本发明专利技术公开了一种基于前端的数据建模方法及其装置、电子设备及存储介质,涉及金融科技领域或其他相关领域,其中,该数据建模方法包括:接收业务数据建模请求,从数据中台中选择与业务标识对应的节点菜单,并基于节点菜单,在待配置区上创建数据节点,在数据节点校验通过的情况下,依据下一数据节点与数据节点之间的连接关系,在待配置区上增加下一数据节点,直到确定无需增加新的数据节点,基于所有数据节点以及数据节点之间的连接关系,构建数据流程模型。本发明专利技术解决了相关技术中无法在前端进行可视化数据建模的技术问题。端进行可视化数据建模的技术问题。端进行可视化数据建模的技术问题。

【技术实现步骤摘要】
基于前端的数据建模方法及其装置、电子设备及存储介质


[0001]本专利技术涉及金融科技领域,具体而言,涉及一种基于前端的数据建模方法及其装置、电子设备及存储介质。

技术介绍

[0002]随着企业的发展,当前的业务线越来越复杂,各个业务系统独立运营。各业务系统之间只关心自己的内部数据,导致各业务系统之间数据相互独立,互不相通。一旦业务系统之间需要进行数据交互,只能通过webservice(即一种跨编程语言和跨操作系统平台的远程调用技术)接口进行数据通信。该种方式对人力成本、时间成本要求比较高,并且需要开发人员编写webservice接口才能进行数据通信。
[0003]相关技术中,引入了ETL技术。ETL是将业务系统的数据经过抽取(Extract)、清洗转换(Transform)之后加载(Load)到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL技术是数据建模开发过程中一个关键的技术手段。
[0004]然而,相关技术中仅通过ETL技术进行数据建模存在如下问题:(1)复用性差。当前用于数据建模的开发工具,比如kettle(一个开源的ETL工具)等,往往只提供独立的可执行软件,不提供WEB(网页)前端开发可用的组件,无法便捷的结合到现有网站系统中。对于需要在线进行建模的业务场景,现有开发工具无法提供有力的支持;(2)定制化开发困难,使用场景有限制。对于WEB前端相关的在线建模开发场景,无法提供便捷的可视化操作方式。
[0005]针对上述的问题,目前尚未提出有效的解决方案。

技术实现思路

[0006]本专利技术实施例提供了一种基于前端的数据建模方法及其装置、电子设备及存储介质,以至少解决相关技术中无法在前端进行可视化数据建模的技术问题。
[0007]根据本专利技术实施例的一个方面,提供了一种基于前端的数据建模方法,包括:接收业务数据建模请求,其中,所述业务数据建模请求包括:业务标识、业务需求;从数据中台中选择与所述业务标识对应的节点菜单,并基于所述节点菜单,在待配置区上创建数据节点;在所述数据节点校验通过的情况下,依据下一数据节点与所述数据节点之间的连接关系,在所述待配置区上增加所述下一数据节点,直到确定无需增加新的所述数据节点,其中,所述下一数据节点以及所述连接关系是依据所述业务需求确定的;基于所有所述数据节点以及所述数据节点之间的所述连接关系,构建数据流程模型。
[0008]可选地,在接收业务数据建模请求之前,还包括:确定每个业务对应的业务数据;基于所述数据中台,将所述业务数据封装为数据服务;依据所述数据服务,构建所述数据节点,其中,所述数据节点的节点类型包括下述至少之一:输入节点、处理节点、输出节点;基于所述数据节点,构建与所述业务对应的所述节点菜单,其中,所述业务关联有所述业务标识。
[0009]可选地,基于所述节点菜单,在待配置区上创建数据节点的步骤,包括:从所述节点菜单中拖拽所述数据节点至所述待配置区;在所述待配置区上配置所述数据节点的节点属性参数,完成所述数据节点的创建,其中,所述节点属性参数至少包括:数据来源。
[0010]可选地,在基于所述节点菜单,在待配置区上创建数据节点之后,还包括:对所述数据节点的所述节点属性参数进行校验,得到第一校验结果,其中,校验的类型包括下述至少之一:参数完整性校验、参数类型校验、参数值合法性校验、预设校验规则校验;在所述第一校验结果指示校验不通过的情况下,修改所述数据节点的所述节点属性参数。
[0011]可选地,在得到第一校验结果之后,还包括:在所述第一校验结果指示校验通过的情况下,基于所述业务需求判断是否增加新的所述数据节点,得到判断结果;在所述判断结果指示增加新的所述数据节点的情况下,依据所述业务需求确定新增的所述数据节点的节点类型以及新增的所述数据节点与其他数据节点之间的连接关系;基于所述节点类型以及所述连接关系,增加新的所述数据节点。
[0012]可选地,在基于所有所述数据节点以及所述数据节点之间的所述连接关系,构建数据流程模型之后,还包括:校验所述数据流程模型,得到第二校验结果,其中,校验的类型包括下述至少之一:分支校验、节点类型校验、节点连接校验、流程完整性校验;在所述第二校验结果指示校验不通过的情况下,依据所述第二校验结果携带的校验不通过因素以及校验不通过节点标识修改所述校验不通过节点标识指示的所述数据节点;在所述第二校验结果指示校验通过的情况下,将所述数据流程模型发送至后端,其中,所述后端在接收到所述数据流程模型后,解析所述数据流程模型,生成数据解析结果。
[0013]可选地,在所述后端在接收到所述数据流程模型后,解析所述数据流程模型,生成数据解析结果之后,还包括:控制所述后端校验接收到的所述数据流程模型,得到第三校验结果;在所述第三校验结果指示校验不通过的情况下,控制所述后端终止数据建模过程,并将所述第三校验结果返回前端;在所述第三校验结果指示校验通过的情况下,控制所述后端返回校验通过的信息。
[0014]根据本专利技术实施例的另一方面,还提供了一种基于前端的数据建模装置,包括:接收单元,用于接收业务数据建模请求,其中,所述业务数据建模请求包括:业务标识、业务需求;创建单元,用于从数据中台中选择与所述业务标识对应的节点菜单,并基于所述节点菜单,在待配置区上创建数据节点;增加单元,用于在所述数据节点校验通过的情况下,依据下一数据节点与所述数据节点之间的连接关系,在所述待配置区上增加所述下一数据节点,直到确定无需增加新的所述数据节点,其中,所述下一数据节点以及所述连接关系是依据所述业务需求确定的;构建单元,用于基于所有所述数据节点以及所述数据节点之间的所述连接关系,构建数据流程模型。
[0015]可选地,所述数据建模装置还包括:第一确定模块,用于在接收业务数据建模请求之前,确定每个业务对应的业务数据;第一封装模块,用于基于所述数据中台,将所述业务数据封装为数据服务;第一构建模块,用于依据所述数据服务,构建所述数据节点,其中,所述数据节点的节点类型包括下述至少之一:输入节点、处理节点、输出节点;第二构建模块,用于基于所述数据节点,构建与所述业务对应的所述节点菜单,其中,所述业务关联有所述业务标识。
[0016]可选地,所述创建单元包括:第一拖拽模块,用于从所述节点菜单中拖拽所述数据
节点至所述待配置区;第一配置模块,用于在所述待配置区上配置所述数据节点的节点属性参数,完成所述数据节点的创建,其中,所述节点属性参数至少包括:数据来源。
[0017]可选地,所述数据建模装置还包括:第一校验模块,用于在基于所述节点菜单,在待配置区上创建数据节点之后,对所述数据节点的所述节点属性参数进行校验,得到第一校验结果,其中,校验的类型包括下述至少之一:参数完整性校验、参数类型校验、参数值合法性校验、预设校验规则校验;第一修改模块,用于在所述第一校验结果指示校验不通过的情况下,修改所述数据节点的所述节点属性参数。
[0018]可选地,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于前端的数据建模方法,其特征在于,包括:接收业务数据建模请求,其中,所述业务数据建模请求包括:业务标识、业务需求;从数据中台中选择与所述业务标识对应的节点菜单,并基于所述节点菜单,在待配置区上创建数据节点;在所述数据节点校验通过的情况下,依据下一数据节点与所述数据节点之间的连接关系,在所述待配置区上增加所述下一数据节点,直到确定无需增加新的所述数据节点,其中,所述下一数据节点以及所述连接关系是依据所述业务需求确定的;基于所有所述数据节点以及所述数据节点之间的所述连接关系,构建数据流程模型。2.根据权利要求1所述的数据建模方法,其特征在于,在接收业务数据建模请求之前,还包括:确定每个业务对应的业务数据;基于所述数据中台,将所述业务数据封装为数据服务;依据所述数据服务,构建所述数据节点,其中,所述数据节点的节点类型包括下述至少之一:输入节点、处理节点、输出节点;基于所述数据节点,构建与所述业务对应的所述节点菜单,其中,所述业务关联有所述业务标识。3.根据权利要求1所述的数据建模方法,其特征在于,基于所述节点菜单,在待配置区上创建数据节点的步骤,包括:从所述节点菜单中拖拽所述数据节点至所述待配置区;在所述待配置区上配置所述数据节点的节点属性参数,完成所述数据节点的创建,其中,所述节点属性参数至少包括:数据来源。4.根据权利要求3所述的数据建模方法,其特征在于,在基于所述节点菜单,在待配置区上创建数据节点之后,还包括:对所述数据节点的所述节点属性参数进行校验,得到第一校验结果,其中,校验的类型包括下述至少之一:参数完整性校验、参数类型校验、参数值合法性校验、预设校验规则校验;在所述第一校验结果指示校验不通过的情况下,修改所述数据节点的所述节点属性参数。5.根据权利要求4所述的数据建模方法,其特征在于,在得到第一校验结果之后,还包括:在所述第一校验结果指示校验通过的情况下,基于所述业务需求判断是否增加新的所述数据节点,得到判断结果;在所述判断结果指示增加新的所述数据节点的情况下,依据所述业务需求确定新增的所述数据节点的节点类型以及新增的所述数据节点与其他数据节点之间的连接关系;基于所述节点类型以及所述连接关系,增加新的所述数据节点。6.根据权利要求1所述的数据建模方法,其特征在于,在...

【专利技术属性】
技术研发人员:杨新财杜学智顾正之尚昱辰
申请(专利权)人:工银科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1