一种融合多种数据类型的建模方法及相关设备技术

本发明专利技术公开了一种融合多种数据类型的建模方法及相关设备，所述方法包括：添加数据库对象、文件对象和图数据库对象；在碰撞模型页面新建碰撞模型，将数据库对象、文件对象和图数据库对象推拽到模型画布；在组件进行连接保存时，对连接规范进行校验，校验不通过进行报错提示；填写任务运行名称，通过运行控制器、SQL脚本转换器和数据缓存器解析并运行整个碰撞模型；在碰撞模型运行完成后，在结果查看页面查看碰撞模型每次运行的结果数据和日志信息。本发明专利技术通过将原本需要在多种环境下运行的数据统一转换为在FLINK引擎内运行，来实现跨数据类型的分析比较，并通过运算处理组件实现零代码的模型构建。零代码的模型构建。零代码的模型构建。

【技术实现步骤摘要】
一种融合多种数据类型的建模方法及相关设备


[0001]本专利技术涉及数据分析建模
，尤其涉及一种融合多种数据类型的建模方法、系统、终端及计算机可读存储介质。

技术介绍

[0002]随着时代的发展，结构化数据、文本数据、大数据、图数据、时序数据等等层出不穷，极大的推动了社会和科技的进步，各种大数据平台、数据处理加工工具也不断丰富。在现在大数据时代要对多种类型数据进行提取分析时，往往需要先进行数据整合，把不同数据库类型、不同表结构和字段是数据整合到一个大数据库系统中，然后通过分析工具来编写SQL语句进行查询。
[0003]但是，常规的处理方式需要搭建一套大数据中台，对不同类型数据进行接入，进行数据治理和融合，同时还需要用户具有使用数据库专业能力和SQL编写能力；用户编写的SQL语句或函数也只能用在本次数据分析使用，下一次又要重新编写，下次遇到相同类型的业务场景还需要重新写SQL语句。
[0004]其次，很多数据分析的时候遇到CSV、EXCEL文件数据都是要先导入到数据库中或是借助数据分析工具进行加载后再与需要比较的数据库表进行比较；而且，现在流行的图数据库也很少有工具去进行与数据库表的分析比较，往往图数据库导入图库后就只是作为查询展示用而已。
[0005]因此，现有技术还有待于改进和发展。

技术实现思路

[0006]本专利技术的主要目的在于提供一种融合多种数据类型的建模方法、系统、终端及计算机可读存储介质，旨在解决现有技术中数据处理中的不完善不易操作的问题。
[0007]为实现上述目的，本专利技术提供一种融合多种数据类型的建模方法，所述融合多种数据类型的建模方法包括如下步骤：添加数据库对象、文件对象和图数据库对象；在碰撞模型页面新建碰撞模型，将数据库对象、文件对象和图数据库对象推拽到模型画布；在组件进行连接保存时，对连接规范进行校验，校验不通过进行报错提示；填写任务运行名称，通过运行控制器、SQL脚本转换器和数据缓存器解析并运行整个碰撞模型；在碰撞模型运行完成后，在结果查看页面查看碰撞模型每次运行的结果数据和日志信息。
[0008]所述的融合多种数据类型的建模方法，其中，所述添加数据库对象、文件对象和图数据库对象，具体包括：通过页面配置数据库的JDBC连接参数，保存数据源信息，数据源配置完后选择数
据源下的表并选择需要的字段设置为数据对象；通过文件上传的形式将文件资源上传到系统中，文件资源存储到MINIO对象存储数据库中，在页面进行文件名称设置并预览文件的前预设数量行数据；通过页面配置图数据库的连接参数并保存，选择指定图数据源下实体或关系，生成图数据库对象。
[0009]所述的融合多种数据类型的建模方法，其中，所述在碰撞模型页面新建碰撞模型，将数据库对象、文件对象和图数据库对象推拽到模型画布，还包括：进行数据对象连接构建。
[0010]所述的融合多种数据类型的建模方法，其中，所述运行控制器用于负责模型运行启动和关闭，并监控模型的运行情况和记录日志信息；所述SQL脚本转换器用于负责将模型组件的连接关系转换为可运行的SQL语句；所述数据缓存器负责存储和记录模型各个组件节点运行临时数据和结果数据。
[0011]所述的融合多种数据类型的建模方法，其中，所述模型画布包括对象列表栏、组件列表栏、工具栏和画布。
[0012]所述的融合多种数据类型的建模方法，其中，所述组件包括：交集、并集、差集、聚合、筛选行、计算列、字段设置和SQL算子。
[0013]此外，为实现上述目的，本专利技术还提供一种融合多种数据类型的建模系统，其中，所述融合多种数据类型的建模系统包括：对象配置模块，用于添加数据库对象、文件对象和图数据库对象；模型装配模块，用于在碰撞模型页面新建碰撞模型，将数据库对象、文件对象和图数据库对象推拽到模型画布；规范校验模块，用于在组件进行连接保存时，对连接规范进行校验，校验不通过进行报错提示；模型运行模块，用于填写任务运行名称，通过运行控制器、SQL脚本转换器和数据缓存器解析并运行整个碰撞模型；结果查看模块，用于在碰撞模型运行完成后，在结果查看页面查看碰撞模型每次运行的结果数据和日志信息。
[0014]此外，为实现上述目的，本专利技术还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的融合多种数据类型的建模程序，所述融合多种数据类型的建模程序被所述处理器执行时实现如上所述的融合多种数据类型的建模方法的步骤。
[0015]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有融合多种数据类型的建模程序，所述融合多种数据类型的建模程序被处理器执行时实现如上所述的融合多种数据类型的建模方法的步骤。
[0016]本专利技术中，添加数据库对象、文件对象和图数据库对象；在碰撞模型页面新建碰撞模型，将数据库对象、文件对象和图数据库对象推拽到模型画布；在组件进行连接保存时，对连接规范进行校验，校验不通过进行报错提示；填写任务运行名称，通过运行控制器、SQL脚本转换器和数据缓存器解析并运行整个碰撞模型；在碰撞模型运行完成后，在结果查看页面查看碰撞模型每次运行的结果数据和日志信息。本专利技术通过将原本需要在多种环境下
运行的数据统一转换为在FLINK引擎内运行，来实现跨数据类型的分析比较，并通过运算处理组件实现零代码的模型构建。
附图说明
[0017]图1是本专利技术融合多种数据类型的建模方法的较佳实施例的流程图；图2是本专利技术融合多种数据类型的建模方法的较佳实施例中实现多种数据类型建模过程的流程示意图；图3是本专利技术融合多种数据类型的建模方法的较佳实施例中模型运行处理流程图；图4是本专利技术融合多种数据类型的建模方法的较佳实施例中碰撞模型界面示意图；图5是本专利技术融合多种数据类型的建模系统的较佳实施例的原理示意图；图6为本专利技术终端的较佳实施例的运行环境示意图。
具体实施方式
[0018]为使本专利技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0019]本专利技术通过整合数据库、CSV、EXCEL、图数据库等多种数据来源，在同一个模型中进行数据分析，并使用交、并、差、聚合、筛选行、计算列、字段设置、SQL算子和函数等丰富组件完善建模分析过程，实现零代码，零门槛的数据分析建模。模型是在FLINK环境下执行，得到结果数据可以进行预览和日志查看。Apache Flink是一个开源的流处理框架，应用于分布式、高性能、高可用的数据流应用程序。本专利技术用到的技术包含JDBC数据源连接、MINIO对象数据存储、FLINK、图数据库和SQL语句转换等。
[0020]本专利技术较佳实施例所述的融合多种数据类型的建模方法，如图1所示，所述融合多种数据类型的建模方法包括以下步骤：步骤S10、添加数据库对象、文件对象和图数据库对象。
[0021]具体地，如图2所示，添加数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合多种数据类型的建模方法，其特征在于，所述融合多种数据类型的建模方法包括：添加数据库对象、文件对象和图数据库对象；在碰撞模型页面新建碰撞模型，将数据库对象、文件对象和图数据库对象推拽到模型画布；在组件进行连接保存时，对连接规范进行校验，校验不通过进行报错提示；填写任务运行名称，通过运行控制器、SQL脚本转换器和数据缓存器解析并运行整个碰撞模型；在碰撞模型运行完成后，在结果查看页面查看碰撞模型每次运行的结果数据和日志信息。2.根据权利要求1所述的融合多种数据类型的建模方法，其特征在于，所述添加数据库对象、文件对象和图数据库对象，具体包括：通过页面配置数据库的JDBC连接参数，保存数据源信息，数据源配置完后选择数据源下的表并选择需要的字段设置为数据对象；通过文件上传的形式将文件资源上传到系统中，文件资源存储到MINIO对象存储数据库中，在页面进行文件名称设置并预览文件的前预设数量行数据；通过页面配置图数据库的连接参数并保存，选择指定图数据源下实体或关系，生成图数据库对象。3.根据权利要求2所述的融合多种数据类型的建模方法，其特征在于，所述在碰撞模型页面新建碰撞模型，将数据库对象、文件对象和图数据库对象推拽到模型画布，还包括：进行数据对象连接构建。4.根据权利要求1所述的融合多种数据类型的建模方法，其特征在于，所述运行控制器用于负责模型运行启动和关闭，并监控模型的运行情况和记录日志信息；所述SQL脚本转换器用于负责将模型组件的连接关系转换为可运行的SQL语句；所述数据缓存器负责存储和记录模型各个组件节点运行...

【专利技术属性】
技术研发人员：山其本，李潘，王耀威，李志播，黄伟阳，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：