一种融合多种数据类型的建模方法及相关设备技术

本发明专利技术公开了一种融合多种数据类型的建模方法及相关设备，所述方法包括：添加数据库对象、文件对象和图数据库对象；在碰撞模型页面新建碰撞模型，将数据库对象、文件对象和图数据库对象推拽到模型画布；在组件进行连接保存时，对连接规范进行校验，校验不通过进行报错提示；填写任务运行名称，通过运行控制器、SQL脚本转换器和数据缓存器解析并运行整个碰撞模型；在碰撞模型运行完成后，在结果查看页面查看碰撞模型每次运行的结果数据和日志信息。本发明专利技术通过将原本需要在多种环境下运行的数据统一转换为在FLINK引擎内运行，来实现跨数据类型的分析比较，并通过运算处理组件实现零代码的模型构建。零代码的模型构建。零代码的模型构建。

【技术实现步骤摘要】
一种融合多种数据类型的建模方法及相关设备


[0001]本专利技术涉及数据分析建模
，尤其涉及一种融合多种数据类型的建模方法、系统、终端及计算机可读存储介质。

技术介绍

[0002]随着时代的发展，结构化数据、文本数据、大数据、图数据、时序数据等等层出不穷，极大的推动了社会和科技的进步，各种大数据平台、数据处理加工工具也不断丰富。在现在大数据时代要对多种类型数据进行提取分析时，往往需要先进行数据整合，把不同数据库类型、不同表结构和字段是数据整合到一个大数据库系统中，然后通过分析工具来编写SQL语句进行查询。
[0003]但是，常规的处理方式需要搭建一套大数据中台，对不同类型数据进行接入，进行数据治理和融合，同时还需要用户具有使用数据库专业能力和SQL编写能力；用户编写的SQL语句或函数也只能用在本次数据分析使用，下一次又要重新编写，下次遇到相同类型的业务场景还需要重新写SQL语句。
[0004]其次，很多数据分析的时候遇到CSV、EXCEL文件数据都是要先导入到数据库中或是借助数据分析工具进行加载后再与需要比较的数据库表进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合多种数据类型的建模方法，其特征在于，所述融合多种数据类型的建模方法包括：添加数据库对象、文件对象和图数据库对象；在碰撞模型页面新建碰撞模型，将数据库对象、文件对象和图数据库对象推拽到模型画布；在组件进行连接保存时，对连接规范进行校验，校验不通过进行报错提示；填写任务运行名称，通过运行控制器、SQL脚本转换器和数据缓存器解析并运行整个碰撞模型；在碰撞模型运行完成后，在结果查看页面查看碰撞模型每次运行的结果数据和日志信息。2.根据权利要求1所述的融合多种数据类型的建模方法，其特征在于，所述添加数据库对象、文件对象和图数据库对象，具体包括：通过页面配置数据库的JDBC连接参数，保存数据源信息，数据源配置完后选择数据源下的表并选择需要的字段设置为数据对象；通过文件上传的形式将文件资源上传到系统中，文件资源存储到MINIO对象存储数据库中，在页面进行文件名称设置并预览文件的前预设数量行数据；通过页面配置图数据库的连接参数并保存，选择指定图数据源下实体或关系，生成图数据库对象。3.根据权利要求2所述的融合多种数据类型的建模方法，其特征在于，所述在碰撞模型页面新建碰撞模型，将数据库对象、文件对象和图数据库对象推拽到模型画布，还包括：进行数据对象连接构建。4.根据权利要求1所述的融合多种数据类型的建模方法，其特征在于，所述运行控制器用于负责模型运行启动和关闭，并监控模型的运行情况和记录日志信息；所述SQL脚本转换器用于负责将模型组件的连接关系转换为可运行的SQL语句；所述数据缓存器负责存储和记录模型各个组件节点运行...

【专利技术属性】
技术研发人员：山其本，李潘，王耀威，李志播，黄伟阳，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：