一种跨平台数据融合服务的定制方法技术

本发明专利技术提供一种跨平台数据融合服务的定制方法

【技术实现步骤摘要】
一种跨平台数据融合服务的定制方法、装置、设备和介质


[0001]本专利技术涉及跨平台数据融合
，特别涉及一种定制跨平台数据融合服务的方法
、
装置
、
设备和介质
。

技术介绍

[0002]现有的跨平台数据融合服务主要有：
[0003]第一种是
ETL
工具，
ETL
工具是目前应用比较广泛的跨平台数据融合服务技术，现有的
ETL
工具一般通过提取
、
转换和加载数据，将数据从不同的数据源转移到目标数据仓库中
。
[0004]第二种是数据虚拟化，是一种将不同的数据源虚拟化为一个统一的虚拟数据库的技术
。
通过这种技术，用户可以使用
SQL
等标准查询语言，无需知道数据源的底层技术细节，就可以查询不同的数据源
。
[0005]第三种是数据同步，数据同步是一种将不同的数据源的数据同步到一个目标数据库或数据仓库中的技术
。
使用数据同步技术，可以实现不同数据源之间的实时或定期同步，并保证数据的一致性和准确性
。
[0006]上述跨平台数据融合服务缺点是：
[0007]跨平台数据融合服务最常见的问题就是数据格式转换问题，不同数据源之间的数据格式通常不一致，需要进行数据格式转换
。
在进行数据格式转换的同时，也需要考虑数据格式的兼容性和转换的准确性等问题；
[0008]二是数据清洗和去重问题，在将不同数据源中的数据整合到一起时，可能会存在重复数据和脏数据等问题，此时需要进行数据清洗和去重处理；
[0009]三是数据同步和数据一致性问题，在进行数据同步时，需要确保数据的一致性，避免出现数据丢失或数据不一致的问题
。
[0010]而在如今的大数据时代，跨平台数据融合服务需要处理大量的数据，这对服务的性能和效率提出了很高的要求，跨平台数据融合服务常常面临数据量大
、
性能优化的问题，需要进行性能优化和调优，提高数据处理的效率和速度
。

技术实现思路

[0011]本专利技术要解决的技术问题，在于提供一种跨平台数据融合服务的定制方法
、
装置
、
设备和介质，基于流程可视化编排对数据整合处理流程进行定制，界面友好
、
易于操作，效率高，使非专业用户也能够方便地使用和操作
。
[0012]第一方面，本专利技术提供了一种跨平台数据融合服务的定制方法，包括：
[0013]S1、
提供工具集界面，供用户快速选择需要引用到算子；
[0014]S2、
提供可视化流程编排界面，供用户构建数据融合流程图，包括添加一般节点和算子节点，配置算子节点的输入
、
输出和相关参数，并根据需求通过流程线将一般节点及算子节点进行连线；
[0015]所述算子节点包含算子的基本信息
、
输入
、
输出
、
相关参数以及算子内部的逻辑运算，所述算子节点在配置后，输出的内容会取流程属性里面相同名字的值，把对应输出以属性方式进行指向；
[0016]S3、
根据所构建的数据融合流程图，通过算子节点对不同数据平台的原始数据进行处理，包括数据采集接入
、
数据格式转换和数据清洗过滤，从而实现不同数据平台的数据融合，得到能直接使用的数据产品
。
[0017]第二方面，本专利技术提供了一种跨平台数据融合服务的定制装置，包括：
[0018]工具集模块，用于提供工具集界面，供用户快速选择需要引用到算子；
[0019]可视化流程编排模块，用于提供可视化流程编排界面，供用户构建数据融合流程图，包括添加一般节点和算子节点，配置算子节点的输入
、
输出和相关参数，并根据需求通过流程线将一般节点及算子节点进行连线；
[0020]所述算子节点包含算子的基本信息
、
输入
、
输出
、
相关参数以及算子内部的逻辑运算，所述算子节点在配置后，输出的内容会取流程属性里面相同名字的值，把对应输出以属性方式进行指向；
[0021]数据整合处理模块，用于根据所构建的数据融合流程图，通过算子节点对不同数据平台的原始数据进行处理，包括数据采集接入
、
数据格式转换和数据清洗过滤，从而实现不同数据平台的数据融合，得到能直接使用的数据产品
。
[0022]第三方面，本专利技术提供了一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法
。
[0023]第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法
。
[0024]本专利技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：相比于传统数据处理流程，基于流程可视化编排定制服务，构建数据融合流程图，通过在数据融合流程图中引入各种算子，并进行相应的配置，从而实现跨平台数据的采集
、
加工处理和融合，即可得到可直接使用的产品，整个过程快速
、
轻松
、
方便，可实现多源数据融合和多元服务融合，并为其提供更好的服务支撑能力，在各业务平台对外数据服务的过程中，更显其提质增效
。
[0025]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的
、
特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式
。
附图说明
[0026]下面参照附图结合实施例对本专利技术作进一步的说明
。
[0027]图1为本专利技术实施例一中方法中的流程图；
[0028]图2为本专利技术实施例的工具集界面示意图；
[0029]图3为本专利技术实施例中一数据融合流程图的示例图；
[0030]图4为本专利技术实施例中一算子节点的示例图；
[0031]图5为本专利技术实施例的算子节点的一配置表格示例图；
[0032]图6为本专利技术实施例的流程线上的标注示例图；
[0033]图7为本专利技术实施例的内部属性传递线上的标注示例图；
[0034]图8为本专利技术实施例二中装置的结构示意图；
[0035]图9为本专利技术实施例三中电子设备的结构示意图；
[0036]图
10
为本专利技术实施例四中介质的结构示意图
。
具体实施方式
[0037]本申请实施例通过提供一种跨平台数据融合服务的定制方法
、
装置
、
设备和介质，基于流程可视化编排对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种跨平台数据融合服务的定制方法，其特征在于：包括：
S1、
提供工具集界面，供用户快速选择需要引用到算子；
S2、
提供可视化流程编排界面，供用户构建数据融合流程图，包括添加一般节点和算子节点，配置算子节点的输入
、
输出和相关参数，并根据需求通过流程线将一般节点及算子节点进行连线；所述算子节点包含算子的基本信息
、
输入
、
输出
、
相关参数以及算子内部的逻辑运算，所述算子节点在配置后，输出的内容会取流程属性里面相同名字的值，把对应输出以属性方式进行指向；
S3、
根据所构建的数据融合流程图，通过算子节点对不同数据平台的原始数据进行处理，包括数据采集接入
、
数据格式转换和数据清洗过滤，从而实现不同数据平台的数据融合，得到能直接使用的数据产品
。2.
根据权利要求1所述的方法，其特征在于：所述算子节点显示为表格，表格内容显示算子的基本信息，表格左侧边界线和表格右侧边界线均提供能增删的配置图标，所述配置图标在被触发时，则通过内部属性传递线引出一属性配置表格，供用户配置算子节点的输入
、
输出和相关参数
。3.
根据权利要求2所述的方法，其特征在于：所述流程线上标注有流程功能注释，所述内部属性传递线上标注有相关属性名称
。4.
根据权利要求1所述的方法，其特征在于：还包括：数据采集管理：提供包括数据库抽取
、API
方式
、
互联网爬取和数据填报的采集方式，将来源于不同数据平台的数据交换到汇聚区，并进行清洗
、
去重和转换处理之后进行存储；工程管理：包括工程注册，同时提供对注册的工程进行快速查询和编辑修改的功能，并可通过工程列表的方式进行展示，每个工程包含一个或多个服务，每个服务均能进行流程可视化编排定制，提供了一个可视化的编辑界面，让用户可以通过拖拽和连接组件的方式构建数据处理流程；并提供组件库供用户选择合适的组件；服务管理：提供服务注册，同时提供对注册的服务进行快速查询和编辑修改的功能，并通过服务列表的方式进行展示；算子管理：提供算子的增删改查功能，算法信息的快速查看功能，以及重新定义算法分类信息功能
。5.
一种跨平台数据融合服务的定制装置，其特征在于：包括：工具集模块，用于提供工具集界面，供用户快速选择需要引用到算子；可视化流程编排模块，用于提供可视化流程编排界面，供用户构建数据...

【专利技术属性】
技术研发人员：李华龙，余思涵，
申请(专利权)人：福建九维元数信息技术有限公司，
类型：发明
国别省市：