一种异构系统间实时数据传输方法和系统技术方案

本发明专利技术涉及数据处理技术领域，具体涉及一种异构系统间实时数据传输方法和系统，包括参数池、数据处理及传输子系统和触发子系统，数据处理及传输子系统包括数据采集组件、数据处理组件和数据输出组件，通过参数池对设置的目标系统信息、多维数据范围和配置参数进行管理；通过触发子系统控制数据采集组件采集多维数据集，并基于配置参数对多维数据集进行预处理，得到二维数据；通过触发子系统控制数据处理组件对二维数据进行后处理，得到数据源；通过触发子系统控制数据输出组件基于多维数据范围将数据源发送给目标系统，全过程不需要对原有系统侵入式的修改，解决了现有的多维数据交互的配置周期较长的问题。交互的配置周期较长的问题。交互的配置周期较长的问题。

【技术实现步骤摘要】
一种异构系统间实时数据传输方法和系统


[0001]本专利技术涉及数据处理
，尤其涉及一种异构系统间实时数据传输方法和系统。

技术介绍

[0002]在全员绩效管理系统中，经常需要将外围系统数据集成到多维数据集内部，并且也需要将多维数据集的数据传递给外围系统。特别是在填报场景下，一些风险控制系统或者BI工具等第三方系统需要实时获取用户录入数据。
[0003]传统的数据库多通过CDC和binlog等机制来获取，相对比较复杂，并且不能在传输之前对数据进行加工处理，无法实现多维数据的交互。
[0004]目前多维数据集的交互，通常情况下，多通过重新编码开发的方式完成，需要对原有系统侵入式的修改，使得整个配置的周期延长。

技术实现思路

[0005]本专利技术的目的在于提供一种异构系统间实时数据传输方法和系统，旨在解决现有的多维数据交互的配置周期较长的问题。
[0006]为实现上述目的，第一方面，本专利技术提供了一种异构系统间实时数据传输系统，包括参数池、数据处理及传输子系统和触发子系统，所述参数池、所述数据处理及传输子系统和所述触发子系统依次连接；所述数据处理及传输子系统包括数据采集组件、数据处理组件和数据输出组件，所述数据采集组件、所述数据处理组件和所述数据输出组件均与所述触发子系统连接；
[0007]所述参数池，用于对设置的目标系统信息、多维数据范围和配置参数进行管理；
[0008]所述数据采集组件，用于采集多维数据集，并基于所述配置参数对所述多维数据集进行预处理，得到二维数据；
[0009]所述数据处理组件，用于对所述二维数据进行后处理，得到数据源；
[0010]所述数据输出组件，基于所述多维数据范围将所述数据源发送给目标系统；
[0011]所述触发子系统，用于触发所述数据采集组件、所述数据处理组件和所述数据输出组件工作。
[0012]其中，所述数据处理组件包括数据采集模块、过滤模块和拉平模块，所述数据采集模块、所述过滤模块和所述拉平模块依次连接；
[0013]所述数据采集模块，用于采集多维数据集；
[0014]所述过滤模块，基于所述配置参数对所述多维数据集进行过滤，得到过滤数据集；
[0015]所述拉平模块，基于所述配置参数将所述过滤数据集拉平，得到二维数据。
[0016]其中，所述数据处理组件包括关联合并模块、汇总模块和计算模块，所述关联合并模块、所述汇总模块和计算模块依次连接；
[0017]所述关联合并模块，用于将所述二维数据关联合并，得到合并数据；
[0018]所述汇总模块，用于将所有合并数据汇总，得到汇总数据；
[0019]所述计算模块，用于对所述汇总数据进行计算，得到数据源。
[0020]其中，所述数据输出组件包括源采集模块、目标采集模块和传输模块，所述源采集模块和所述目标采集模块分别与所述传输模块连接；
[0021]所述源采集模块，用于采集所述数据源；
[0022]所述目标采集模块，基于所述目标系统信息配置目标系统；
[0023]所述传输模块，基于所述多维数据范围将所述数据源发送给所述目标系统。
[0024]其中，所述传输模块包括匹配单元、转换单元和传输单元，所述匹配单元、所述转换单元和所述传输单元依次连接；
[0025]所述匹配单元，用于将所述数据源与所述目标系统系统进行匹配，得到匹配结果；
[0026]所述转换单元，用于在所述匹配结果为匹配不成功时，对所述数据源进行格式转换，得到转换数据；
[0027]所述传输单元，用于在所述匹配结果为匹配成功时，将所述数据源发送给所述目标系统；在所述匹配结果为匹配不成功时，将所述转换数据发送给所述目标系统。
[0028]其中，所述触发子系统包括界面创建组件、触控显示组件和触发组件，所述界面创建组件、所述触控显示组件和所述触发组件依次连接；
[0029]所述界面创建组件，用于创建预制界面；
[0030]所述触控显示组件，用于对所述预制界面进行显示，并记录所述预制界面的操作流程；
[0031]所述触发组件，基于所述操作流程触发所述数据采集组件、所述数据处理组件和所述数据输出组件工作。
[0032]第二方面，本专利技术提供了一种异构系统间实时数据传输方法，包括以下步骤：
[0033]通过参数池对设置的目标系统信息、多维数据范围和配置参数进行管理；
[0034]通过触发子系统控制数据采集组件采集多维数据集，并基于所述配置参数对所述多维数据集进行预处理，得到二维数据；
[0035]通过触发子系统控制数据处理组件对所述二维数据进行后处理，得到数据源；
[0036]通过触发子系统控制数据输出组件基于所述多维数据范围将所述数据源发送给目标系统。
[0037]本专利技术的一种异构系统间实时数据传输系统，通过参数池对设置的目标系统信息、多维数据范围和配置参数进行管理；通过触发子系统控制数据采集组件采集多维数据集，并基于所述配置参数对所述多维数据集进行预处理，得到二维数据；通过触发子系统控制数据处理组件对所述二维数据进行后处理，得到数据源；通过触发子系统控制数据输出组件基于所述多维数据范围将所述数据源发送给目标系统，全过程不需要对原有系统侵入式的修改，解决了现有的多维数据交互的配置周期较长的问题。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
[0039]图1是本专利技术提供的一种异构系统间实时数据传输系统的结构示意图。
[0040]图2是参数池的结构示意图。
[0041]图3是触发子系统的结构示意图。
[0042]图4是数据采集组件的结构示意图。
[0043]图5是数据处理组件的结构示意图。
[0044]图6是数据输出组件的结构示意图。
[0045]图7是传输模块的结构示意图。
[0046]图8是本专利技术提供的一种异构系统间实时数据传输方法的流程图。
[0047]图9是本专利技术提供的一种异构系统间实时数据传输方法的原理图。
[0048]1‑
参数池、2
‑
数据处理及传输子系统、3
‑
触发子系统、4
‑
数据采集组件、5
‑
数据处理组件、6
‑
数据输出组件、7
‑
数据采集模块、8
‑
过滤模块、9
‑
拉平模块、10
‑
关联合并模块、11
‑
汇总模块、12
‑
计算模块、13
‑
源采集模块、14
‑
目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构系统间实时数据传输系统，其特征在于，包括参数池、数据处理及传输子系统和触发子系统，所述参数池、所述数据处理及传输子系统和所述触发子系统依次连接；所述数据处理及传输子系统包括数据采集组件、数据处理组件和数据输出组件，所述数据采集组件、所述数据处理组件和所述数据输出组件均与所述触发子系统连接；所述参数池，用于对设置的目标系统信息、多维数据范围和配置参数进行管理；所述数据采集组件，用于采集多维数据集，并基于所述配置参数对所述多维数据集进行预处理，得到二维数据；所述数据处理组件，用于对所述二维数据进行后处理，得到数据源；所述数据输出组件，基于所述多维数据范围将所述数据源发送给目标系统；所述触发子系统，用于触发所述数据采集组件、所述数据处理组件和所述数据输出组件工作。2.如权利要求1所述的异构系统间实时数据传输系统，其特征在于，所述数据处理组件包括数据采集模块、过滤模块和拉平模块，所述数据采集模块、所述过滤模块和所述拉平模块依次连接；所述数据采集模块，用于采集多维数据集；所述过滤模块，基于所述配置参数对所述多维数据集进行过滤，得到过滤数据集；所述拉平模块，基于所述配置参数将所述过滤数据集拉平，得到二维数据。3.如权利要求2所述的异构系统间实时数据传输系统，其特征在于，所述数据处理组件包括关联合并模块、汇总模块和计算模块，所述关联合并模块、所述汇总模块和计算模块依次连接；所述关联合并模块，用于将所述二维数据关联合并，得到合并数据；所述汇总模块，用于将所有合并数据汇总，得到汇总数据；所述计算模块，用于对所述汇总数据进行计算，得到数据源。4.如权利要求3所述的异构系统间实时数据传输系统，其特征在于，所述数据输出组件包括源采集模块、目标采集模块和传输模块，所述源采集模块和...

【专利技术属性】
技术研发人员：唐君伟，郭洪圆，
申请(专利权)人：上海绎维软件系统有限公司，
类型：发明
国别省市：