基于网络系统异构数据的数据交换方法技术方案

本发明专利技术提供基于网络系统异构数据的数据交换方法

【技术实现步骤摘要】
基于网络系统异构数据的数据交换方法、系统及装置


[0001]本专利技术涉及信息交换
，尤其涉及基于网络系统异构数据的数据交换方法
、
系统及装置，所述装置包括计算机可读存储介质和电子设备
。

技术介绍

[0002]计算机信息系统通过网络连接多台计算机设备，实现信息的采集
、
传输
、
存储
、
处理和管理等功能，信息系统间能够通过基于
MQ、
共享数据库或数据链路缓存的存储转发机制，建立不同系统之间的信息交换机制如图1所示
。
由于不同系统之间数据格式存在差异，需要采用数据交换方法来实现格式转换的功能，从而保证信息系统之间数据的无缝衔接和协同工作的顺畅进行
。
[0003]现有的数据交换方法如图2所示，不同信息系统之间通过接口应用程序实现异构数据的信息交换
。
数据链路在
Socket
通信过程中传输二进制字节流形式的信息，用于不同信息系统之间的数据交换
。
接口应用程序分别通过共享数据表结构体
、
业务数据表结构体来读写共享数据表和业务数据表，通过读取和填写信息系统对应的字节数据结构体，再使用通信模块来实现与信息系统数据链路的数据交换
。
[0004]在执行数据交换时，接口应用程序先按照数据发送方所遵循的
Socket
通信协议或数据库表结构，把结构体中的交换信息转换为数据库条目或字节流进行存储或转发，然后再根据数据接收方所遵循的
Socket
通信协议或数据库表结构来执行数据交换，将交换信息转换为能够被数据接收方正确处理的数据格式，并存储在共享数据表结构体
、
业务数据表结构体
、
目标系统字节数据结构体和本系统字节数据结构体对应结构体中
。
[0005]在数据交换过程中，元数据是用于存储数据链路字节流中业务数据的数据，包含业务数据内容及其属性信息，与业务数据是一一对应的关系
。
元数据表是元数据对应的数据库存储形式，用于记录和解释每个业务数据包含的具体内容，以及
Socket
通信协议标记
、Socket
通信协议序号等属性信息，元数据表的表结构如表1所示
。
通信模块能够将数据链路的读取内容存储到元数据表，或将元数据表中的元数据填写数据链路
。
由于不同信息系统中采用的数据传输方式存在差异，通信模块需要通过不同的
Socket
通信协议来将数据链路字节流转换为表1格式的元数据：
[0006]表1[0007]列名说明数据包
ID
指定每个数据包的唯一编号数据项编号指定每个数据包中不同项的唯一编号协议标记元数据对应的
Socket
通信协议标记协议序号元数据对应的
Socket
通信协议序号内容数据项包含的具体内容
[0008]在上述技术方案中，由于现有数据交换方法中结构体的定义被固定编写在应用程序代码中，导致接口应用程序缺乏足够的灵活性和可扩展性，无法满足信息系统需求扩张
条件下的快速开发要求
。
通过现有技术实现
Socket
通信协议或数据库表结构的更换和升级时，接口应用程序进行数据交互方式变更需要大量改动结构体赋值代码及其转换方式，而过多改动结构体代码可能影响系统中其他部分的功能性和正确性并引入新的软件缺陷，导致应用程序无法正常运行或功能不稳定，从而延长开发周期
、
增加项目成本
、
影响软件的可用性和用户满意度
。

技术实现思路

[0009]本专利技术提供基于网络系统异构数据的数据交换方法及系统
、
计算机可读存储介质和电子设备，其主要目的在于克服上述大量改动结构体赋值代码及其转换方式带来的技术问题
。
[0010]为了实现上述目的，本专利技术提供基于网络系统异构数据的交换系统，所述交换系统设置于本系统，用于本系统与外部系统的数据交换，所述交换系统包括存储模块
、
映射模块和控制模块，所述存储模块设置成将本系统和外部系统的通信协议存储为通信协议表，将本系统的数据存储为业务数据表或元数据表，将外部系统的数据存储为共享数据表或元数据表，将本系统和外部系统的数据的模板存储为预填数据表，一个模板具有唯一的模板组
ID
；所述映射模块设置成构建本系统的通信协议与外部系统的通信协议之间的第一映射，第一映射与模板组
ID
之间的第二映射，以及业务数据表和共享数据表之间的第三映射；所述控制模块设置成根据业务类型从存储模块调取对应的数据表通过映射模块对应的映射进行数据交换，所述业务类型包括数据查询
、
数据填写
、
数据删除和数据修改，所述数据表包括通信协议表
、
业务数据表
、
元数据表
、
预填数据表和共享数据表中的多个，所述映射包括第一映射
、
第二映射和第三映射中的一个或多个
。
[0011]根据本专利技术的一个方面，所述存储模块包括业务数据库和共享数据库，所述业务数据库用于存储通信协议表
、
元数据表
、
业务数据表和预填数据表，所述共享数据库用于存储共享数据表
。
[0012]根据本专利技术的一个方面，所述控制模块包括采集单元
、
调取单元和转换单元，所述采集单元设置成采集本系统载入到存储模块的业务数据表或外部系统载入到存储模块的共享数据表；所述调取单元设置从映射模块调取业务数据表和共享数据表的第三映射构成第三映射组；所述转换单元设置成根据调取单元构成的第三映射组实现业务数据表和共享数据表之间的转换；
[0013]优选地，所述采集单元设置成采集本系统载入到存储模块的业务数据表；所述调取单元设置成从映射模块调取业务数据表和共享数据表的第三映射的第三映射组；所述转换单元设置成根据调取单元构成的第三映射组将业务数据表转换成共享数据表；
[0014]优选地，所述采集单元设置成采集外部系统载入到存储模块的共享数据表；所述调取单元设置成从映射模块调取业务数据表与共享数据表的第三映射构成第三映射组；所述转换单元设置成根据调取单元构成的第三映射组将所述共享数据表转换成业务数据表
。
[0015]根据本专利技术的一个方面，所述转换单元根据第三映射组将业务数据表和共享数据表执行关系型数据库的写操作实现数据转换；
[0016]优选地，所述共享数据表和业务数据表包括表标识符
、
列标识符和列序号，所述转换单元根据第三映射组将业务数据表和共享数据表的表标识符和列标识符按照列序号逐
个载入并生成
SQL
语句，通过
INS本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于网络系统异构数据的交换系统，其特征在于，所述交换系统设置于本系统，用于本系统与外部系统的数据交换，所述交换系统包括存储模块
、
映射模块和控制模块，所述存储模块设置成将本系统和外部系统的通信协议存储为通信协议表，将本系统的数据存储为业务数据表或元数据表，将外部系统的数据存储为共享数据表或元数据表，将本系统和外部系统的数据的模板存储为预填数据表，一个模板具有唯一的模板组
ID
；所述映射模块设置成构建本系统的通信协议与外部系统的通信协议之间的第一映射，第一映射与模板组
ID
之间的第二映射，以及业务数据表和共享数据表之间的第三映射；所述控制模块设置成根据业务类型从存储模块调取对应的数据表通过映射模块对应的映射进行数据交换，所述业务类型包括数据查询
、
数据填写
、
数据删除和数据修改，所述数据表包括通信协议表
、
业务数据表
、
元数据表
、
预填数据表和共享数据表中的多个，所述映射包括第一映射
、
第二映射和第三映射中的一个或多个
。2.
根据权利要求1所述的网络系统异构数据的交换系统，其特征在于，所述存储模块包括业务数据库和共享数据库，所述业务数据库用于存储通信协议表
、
元数据表
、
业务数据表和预填数据表，所述共享数据库用于存储共享数据表
。3.
根据权利要求1所述的网络系统异构数据的交换系统，其特征在于，所述控制模块包括采集单元
、
调取单元和转换单元，所述采集单元设置成采集本系统载入到存储模块的业务数据表或外部系统载入到存储模块的共享数据表；所述调取单元设置从映射模块调取业务数据表和共享数据表的第三映射构成第三映射组；所述转换单元设置成根据调取单元构成的第三映射组实现业务数据表和共享数据表之间的转换；优选地，所述采集单元设置成采集本系统载入到存储模块的业务数据表；所述调取单元设置成从映射模块调取业务数据表和共享数据表的第三映射的第三映射组；所述转换单元设置成根据调取单元构成的第三映射组将业务数据表转换成共享数据表；优选地，所述采集单元设置成采集外部系统载入到存储模块的共享数据表；所述调取单元设置成从映射模块调取业务数据表与共享数据表的第三映射构成第三映射组；所述转换单元设置成根据调取单元构成的第三映射组将所述共享数据表转换成业务数据表；优选地，所述转换单元根据第三映射组将业务数据表和共享数据表执行关系型数据库的写操作实现数据转换；进一步优选地，所述共享数据表和业务数据表包括表标识符
、
列标识符和列序号，所述转换单元根据第三映射组将业务数据表和共享数据表的表标识符和列标识符按照列序号逐个载入并生成
SQL
语句，通过
INSERT INTO
写入关键字和
SELECT
查询关键字，执行关系型数据库的写操作实现数据转换
。4.
根据权利要求1所述的网络系统异构数据的交换系统，其特征在于，所述本系统和外部系统之间设置有数据链路；所述交换系统还包括通信模块，所述通信模块设置成用于数据链路和存储模块之间的通信，所述控制模块包括调取单元
、
第一填写单元
、
转换信息匹配表生成单元
、
预填协议信息表生成单元和第二填写单元，所述调取单元设置成从存储模块的通信协议表调取业务类型对应的本系统和外部系统的通信协议，分别构成本系统和外部系统的协议组，从映射模块的第一映射中调取所述本系统的协议组和外部系统的协议组对应的第一映射，构成第一映射组以及从映射模块的第二映射中调取第一映射组对应的模板组
ID
；所述第一填写单元设置成将通信模块传输的数据链路的数据按照数据来源系统的协
议组转换为元数据并填写到元数据表，所述数据来源系统为本系统或外部系统；所述转换信息匹配表生成单元设置成将第一填写单元填写的元数据和调取单元构成的第一映射组进行信息合并和提取生成转换信息匹配表；所述预填协议信息表生成单元设置成将模板组
ID
对应的预填数据表中的模板和数据目的地系统的协议组进行信息合并，生成预填协议信息表，所述数据目的地系统与所述数据来源系统相对，所述数据目的地系统为外部系统或本系统；所述第二填写单元设置成按照填写方式将预填协议信息表转换为元数据并填写到元数据表，所述填写方式包括使用默认数据
、
使用转换条目和自动生成数据，所述默认数据来自预填数据表的模板，所述转换条目来自转换信息匹配表与预填协议信息表相匹配的条目；优选地，所述数据链路用于读取或填写本系统的数据；所述调取单元设置成从存储模块的通信协议表调取业务类型对应的本系统和外部系统的通信协议，分别构成本系统协议组和外部系统协议组，从映射模块的第一映射中调取所述本系统协议组和外部系统协议组对应的第一映射构成第一映射组，以及从映射模块的第二映射中调取第一映射组对应的模板组
ID
；所述第一填写单元设置成将通信模块传输的填写到数据链路的本系统的数据按照本系统协议组转换成元数据并填写到元数据表；所述转换信息匹配表生成单元设置成将第一填写单元填写的元数据和调取单元构成的第一映射组进行信息合并和提取生成转换信息匹配表；所述预填协议信息表生成单元设置成将模板组
ID
对应的预填数据表中的模板和外部系统的协议组进行信息合并，生成预填协议信息表；所述第二填写单元设置成按照填写方式将预填协议信息表转换为元数据并填写到元数据表，所述填写方式包括使用默认数据
、
使用转换条目和自动生成数据，所述默认数据来自预填数据表的模板，所述转换条目来自转换信息匹配表与预填协议信息表相匹配的条目；优选地，所述数据链路用于读取外部系统的数据或填写本系统的数据；所述调取单元设置成从存储模块的通信协议表调取业务类型对应的本系统和外部系统的通信协议，分别构成本系统的协议组和外部系统的协议组，从映射模块的第一映射中调取所述本系统的协议组和外部系统的协议组对应的第一映射构成第一映射组，以及从映射模块的第二映射中调取第一映射组对应的模板组
ID
；所述第一填写单元设置成将通信模块传输的数据链路从外部系统读取的数据按照外部系统的协议组转换为元数据并填写到元数据表；所述转换信息匹配表生成单元设置成将第一填写单元填写的元数据和调取单元构成的第一映射组进行信息合并和提取生成转换信息匹配表；所述预填协议信息表生成单元设置成将模板组
ID
对应的预填数据表中的模板和本系统的协议组进行信息合并，生成预填协议信息表；所述第二填写单元设置成按照填写方式将预填协议信息表转换为元数据并填写到元数据表，所述填写方式包括使用默认数据
、
使用转换条目和自动生成数据，所述默认数据来自预填数据表的模板，所述转换条目来自转换信息匹配表与预填协议信息表相匹配的条目；优选地，所述第二填写单元采用模板栈的方式将预填协议信息表中的预填条目逐个转换为元数据
。5.
根据权利要求1所述的网络系统异构数据的交换系统，其特征在于，所述存储模块包括级联单元，所述级联单元设置成按照协议标记将通信协议划分成不同的通信协议组，所述协议标记至少包括根协议标记，所述协议标记还包括设置在根协议标记之后的一级或多级子协议标记，所述级联单元将具有相同根协议标记的通信协议划分到一个通信协议组；
优选地，所述级联单元还按照协议标记将本系统和外部系统的数据的模板存储为预填数据表中的模板组；优选地，所述映射模块包括第一映射单元
、
第二映射单元和第三映射单元，所述第一映射单元设置成构建本系统的通信协议与外部系统的通信协议之间的第一映射；所述第二映射单元设置成构建第一映射与模板组
ID
之间的第二映射；所述第三映射单元设置成构建业务数据表和共享数据表...

【专利技术属性】
技术研发人员：曾壹，张涛，许伟，李智，王子维，任禹谋，赵宏涛，王涛，周晓昭，桂乐芹，曹桢，齐威，张海峰，许春辉，刘黎，乔峥，宋毅，张芸鹏，杨涛，韩杨，张奕萌，邓帮禄，刘语馨，李涛，
申请(专利权)人：中国铁道科学研究院集团有限公司北京华铁信息技术有限公司北京锐驰国铁智能运输系统工程技术有限公司，
类型：发明
国别省市：