基于DBF的跨网络数据交换方法、系统、设备和介质技术方案

本发明专利技术涉及网络传输领域，具体涉及基于DBF的跨网络数据交换方法、系统、设备和介质。方法包括以下步骤：读取源端的源文件数据，将源文件数据转换为DBF数据；获取导入规则配置模板，依据导入规则配置模板，将DBF数据存储到数据库，记为存库数据；对数据库中的存库数据进行校验，删除校验未通过的存库数据；将校验后的存库数据输入预先建立的数据转换引擎，获得DBF格式的目标业务数据，将DBF目标业务数据导出至目标端。本发明专利技术的有益技术效果包括：能够实现跨网络数据交换，并对数据做统一管理和转换，简化数据交换流程。简化数据交换流程。简化数据交换流程。

【技术实现步骤摘要】
基于DBF的跨网络数据交换方法、系统、设备和介质


[0001]本专利技术涉及网络传输领域，具体涉及基于DBF的跨网络数据交换方法、系统、设备和介质。

技术介绍

[0002]在不同的业务部门、机构中往往都有自身的业务系统，在完成某项工作时往往需要使用跨业务系统的数据，但是，由于业务系统传输之间存在数据异构、数据输入输出格式不一致、网络隔离等技术问题，造成业务系统传输之间的数据交换困难。为此，有必要研究能够实现跨业务系统跨网络传输、简化异构数据交换流程的数据交换方法。
[0003]如中国专利CN112165529A，公开日2021年1月1日，一种低成本跨网络数据交换的方法、装置、设备和介质。该方法包括：在源数据端以及目的端分别部署一代理小程序，在源数据端设置一Kafka中间件，并在目的端打通Kafka的端口；请求端根据源数据端提供的接口API，通过代理小程序封装请求体 ，通过所述源数据端的Kafka中间件将请求体发送；目的端的代理小程序监听到Kafka中间件的消息后，通过所述API将请求体进行解析，之后根据解析的数据获取所需要的数据，之后将数据通过Kafka中间件回馈；源数据端代理小程序接收到Kafka中间件的数据后，即时转发给请求端，在低成本的情况下，使得不同网络的数据以及API实现共享，提高工作效率。但是该技术方案需要在源端和目标端部署代理程序以及kafka中间件实现数据交换，且面向不同的源端和目标端的情况下，数据结构不一致，需要分别做个性化的输入输出转换，并没有解决异构数据交换流程繁杂的技术问题。
[0004]如中国专利CN113347252A，公开日2021年9月3日，一种基于文件传输的跨网络数据交换系统。该专利技术包括数据传输模块，所述数据传输模块用于通过文件传输的方式将数据交换；监控模块，所述监控模块用于在监控到传输任务时将数据传输模块交换后的数据存储到本地；读译模块，所述读译模块用于将监控模块存储到本地的数据解析并存入到数据库中，更新所述系统中的信息；转网模块，所述转网模块用于在读取到所述读译模块解析的数据后将数据从当前网络转入到对应的另一网络中；通过文件传输实现两个不同网络之间的跨越并建立连接通道，利用监控模块可对传输的文件中的数据进行加密并存入到本地指定路径下的文件中，对文件进行归类，防止数据错乱。但是该技术方案仅实现跨网络传输，并未对异构数据进行转换处理。

技术实现思路

[0005]本专利技术所要解决的技术问题：目前业务系统数据交换之间存在数据异构、数据输入输出格式不一致、网络隔离的技术问题，提出了基于DBF的跨网络数据交换方法、系统、设备和介质，能够实现跨网络数据交换，并对数据做统一管理和转换，简化数据交换流程。
[0006]解决上述技术问题，本专利技术采用如下技术方案：基于DBF的跨网络数据交换方法，包括以下步骤：读取源端的源文件数据，将所述源文件数据转换为DBF数据；
获取导入规则配置模板，依据所述导入规则配置模板，将所述DBF数据存储到数据库，记为存库数据；对数据库中的所述存库数据进行校验，删除校验未通过的所述存库数据；将校验后的所述存库数据输入预先建立的数据转换引擎，获得DBF格式的目标业务数据，将所述DBF目标业务数据导出至目标端。
[0007]作为优选，获取所述导入规则配置模板的方法为：接收用户对所述DBF数据的导入配置，所述导入配置记录所述DBF数据与数据库字段的映射关系，根据所述导入配置，生成所述导入规则配置模板。
[0008]作为优选，将所述DBF数据存储到数据库的方法为：定义所述DBF数据的主键，以所述主键的值为划分依据，将所述DBF数据划分为多个组，以组为单位将划分后的所述DBF数据存储到数据库。
[0009]作为优选，将所述DBF数据存储到数据库的方法包括以下步骤：建立提交语句，所述提交语句将一条所述DBF数据存储到数据库；分别建立同组的全部所述DBF数据对应的提交语句；同组的全部所述DBF数据对应的提交语句构成JBDC批提交语句；将所述DBF数据通过所述JBDC批提交语句作为批处理任务提交至数据库。
[0010]作为优选，对数据库中的存库数据进行校验的方法为：配置字段校验规则；根据所述字段校验规则对数据库的条目进行校验，当校验通过时，保留当前校验的条目，当校验未通过时，剔除当前校验的条目。
[0011]作为优选，所述字段校验规则的配置方法为：接收用户提交的校验规则模板库；对数据库的数据信息进行属性字段分割，得到数据库的属性字段；从校验规则模板库中选择校验规则节点信息，并将所述校验规则节点信息关联每一所述数据库的属性字段，形成字段校验规则。
[0012]作为优选，所述字段校验规则的配置方法为：读取数据库对应所述DBF数据的表的每个列；接收用户对每个列取值的校验规则的配置；全部列的校验规则构成所述字段校验规则。
[0013]基于DBF的跨网络数据交换系统，用于执行如前述的一种基于DBF的跨网络数据交换方法，包括：模板配置模块，用于获取导入规则配置模板；数据写入模块，用于读取源端的源文件数据，并将从源文件数据转换而来的DBF数据依据所述导入规则配置模板存储到数据库，记为存库数据；校验引擎，用于对数据库中的所述存库数据进行校验；数据转换引擎，用于将校验后的所述存库数据转换为DBF格式的目标业务数据；数据导出模块，用于将所述DBF目标业务数据导出至目标端并写入硬盘。
[0014]作为优选，所述数据导出模块包括数据缓冲区，所述数据缓冲区用于缓冲从数据库取出的所述存库数据。
[0015]作为优选，所述模板配置模块获取导入规则配置模板时，执行以下步骤：接收用户对所述DBF数据的导入配置，所述导入配置记录所述DBF数据与数据库字段的映射关系，根据所述导入配置，生成所述导入规则配置模板。
[0016]一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如前述的基于DBF的跨网络数据交换方法。
[0017]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述的基于DBF的跨网络数据交换方法。
[0018]本专利技术的有益技术效果包括：采用基于DBF的跨网络数据交换方法、系统、设备和介质，借助DBF文件进行数据交换，能够实现跨业务系统、跨网络的数据交换，解决了网络隔离的高密级系统与外系统的数据交换问题；通过数据转换引擎对数据做统一管理和转换，使得一份源端数据可以转换成多个目标端需求的业务数据格式，且源端和目标端都不需要做个性化数据输入输出开发，大大简化了数据交换流程；通过多线程、设置数据缓冲区以及JDBC批提交处理的方法，能够在支持大数据量的数据交换的同时，提升数据交换的速度。
[0019]本专利技术的其他特点和优点将会在下面的具体实施方式、附图中详细的揭露。
附图说明
[0020]下面结合附图对本专利技术做进一步的说明：图1为本专利技术实施例基于DBF的跨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于DBF的跨网络数据交换方法，其特征在于，包括以下步骤：读取源端的源文件数据，将所述源文件数据转换为DBF数据；获取导入规则配置模板，依据所述导入规则配置模板，将所述DBF数据存储到数据库，记为存库数据；对数据库中的所述存库数据进行校验，删除校验未通过的所述存库数据；将校验后的所述存库数据输入预先建立的数据转换引擎，获得DBF格式的目标业务数据，将所述DBF目标业务数据导出至目标端。2.如权利要求1所述的基于DBF的跨网络数据交换方法，其特征在于，获取所述导入规则配置模板的方法为：接收对所述DBF数据的导入配置，所述导入配置记录所述DBF数据与数据库字段的映射关系，根据所述导入配置，生成所述导入规则配置模板。3.如权利要求1或2所述的基于DBF的跨网络数据交换方法，其特征在于，将所述DBF数据存储到数据库的方法为：定义所述DBF数据的主键，以所述主键的值为划分依据，将所述DBF数据划分为多个组，以组为单位将划分后的所述DBF数据存储到数据库。4.如权利要求3所述的基于DBF的跨网络数据交换方法，其特征在于，将所述DBF数据存储到数据库的方法包括以下步骤：建立提交语句，所述提交语句将一条所述DBF数据存储到数据库；分别建立同组的全部所述DBF数据对应的提交语句；同组的全部所述DBF数据对应的提交语句构成JBDC批提交语句；将所述DBF数据通过所述JBDC批提交语句作为批处理任务提交至数据库。5.如权利要求1所述的基于DBF的跨网络数据交换方法，其特征在于，对数据库中的存库数据进行校验的方法为：配置字段校验规则；根据所述字段校验规则对数据库的条目进行校验，当校验通过时，保留当前校验的条目，当校验未通过时，剔除当前校验的条目。6.如权利要求5所述的基于DBF的跨网络数据交换方法，其特征在于，所述字段校验规则的配置方法为：接收提交的校验规则模板库；对数据库的数据信息进行属性字段分割，得到数据库的属性字...

【专利技术属性】
技术研发人员：吴智彬，邓志强，李文，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：