数据传输方法、装置、设备、系统和可读存储介质制造方法及图纸

本发明专利技术实施例涉及数据传输技术领域，公开了一种数据传输方法、装置、设备、系统和可读存储介质，通过在源端数据库和目标端数据库分别设置实时数据表以及补充数据表，并将根据缺失数据时间段确定出的缺失数据储存在补充数据表中，再将补充数据表传送至大数据平台作为缺失数据的补充，解决了现有技术在数据传输过程中出现数据缺失时无法省时省力的对缺失数据进行补充的技术问题，实现了不需要开发另外的离线数据处理逻辑就可以在发送缺失数据时方便快捷的进行实时数据补充的技术效果，减少了重复开发的负担，避免了流批处理逻辑难以一致的问题的发生。的问题的发生。的问题的发生。

【技术实现步骤摘要】
数据传输方法、装置、设备、系统和可读存储介质


[0001]本专利技术实施例涉及数据传输
，尤其涉及一种数据传输方法、装置、设备、系统和可读存储介质。

技术介绍

[0002]实时数据在传输和存储过程中，时常会因为各种原因发生断供、缺数情况。例如网络原因、源系统数据库异常、消息队列异常、硬件故障、采集系统故障等等，与联机交易类似，实时数据也面临需要补数的问题。数据丢失后，下游应用系统就会存在计算不准确、一段时间内数据缺失风险。
[0003]现有技术主要采取以下几种方式避免数据缺失的风险：(1)将缺失数据卸载成文件发送给应用方；(2)重新触发实时交易，再次通过实时采集将数据送达应用方；(3)重新发送全量数据，应用方通过比对找到缺失数据再进行补数操作。但以上技术都需要技术人员对系统非常了解，并且需要较大权限进行登录数据库命令行、查询数据物理表、卸数等系统级操作，且应用项目在收到文件后，还需要将数据文件导入本系统，重新开发一套离线数据处理逻辑程序，以补充原有实时数据的缺失问题，费时费力，不可持续。

技术实现思路

[0004]本专利技术实施例提供一种数据传输方法、装置、设备、系统和可读存储介质，解决了现有技术在数据传输过程中出现数据缺失时无法省时省力的对缺失数据进行补充的技术问题。
[0005]第一方面，本申请提供了一种数据传输方法，应用于源端数据库，所述数据传输方法包括：
[0006]基于第一实时数据表向目标端数据库实时传输数据；
[0007]在实时传输数据的过程中获取缺失数据时间段，其中，所述缺失数据时间段由目标端数据库发送至所述源端数据库，所述缺失数据时间段为所述目标端数据库基于数据的中断传输时间确定得到；
[0008]基于所述缺失数据时间段将对应的缺失数据储存在预设的第一补充数据表中；
[0009]将所述第一补充数据表中的所述缺失数据发送至所述目标端数据库。
[0010]第二方面，本申请提供了一种数据传输方法，应用于目标端数据库，所述数据传输方法包括：
[0011]接收源端数据库实时传送的数据并储存在第二实时数据表中；
[0012]在实时接收数据的过程中基于预设传输时间检测是否存在传输中断状态；
[0013]若存在，则基于数据的中断传输时间确定缺失数据时间段，并将所述缺失数据时间段传送至所述源端数据库；
[0014]接收所述源端数据库传送的第一补充数据表中的缺失数据，并将所述缺失数据储存在预设的第二补充数据表中，其中，所述第一补充数据表中的缺失数据为所述源端数据
库基于所述缺失数据时间段确定出的数据；
[0015]将所述第二实时数据表以及所述第二补充数据表中的数据以日志收集系统的方式传送至大数据云平台的数据湖。
[0016]第三方面，本申请提供了一种数据传输方法，应用于大数据云平台，所述数据传输方法包括：
[0017]接收目标端数据库传送的第二实时数据表以及第二补充数据表，其中，所述第二实时数据表中包含源端数据库向所述目标端数据库实时传送的数据，所述第二补充数据表中包含所述源端数据库向所述目标端数据库传送的第一补充数据表中的缺失数据，所述第一补充数据表中的缺失数据为所述源端数据库基于缺失数据时间段确定出的数据，所述缺失数据时间段是所述目标端数据库在接收所述源端数据库实时传送数据的过程中，基于预设传输时间检测存在传输中断状态时，基于数据的中断传输时间确定出的；
[0018]利用分布式流数据处理方式将所述第二实时数据表以及所述第二补充数据表中的数据加入到分布式消息队列中进行处理。
[0019]第四方面，本申请提供了一种数据传输装置，应用于源端数据库，所述数据传输装置包括：
[0020]第一数据传输单元，用于基于第一实时数据表向目标端数据库实时传输数据；
[0021]时间段获取单元，用于在实时传输数据的过程中获取缺失数据时间段，其中，所述缺失数据时间段由目标端数据库发送至所述源端数据库，所述缺失数据时间段为所述目标端数据库基于数据的中断传输时间确定得到；
[0022]第一数据补充单元，用于基于所述缺失数据时间段将对应的缺失数据储存在预设的第一补充数据表中；
[0023]第二数据传输单元，用于将所述第一补充数据表中的所述缺失数据发送至所述目标端数据库。
[0024]第五方面，本申请提供了一种数据传输装置，应用于目标端数据库，所述数据传输装置包括：
[0025]第一数据接收单元，用于接收源端数据库实时传送的数据并储存在第二实时数据表中；
[0026]传输状态检测单元，用于在实时接收数据的过程中基于预设传输时间检测是否存在传输中断状态；
[0027]时间段传输单元，用于若所述传输状态检测单元的判断结果为存在，则基于数据的中断传输时间确定缺失数据时间段，并将所述缺失数据时间段传送至所述源端数据库；
[0028]第二数据接收单元，用于接收所述源端数据库传送的第一补充数据表中的缺失数据，并将所述缺失数据储存在预设的第二补充数据表中，其中，所述第一补充数据表中的缺失数据为所述源端数据库基于所述缺失数据时间段确定出的数据；
[0029]第三数据传输单元，用于将所述第二实时数据表以及所述第二补充数据表中的数据以日志收集系统的方式传送至大数据云平台的数据湖。
[0030]第六方面，本申请提供了一种数据传输装置，应用于大数据云平台，所述数据传输装置包括：
[0031]第三数据接收单元，用于接收目标端数据库传送的第二实时数据表以及第二补充
数据表，其中，所述第二实时数据表中包含源端数据库向所述目标端数据库实时传送的数据，所述第二补充数据表中包含所述源端数据库向所述目标端数据库传送的第一补充数据表中的缺失数据，所述第一补充数据表中的缺失数据为所述源端数据库基于缺失数据时间段确定出的数据，所述缺失数据时间段是所述目标端数据库在接收所述源端数据库实时传送数据的过程中，基于预设传输时间检测存在传输中断状态时，基于数据的中断传输时间确定出的；
[0032]数据处理单元，用于利用分布式流数据处理方式将所述第二实时数据表以及所述第二补充数据表中的数据加入到分布式消息队列中进行处理。
[0033]第七方面，本专利技术实施例还提供了一种数据传输系统，所述数据传输系统包括源端数据库、目标端数据库以及大数据云平台；
[0034]所述源端数据库与所述目标端数据库通信连接；所述目标端数据库与所述大数据云平台通信连接；
[0035]所述源端数据库用于：基于预设的第一实时数据表向所述目标端数据库实时传输数据，基于接收到的缺失数据时间段将对应的缺失数据储存在预设的第一补充数据表中，并将所述第一补充数据表中的缺失数据传送至所述目标端数据库；
[0036]所述目标端数据库用于：接收所述源端数据库实时传送的数据并储存在预设的第二实时数据表中，将确定出的所述缺失数据时间段发送至所述源端数据库，并接收所述源端数据库传送的所述缺失数据储存在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于源端数据库，所述数据传输方法包括：基于第一实时数据表向目标端数据库实时传输数据；在实时传输数据的过程中获取缺失数据时间段，其中，所述缺失数据时间段由目标端数据库发送至所述源端数据库，所述缺失数据时间段为所述目标端数据库基于数据的中断传输时间确定得到；基于所述缺失数据时间段将对应的缺失数据储存在预设的第一补充数据表中；将所述第一补充数据表中的所述缺失数据发送至所述目标端数据库。2.根据权利要求1所述的数据传输方法，其特征在于，在向所述目标端数据库实时传输数据之前，所述数据传输方法还包括：获取所述第一实时数据表的表清单，其中，所述表清单用于表征所述第一实时数据表的类型、数量和内容；基于所述表清单创建所述第一补充数据表，并为所述第一补充数据表设置预设后缀。3.根据权利要求2所述的数据传输方法，其特征在于，在创建出所述第一补充数据表之后，所述数据传输方法还包括：将所述第一实时数据表以及所述第一补充数据表在归档日志中进行登记。4.根据权利要求2所述的数据传输方法，其特征在于，在获取所述第一实时数据表的表清单之前，所述数据传输方法还包括：开启归档日志功能；为所述归档日志功能配置参数；创建用户，并为创建出的所述用户授予在所述源端数据库中使用基于日志的结构化数据复制备份功能；验证所述用户的授权正确性。5.根据权利要求4所述的数据传输方法，其特征在于，在开启归档日志功能之前，所述数据传输方法还包括：使用预设身份信息登录所述源端数据库。6.一种数据传输方法，其特征在于，应用于目标端数据库，所述数据传输方法包括：接收源端数据库实时传送的数据并储存在第二实时数据表中；在实时接收数据的过程中基于预设传输时间检测是否存在传输中断状态；若存在，则基于数据的中断传输时间确定缺失数据时间段，并将所述缺失数据时间段传送至所述源端数据库；接收所述源端数据库传送的第一补充数据表中的缺失数据，并将所述缺失数据储存在预设的第二补充数据表中，其中，所述第一补充数据表中的缺失数据为所述源端数据库基于所述缺失数据时间段确定出的数据；将所述第二实时数据表以及所述第二补充数据表中的数据以日志收集系统的方式传送至大数据云平台的数据湖。7.根据权利要求6所述的数据传输方法，其特征在于，在接收源端数据库实时传送的数据之前，所述数据传输方法还包括：预先对所述第二实时数据表和所述第二补充数据表进行归档日志登记。8.一种数据传输方法，其特征在于，应用于大数据云平台，所述数据传输方法包括：
接收目标端数据库传送的第二实时数据表以及第二补充数据表，其中，所述第二实时数据表中包含源端数据库向所述目标端数据库实时传送的数据，所述第二补充数据表中包含所述源端数据库向所述目标端数据库传送的第一补充数据表中的缺失数据，所述第一补充数据表中的缺失数据为所述源端数据库基于缺失数据时间段确定出的数据，所述缺失数据时间段是所述目标端数据库在接收所述源端数据库实时传送数据的过程中，基于预设传输时间检测存在传输中断状态时，基于数据的中断传输时间确定出的；利用分布式流数据处理方式将所述第二实时数据表以及所述第二补充数据表中的数据加入到分布式消息队列中进行处理。9.一种数据传输装置，其特征在于，应用于源端数据库，所述数据传输装置包括：第一数据传输单元，用于基于第一实时数据表向目标端数据库实时传输数据；时间段获取单元，用于在实时传输数据的过程中获取缺失数据时间段，其中，所述缺失数据时间段由目标端数据库发送至所述源端数据库，所述缺失数据时间段为所述目标端数据库基于数据的中断传输时间确定得到；第一数据补充单元，用于基于所述缺失数据时间段将对应的缺失数据储存在预设的第一补充数据表中；第二数据传输单元，用于将所述第一补充数据表中的所述缺失数据发送至所述目标端数据库。10.一种数据传输装置，其特征在于，应用于目标端数据库，所述数据传输装置包括：第一数据接收单元，用于接收源端数据库实时传送的数据并储存在第二实时数据表中；传输状态检测单元，用于在实时接收数据的过程中基于预设传输...

【专利技术属性】
技术研发人员：赵文，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：