数据同步方法和装置制造方法及图纸

本发明专利技术公开了一种数据同步方法和装置

【技术实现步骤摘要】
数据同步方法和装置、电子设备和计算机可读介质


[0001]本专利技术涉及计算机
，尤其涉及一种数据同步方法和装置
、
电子设备和计算机可读介质
。

技术介绍

[0002]在金融科技行业，采用监管探针
、
外部感知
、
信息共享与报送等方式实时采集分析金融创新风险情况，对潜在风险的提前探测和综合评估，打造更加安全
、
便捷
、
透明的金融体系
。
监管探针是一种新型的金融监管工具，其核心思想是分析网络流量中的目标报文来抓取机构内交易数据，增强监管的自动化
、
智能化和准确性
。
现有监管探针方案在当网络不可靠时会丢失
TCP(
传输层协议
)
数据包，且通过旁路抓取网络流量的方式无法保证数据包的重新传输能被探针全部抓取到，所以有一定概率会丢失数据
。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
[0004]会存在丢失数据的情况，且无法保证抓取的数据不被篡改，无法保证可追溯性，探针的可用性
、
容灾性
、
扩展能力均较差
。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种数据同步方法和装置，能够主动且准实时地获取机构内部的交易数据，避免丢失数据，保证抓取的数据不可篡改且可追溯，为监管机构进行数据分析提供可靠的数据来源，且探针高可用，容灾和扩展能力强
。
[0006]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据同步方法
。
[0007]一种数据同步方法，包括：利用数据抓取组件抓取第一系统的交易数据，并将所述第一系统的交易数据推送到所述第一系统的消息中间件集群；对所述第一系统的交易数据进行哈希处理，得到所述第一系统的交易数据的上链存证数据，将所述第一系统的交易数据的上链存证数据存储到区块链网络，以由第二系统从所述区块链网络获取所述第一系统的交易数据的上链存证数据；在收到所述第二系统根据所述第一系统的交易数据的上链存证数据发出的数据同步请求后，通过所述第一系统的消息中间件集群，将所述第一系统的交易数据同步至所述第二系统
。
[0008]可选地，所述利用数据抓取组件抓取第一系统的交易数据，包括：利用部署在所述第一系统的网关应用层的探针程序，抓取所述第一系统的交易数据
。
[0009]可选地，所述利用部署在所述第一系统的网关应用层的探针程序，抓取所述第一系统的交易数据，包括：从所述第一系统的应用的网卡将流量复制到物理机
、
虚拟机或容器中，复制的所述流量包括所述第一系统的交易数据，所述应用用于所述第一系统执行交易以得到所述第一系统的交易数据
。
[0010]可选地，所述利用数据抓取组件抓取第一系统的交易数据，包括：利用所述第一系统的至少两个探针服务器中部署的探针程序，抓取所述第一系统的交易数据，所述至少两个探针服务器设置在所述第一系统的同一互联网数据中心中，且采用相同的探针程序配
置
。
[0011]可选地，所述利用数据抓取组件抓取第一系统的交易数据，包括：利用所述第一系统的应用所在的物理机
、
虚机或容器中的探针程序，抓取所述第一系统的交易数据，所述应用用于所述第一系统执行交易以得到所述第一系统的交易数据
。
[0012]可选地，在所述探针程序部署在
docker
容器
(
容器技术的一种产品实现
)
中的情况下，在所述容器运行所述探针程序的镜像文件，以抓取所述第一系统的交易数据，镜像文件包括基于所述
docker
容器的
busybox(
一个集成了
Linux
命令和工具的软件工具箱
)
制作的基础镜像
。
[0013]可选地，所述利用数据抓取组件抓取第一系统的交易数据，并将所述第一系统的交易数据推送到所述第一系统的消息中间件集群，包括：通过所述探针程序监控所述第一系统交易时的报文数据，并从所述报文数据中提取出指定地址和协议的目标报文数据，将所述目标报文数据解析为
CSV(
逗号分隔值
)
格式的交易数据，将所述
CSV
格式的交易数据推送到所述第一系统的消息中间件集群
。
[0014]可选地，所述将所述目标报文数据解析为
CSV
格式的交易数据，包括：将提取出的所述目标报文数据存放到共享内存，以从所述共享内存读取所述目标报文数据并进行报文重组，得到组合后的
TCP
数据流，根据
HTTP
协议对所述
TCP
数据流进行数据解析，得到
JSON
格式数据，从所述
JSON
格式数据提取出预设业务的交易数据，对所述预设业务的交易数据重新编排为所述
CSV
格式，得到所述
CSV
格式的交易数据
。
[0015]可选地，提取出的所述目标报文数据存放到多个共享内存中，通过多进程方式执行所述报文重组
、
所述数据解析和所述编排的操作
。
[0016]可选地，所述将所述第一系统的交易数据推送到所述第一系统的消息中间件集群，包括：将所述第一系统的交易数据划分批次，将得到的批次的交易数据和对应的批次信息推送到所述第一系统的消息中间件集群
。
[0017]可选地，所述将所述第一系统的交易数据划分批次，将得到的批次的交易数据和对应的批次信息推送到所述第一系统的消息中间件集群，包括：将所述第一系统的交易数据逐条或批量发送到所述第一系统的上链服务，由所述上链服务确定所述第一系统的交易数据的批次信息，并将所述第一系统的交易数据和对应的批次信息保存到缓存，在缓存中的交易数据数量达到第一数量后，将所述第一数量的交易数据和对应的批次信息作为一条记录推送到所述第一系统的消息中间件集群
。
[0018]可选地，对所述第一系统的交易数据进行哈希处理，得到所述第一系统的交易数据的上链存证数据，将所述第一系统的交易数据的上链存证数据存储到区块链网络，包括：对所述得到的批次的交易数据进行哈希处理，得到所述得到的批次的交易数据的哈希值；将所述得到的批次的交易数据的哈希值和对应的批次信息存储到所述区块链网络，以由所述第二系统根据所述哈希值和对应的批次信息发出所述数据同步请求
。
[0019]可选地，所述第一系统的消息中间件集群包括多个；所述将所述第一系统的交易数据推送到所述第一系统的消息中间件集群，包括：将所述第一系统的交易数据推送到所述第一系统的当前存活的各消息中间件集群
。
[0020]根据本专利技术实施例的另一方面，提供了一种数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据同步方法，其特征在于，包括：利用数据抓取组件抓取第一系统的交易数据，并将所述第一系统的交易数据推送到所述第一系统的消息中间件集群；对所述第一系统的交易数据进行哈希处理，得到所述第一系统的交易数据的上链存证数据，将所述第一系统的交易数据的上链存证数据存储到区块链网络，以由第二系统从所述区块链网络获取所述第一系统的交易数据的上链存证数据；在收到所述第二系统根据所述第一系统的交易数据的上链存证数据发出的数据同步请求后，通过所述第一系统的消息中间件集群，将所述第一系统的交易数据同步至所述第二系统
。2.
根据权利要求1所述的方法，其特征在于，所述利用数据抓取组件抓取第一系统的交易数据，包括：利用部署在所述第一系统的网关应用层的探针程序，抓取所述第一系统的交易数据
。3.
根据权利要求2所述的方法，其特征在于，所述利用部署在所述第一系统的网关应用层的探针程序，抓取所述第一系统的交易数据，包括：从所述第一系统的应用的网卡将流量复制到物理机
、
虚拟机或容器中，复制的所述流量包括所述第一系统的交易数据，所述应用用于所述第一系统执行交易以得到所述第一系统的交易数据
。4.
根据权利要求1所述的方法，其特征在于，所述利用数据抓取组件抓取第一系统的交易数据，包括：利用所述第一系统的至少两个探针服务器中部署的探针程序，抓取所述第一系统的交易数据，所述至少两个探针服务器设置在所述第一系统的同一互联网数据中心中，且采用相同的探针程序配置
。5.
根据权利要求1所述的方法，其特征在于，所述利用数据抓取组件抓取第一系统的交易数据，包括：利用所述第一系统的应用所在的物理机
、
虚机或容器中的探针程序，抓取所述第一系统的交易数据，所述应用用于所述第一系统执行交易以得到所述第一系统的交易数据
。6.
根据权利要求5所述的方法，其特征在于，在所述探针程序部署在
docker
容器中的情况下，在所述容器运行所述探针程序的镜像文件，以抓取所述第一系统的交易数据，镜像文件包括基于所述
docker
容器的
busybox
制作的基础镜像
。7.
根据权利要求2至6中任一项所述的方法，其特征在于，所述利用数据抓取组件抓取第一系统的交易数据，并将所述第一系统的交易数据推送到所述第一系统的消息中间件集群，包括：通过所述探针程序监控所述第一系统交易时的报文数据，并从所述报文数据中提取出指定地址和协议的目标报文数据，将所述目标报文数据解析为
CSV
格式的交易数据，将所述
CSV
格式的交易数据推送到所述第一系统的消息中间件集群
。8.
根据权利要求7所述的方法，其特征在于，所述将所述目标报文数据解析为
CSV
格式的交易数据，包括：将提取出的所述目标报文数据存放到共享内存，以从所述共享内存读取所述目标报文数据并进行报文重组，得到组合后的
TCP
数据流，根据
HTTP
协议对所述
TCP
数据流进行数据
解析，得到
JSON
格式数据，从所述
JSON
格式数据提取出预设业务的交易数据，对所述预设业务的交易数据重新编排为所述
CSV
格式，得到所述
CSV
格式的交易数据
。9.
根据权利要求8所述的方法，其特征在于，提取出的所述目标报文数据存放到多个共享内存中，通过多进程方式执行所述报文重组
、
所述数据解析和所述编排的操作
。10.
根据权利要求1所述的方法，其特征在于，所述将所述第一系统的交易数据推送到所述第一系统的消息中间件集群，包括：将所述第一系统的交易数据划分批次，将得到的批次的交易数据和对应的批次信息推送到所述第一系统的消息中间件集群
。11.
根据权利要求
10
所述的方法，其特征在于，所述将所述第一系统的交易数据划分批次，将得到的批次的交易数据和对应的批次信息推送到所述第一系统的消息中间件集群，包括：将所述第一系统的交易数据逐条或批量发送到所述第一系统的上链服务，由所述上链服务确定所述第一系统的交易数据的批次信息，并将所述第一系统的交易数据和对应的批次信息保存到缓存，在缓存中的交易数据数量达到第一数量后，将所述第一数量的交易数据和对应的批次信息作为一条记录推送到所述第一系统的消息中间件集群
。12.
根据权利要求
10
所述的方法，其特征在于，对所述第一系统的交易数据进行哈希处理，得到所述第一系统的交易数据的上链存证数据，将所述第一系统的交易数据的上链存证数据存储到区块链网络，包括：对所述得到的批次的交易数据进行哈希处理，得到所述得到的批次的交易数据的哈希值；将所述得到的批次的交易数据的哈希值和对应的批次信息存储到所述区块链网络，以由所述第二系统根据所述哈希值和对应的批次信息发出所述数据同步请求
。13.
根据权利要求1所述的方法，其特征在于，所述第一系统的消息中间件集群包括多个；所述将所述第一系统的交易数据推送到所述第一系统的消息中间件集群，包括：将所述第一系统的交易数据推送到所述第一系统的当前存活的各消息中间件集群
。14.
一种数据同步方法，其特征在于，包括：从区块链网络获取第一系统的交易数据的上链存证数据，所述上链存证数据是所述第一系统对抓取的交易数据进行哈希处理得到的；根据所述第一系统的交易数据的上链存证数据，确定待同步到第二系统的所述第一系统的交易数据；通过所述第二系统的消息中间件集群，将待同步的所述第一系统的交易数据同步到所述第二系统
。15.
根据权利要求
14
所述的方法，其特征在于，所述通过所述第二系统的消息中间件集群，将待同步的所述第一系统的交易数据同步到所述第二系统，包括：通过所述第二系统的消息中间件集群，将待同步的所述第一系统的交易数据分发到多个数据采集组件进行解析，并将解析得到的各类数据存储到所述第二系统中对应的存储位置
。16.
一种数据同步装置，其特征在于，包括：交易数据抓取模块，用于利用数据抓取组件抓取第一系统的交易数据，并将所述第一
系统的交易数据推送到所述第一系统的消息中间件集群；上链存...

【专利技术属性】
技术研发人员：穆长春，狄刚，田春爽，
申请(专利权)人：深圳金融科技研究院中国人民银行金融科技研究院，
类型：发明
国别省市：