数据处理方法、相关设备、存储介质及程序产品技术

本申请实施例公开了一种数据处理方法、相关设备、存储介质及程序产品，其中方法包括：从区块链网络中获取源数据，并将获取的源数据存储到缓存池中；对源数据进行数据格式转换处理，并将格式转换后的源数据存储为目标格式的一个或多个数据文件，其中，基于目标格式的数据文件进行数据采集的速率，满足执行目标业务时的速率要求；当目标业务设备需执行目标业务时，使目标业务设备通过第一线程池从目标格式的一个或多个数据文件中异步采集目标业务的相关数据，以基于采集到的相关数据执行目标业务。采用本申请实施例提供的数据处理方法可以有效提升对区块链网络中相关数据进行数据处理时的效率。理时的效率。理时的效率。

【技术实现步骤摘要】
数据处理方法、相关设备、存储介质及程序产品


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、相关设备、存储介质及程序产品。

技术介绍

[0002]随着计算机
中的区块链技术的迅猛发展以及区块链应用的落地，区块链网络中产生了大量的区块链链上数据(以下简称：区块链数据)。在对区块链网络中的相关数据进行数据分析之前通常需要获取较为全面的区块链数据(如：区块中的内部交易数据、交易收据等详细信息)。然而，传统的数据处理方法在实际应用过程中，全面的区块链数据的数据采集过程与基于采集到的区块链数据进行业务数据采集的过程通常会互相影响，导致了传统的数据处理方法在对区块链网络中的相关数据进行数据处理时的效率较为低下的问题。

技术实现思路

[0003]本申请实施例提供了一种数据处理方法、相关设备、存储介质及程序产品，可提升对区块链网络中相关数据进行数据处理时的效率。
[0004]一方面，本申请实施例提供了一种数据处理方法，包括：
[0005]从区块链网络中获取源数据，并将获取的源数据存储到缓存池中；
[0006]对所述源数据进行数据格式转换处理，并将格式转换后的源数据存储为目标格式的一个或多个数据文件，其中，基于目标格式的数据文件进行数据采集的速率，满足执行目标业务时的速率要求；
[0007]当目标业务设备需执行所述目标业务时，使所述目标业务设备通过第一线程池从所述目标格式的一个或多个数据文件中异步采集所述目标业务的相关数据，以基于采集到的相关数据执行所述目标业务。<br/>[0008]再一方面，本申请实施例提供了一种数据处理装置，包括：
[0009]获取单元，用于从区块链网络中获取源数据，并将获取的源数据存储到缓存池中；
[0010]数据格式转换单元，用于对所述源数据进行数据格式转换处理，并将格式转换后的源数据存储为目标格式的一个或多个数据文件，其中，基于目标格式的数据文件进行数据采集的速率，满足执行目标业务时的速率要求；
[0011]业务执行单元，用于当目标业务设备需执行所述目标业务时，使所述目标业务设备通过第一线程池从所述目标格式的一个或多个数据文件中异步采集所述目标业务的相关数据，以基于采集到的相关数据执行所述目标业务。
[0012]再一方面，本申请实施例还提供了一种计算机设备，包括：
[0013]处理器，所述处理器用于实现一条或多条计算机程序；
[0014]计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如第一方面所述的数据处理方法。
[0015]再一方面，本申请实施例还提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如第一方面所述的数据处理方法。
[0016]再一方面，本申请实施例提供了一种计算机产品，所述计算机产品包括计算机程序，所述计算机程序适于由处理器加载并执行如第一方面所述的数据处理方法。
[0017]在本申请实施例中，计算机设备可以从区块链网络中获取源数据，并将获取到的源数据存储到缓存池中；然后，计算机设备可以将缓存池中存储的源数据进一步打包为目标格式的数据文件，以使得目标业务需要执行时，计算机设备可以从数据文件中进行相关业务数据的采集，从而避免计算机设备在采集业务数据时影响计算机设备从区块链网络中获取源数据的效率，因此，本申请实施例可以提升计算机设备在对与区块链网络相关的数据进行数据处理时的效率。
附图说明
[0018]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1a是本申请实施例提供的一种区块链的结构示意图；
[0020]图1b是本申请实施例提供的一种区块链系统的结构示意图；
[0021]图1c是本申请实施例提供的一种数据处理方案的流程示意图；
[0022]图1d是本申请实施例提供的一种数据处理系统的结构示意图；
[0023]图1e是本申请实施例提供的又一种数据处理系统的结构示意图；
[0024]图2是本申请实施例提供的一种数据处理方法的流程示意图；
[0025]图3是本申请实施例提供的一种部署在区块链虚拟机中的插桩代码的伪代码示意图；
[0026]图4是本申请实施例提供的又一种数据处理方法的流程示意图；
[0027]图5是本申请实施例提供的一种数据采集流程的示意图；
[0028]图6是本申请实施例提供的一种数据处理装置的结构示意图；
[0029]图7是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0030]为了使本
的人员更好地理解本申请实施例所提供的方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。需要说明的是，本申请实施例中描述的各个具体实施例只是本申请一部分实施例，而不是全部的实施例。基于本申请中的各个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0031]本申请实施例可以用于对区块链网络中的相关区块链数据进行数据采集，进而实现对区块链数据所蕴含的信息的提取。区块链网络是基于区块链技术构建的，其具备去中心化，不可篡改等特性。为了便于理解本申请实施例的应用领域以及采用的技术手段，以下将对区块链技术以及与区块链技术相关的概念进行详细解释。
[0032]区块链技术是一种新兴技术，是一门涉及密码学，博弈论，货币学的交叉学科。区块链技术主要利用区块链(Blockchain，一种利用以区块为单位的链式数据结构)来存储数据，利用共识算法来保证数据的一致性，利用密码学来保证数据的安全性。区块链的结构可以如图1a所示，区块链包括一系列按照产生的先后时间顺序相互接续的区块(Block，数据块)，区块中记录了区块链网络(或区块链系统)中区块链节点提交的记录数据，并且需要说明的是，新产生的区块一旦加入到区块链中就不会再被移除。以下结合图1a所示的区块链，对区块的产生时间顺序进行举例说明。在图1a所示的区块链中，区块1的产生时间先于区块2的产生时间，区块2的产生时间先于区块3的产生时间。其中，区块链本质上可以理解为一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性(防伪)和生成下一个区块。并且，每个区块的区块结构(Block Structure)可以如下：存储交易记录的哈希值(本区块的哈希值)以及前一区块的哈希值。那么，各区块可以通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息，本申请实施例对此不作详述。
[0033]在区块链技术中，还有一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：从区块链网络中获取源数据，并将获取的源数据存储到缓存池中；对所述源数据进行数据格式转换处理，并将格式转换后的源数据存储为目标格式的一个或多个数据文件，其中，基于目标格式的数据文件进行数据采集的速率，满足执行目标业务时的速率要求；当目标业务设备需执行所述目标业务时，使所述目标业务设备通过第一线程池从所述目标格式的一个或多个数据文件中异步采集所述目标业务的相关数据，以基于采集到的相关数据执行所述目标业务。2.根据权利要求1所述的方法，其特征在于，从所述区块链网络获取的源数据的数量为多个；所述将获取的源数据存储到缓存池中，包括：获取多个源数据中的每个源数据的数据类型，以及所述每个源数据对应区块的区块号；针对任一数据类型，将所述任一数据类型下的源数据按照所述任一数据类型下的源数据所对应的区块号的取值的排列顺序，存储为所述任一数据类型对应的数据队列。3.根据权利要求1所述的方法，其特征在于，从所述区块链网络获取的源数据包括一个或多个区块，一个区块存储有外部交易数据，所述从区块链网络中获取源数据，并将获取的源数据存储到缓存池中，包括：将从区块链网络中获取的区块直接存储到缓存池中；将获取的区块中存储的外部交易数据输入区块链虚拟机中，并从所述区块链虚拟机中获取所述区块链虚拟机在运行所述外部交易数据后所产生的内部交易数据和交易收据；将所述获取的区块中存储的外部交易数据，以及所述区块链虚拟机运行所述外部交易数据后产生的内部交易数据和交易收据存储到缓存池中。4.根据权利要求3所述的方法，其特征在于，所述将获取的区块中存储的外部交易数据输入区块链虚拟机中，并从所述区块链虚拟机中获取所述区块链虚拟机在运行所述外部交易数据后所产生的内部交易数据和交易收据，包括：将用于获取交易收据和内部交易数据的插桩代码部署到区块链虚拟机中；在将获取的区块中存储的外部交易数据依次输入区块链虚拟机后，调用所述区块链虚拟机中的插桩代码以一个区块为单位，对由所述一个区块中存储的外部交易数据所产生的内部交易数据和交易收据进行记录，以从所述区块链虚拟机中获取所述外部交易数据在被所述区块链虚拟机运行后所产生的内部交易数据和交易收据。5.根据权利要求1所述的方法，其特征在于，从所述区块链网络获取的源数据的数量为多个，且任一源数据在所述缓存池中是按照相应的数据类型，以及对应区块的区块号存储到数据队列的，其中，一个数据队列用于存储一个数据类型的源数据；所述对所述源数据进行数据格式转换处理，并将格式转换后的源数据存储为目标...

【专利技术属性】
技术研发人员：郑伟林，温伟力，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：