一种可扩展的多区块链数据ETL处理系统及方法技术方案

本发明专利技术公开了一种可扩展的多区块链数据ETL系统及方法。目前市场上的区块链种类繁多，且各区块链的数据格式都不尽相同，因此针对单一区块链设计的ETL工具或者数据服务，例如区块链数据浏览器Etherscan，仅仅对以太坊进行了支持，无法目前多链或跨链应用需要同时处理或访问多条区块链的需求。该系统针对性地解决了目前区块链种类繁多、区块链数据格式各异的情况下，多链数据处理、数据清理、数据访问、数据同步、数据分析难的问题，它的可扩展的多链数据适配器不仅可以满足不同区块链数据获取的需求，同时数据流下游可自定义的Handler(处理器)也使得用户可以实现包括ETL,数据同步，数据分析等功能。数据分析等功能。数据分析等功能。

【技术实现步骤摘要】
一种可扩展的多区块链数据ETL处理系统及方法


[0001]本专利技术涉及区块链及大数据处理
，尤其涉及一种可扩展的多区块链数据ETL处理系统及方法。

技术介绍

[0002]目前区块链种类繁多，且各区块链的数据格式都不尽相同，因此针对单一区块链设计的ETL工具或者数据服务，例如区块链数据浏览器Etherscan和去中心化数据处理工具The Graph等，都仅对以太坊进行了支持，无法满足目前多链或跨链应用需要同时处理或访问多条区块链的需求。目前行业内并没有一套通用的、可扩展的多链数据ETL系统。所以很多区块链应用开发者，都不得不花费大量人力物力去自己构建数据ETL管道。

技术实现思路

[0003]鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种可扩展的多区块链数据ETL处理系统及方法，以解决现有技术的不足。
[0004]为实现上述目的，本专利技术提供了一种可扩展的多区块链数据ETL处理系统，包括作业调度模块、多链ETL模块、数据存储模块、消息平台模块，所述作业调度模块、多链ETL模块相连接，所述多链ETL模块还与数据存储模块、消息平台模块相连接，所述数据存储模块、消息平台模块连接，其中：作业调度模块，用于持续检查每个集成区块链的最新区块高度和最后一个成功处理的区块，如果最后一个成功处理的区块落后于最新区块高度，将作业分派给多链ETL模块，以从指定区块链同步数据；多链ETL模块，用于从区块链节点API中获取特定区块范围的区块链数据，然后提取交易、事件和区块元数据，并将交易、事件和区块元数据转化为统一的格式后存储，通知服务通知下游事件处理器已处理的事件和交易；最后，校验审计服务根据区块元数据中的信息验证已处理的数据的校验；数据存储模块，用于选择可扩展的NoSQL数据库作为TXN存储和事件存储的底层数据库，实现快速查询，并容纳来自多个区块链的不断增长的数据规模；消息平台模块，用于将处理后的数据分配给下游处理程序。
[0005]进一步的，所述多链ETL模块中，区块链数据适配器从区块链节点API中获取特定区块范围的区块链数据。
[0006]进一步的，所述区块链数据适配器包括以太坊数据适配器、福洛链数据适配器、BNB链数据适配器、Polygon链数据适配器。
[0007]进一步的，所述多链ETL模块将交易、事件和区块元数据转化为统一的格式后，通过数据持久服务将交易、事件和区块元数据保存到数据存储模块中。
[0008]进一步的，所述多链ETL模块的的数据校验验证结果在作业调度模块的任务审计数据库中更新。
[0009]进一步的，所述数据存储模块为一个可扩展的多链交易存储和事件存储模块。
[0010]进一步的，所述数据存储模块中存储的数据都带有HTTP查询API。
[0011]进一步的，所述消息平台模块是一个一对多的pub/sub平台。
[0012]本专利技术还提供一种可扩展的多区块链数据ETL处理方法，包括以下步骤：步骤1.配置自定义的区块链数据适配器：按要求实现区块链数据适配器的相关接口，使得适配器将区块链数据转换成结构化数据；步骤2.激活区块链适配器任务：适配器实现模板的接口后，用户将所述适配器通过任务调度模块进行激活，适配器即把目标区块链的数据进行ETL操作，用户在同步区块链审计表中观测将区块内的信息通过ETL同步至数据仓库和下游的进度；步骤3.实现下游事件处理器：通过实现下游事件处理器接口的方式，将即时的区块链数据信息同步到应用中；步骤4.查询结构化数据：调用存储模块附带的查询API，获取区块链上的结构化数据；步骤5. ETL任务审计及预警：通过查询任务调度模块中的任务审计数据库，查看区块同步及ETL过程是否存在异常，在同步出现异常时对用户进行预警。
[0013]进一步的，所述异常包括遗漏、缺口、校验失败。
[0014]本专利技术的有益效果是：本专利技术通过可自定义适配器的方式，对多链数据ETL提供了支持。同时本专利技术中的消息平台和下游可自定义的事件处理器，可以满足用户构建不同场景的区块链应用的需求。它的可扩展的多链数据适配器不仅可以满足不同区块链数据获取的需求，同时数据流下游可自定义的Handler(处理器)也使得用户可以实现包括ETL, 数据同步，数据分析等功能。它可以帮助开发者快速构建多链数据服务，节省开发者的时间和经济成本和运维负担。
[0015]以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。
附图说明
[0016]图1是本专利技术的系统原理框图。
[0017]图2是本专利技术的方法流程图。
具体实施方式
[0018]如图1所示，本专利技术公开了一种可扩展的多区块链数据ETL处理系统，包括作业调度模块、多链ETL模块、数据存储模块、消息平台模块，所述作业调度模块、多链ETL模块相连接，所述多链ETL模块还与数据存储模块、消息平台模块相连接，所述数据存储模块、消息平台模块连接，其中：作业调度模块：作业调度模块持续检查每个集成区块链的最新区块高度和最后一个成功处理的区块。如果最后一个成功处理的区块落后于最新区块高度，它将作业分派给多链ETL模块，以从指定区块链同步数据。
[0019]多链ETL模块：在多链ETL模块中，区块链数据适配器从区块链节点API中获取特定区块范围的区块链数据，然后提取交易（TXN）、事件和区块元数据，并将其转化为统一的格
式。数据持久服务随后将TXN数据和事件数据保存到数据存储中，以便进一步查询。接下来，通知服务发送消息，通知下游已处理的事件和TXN。最后，校验审计服务将根据区块元数据中的信息，验证已处理数据的校验，以确保区块中的所有数据都已处理。验证结果会在作业调度模块的任务审计数据库中更新，这样调度员就可以捡起失败的作业来重新运行。
[0020]整个ETL过程是同位素和可并行的，所以它可以很容易地扩大规模，以赶上并同步到最新的区块。此外，与新的区块链集成只需要最小的区块链数据适配器的开发，而不是建立一个完整的ETL管道。为各种区块链提供内置的数据适配器实现，内置区块链数据适配器包括以太坊数据适配器、福洛链数据适配器、BNB链数据适配器、Polygon链数据适配器。通过适配器或其他等效模块，完成对多条不同的区块链数据的提取、转换、加载的过程。
[0021]数据存储模块：本专利技术提出了一个可扩展的多链交易（TXN）存储和事件存储设计，选择可扩展的NoSQL数据库（例如MongoDB）作为TXN存储和事件存储的底层数据库，以实现快速查询。并且通过其良好的可扩展性开容纳来自多个区块链的不断增长的数据规模。TXN存储和事件存储分别以{blockchainId}:{txHash}和{blockchainId}:{eventId}为主键，以方便低延迟的键值搜索。我们还添加了blockNumber和contractId的索引用于快速查询。此外，我们还使用分布式对象存储(例如Minio)来存储完整的区块数据，其路径以{bloc本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可扩展的多区块链数据ETL处理系统，其特征在于，包括作业调度模块、多链ETL模块、数据存储模块、消息平台模块，所述作业调度模块、多链ETL模块相连接，所述多链ETL模块还与数据存储模块、消息平台模块相连接，所述数据存储模块、消息平台模块连接，其中：作业调度模块，用于持续检查每个集成区块链的最新区块高度和最后一个成功处理的区块，如果最后一个成功处理的区块落后于最新区块高度，将作业分派给多链ETL模块，以从指定区块链同步数据；多链ETL模块，用于从区块链节点API中获取特定区块范围的区块链数据，然后提取交易、事件和区块元数据，并将交易、事件和区块元数据转化为统一的格式后存储，通知服务通知下游事件处理器已处理的事件和交易；最后，校验审计服务根据区块元数据中的信息验证已处理的数据的校验；数据存储模块，用于选择可扩展的NoSQL数据库作为TXN存储和事件存储的底层数据库，实现快速查询，并容纳来自多个区块链的不断增长的数据规模；消息平台模块，用于将处理后的数据分配给下游处理程序。2.如权利要求1所述的一种可扩展的多区块链数据ETL处理系统，其特征在于：所述多链ETL模块中，区块链数据适配器从区块链节点API中获取特定区块范围的区块链数据。3.如权利要求2所述的一种可扩展的多区块链数据ETL处理系统，其特征在于：所述区块链数据适配器包括但不限于以太坊数据适配器、福洛链数据适配器、BNB链数据适配器、Polygon链数据适配器。4.如权利要求1所述的一种可扩展的多区块链数据ETL处理系统，其特征在于：所述多链ETL模块将交易、事件和区块元数据转化为统一的格式后，通过数据持久服务将交易、事件和区块元数据保存到数据存储模块中。5.如权利要...

【专利技术属性】
技术研发人员：张舒艺，吴啸，
申请(专利权)人：南京纯白矩阵科技有限公司，
类型：发明
国别省市：