【技术实现步骤摘要】
本专利技术涉及数据存储，具体涉及一种轻量级数据存储管理方法、装置、设备及介质。
技术介绍
1、以太坊被广泛应用于金融、供应链、游戏和数字资产领域，目前也在电力信息领域逐步扩大。然而，随着以太坊应用的持续火热，海量的数据使得以太坊网络面临着巨大的存储压力。
2、到如今为止，归档模式下的以太坊数据总量已经突破了10tb的大关。受数据规模的影响，以太坊系统正面临着严峻的挑战。
3、首先，新加入以太坊网络时，尽管以太坊已经提供了同步选项来加速同步历史数据的过程，但大量的数据写入以及由数据库引入的写放大仍然是不可忽视的开销。此外，随着以太坊区块的不断增长，历史数据的同步也变得更加耗时。其次，区块的落盘存储是区块从被挖掘到持久化过程中的一个关键环节，其性能直接影响系统的吞吐量。当一个新的区块被挖掘后，节点需要将该区块写入磁盘进行持久化存储。如果磁盘写入速度较慢或存在其他瓶颈，会导致系统网络的延迟增加，从而影响整体的交易处理速度。最后，海量的数据写入以及由此带来的写放大问题对存储设备的使用寿命提出了很高的要求。以太坊区块上的每一笔交易都需要被写入磁盘，而且随着时间的推移，数据量的增长会导致写入操作频繁和存储空间的消耗进而导致的系统吞吐量下降问题。
技术实现思路
1、面临海量数据的吞吐量带来的写放大系数问题，这种存储瓶颈导致的系统吞吐量下降问题。本专利技术提供一种轻量级数据存储管理方法、装置、设备及介质。
2、第一方面，本专利技术技术方案提供一种轻量级数据存储管
3、每个区块的数据落盘完成后，将对应的区块号按照落盘的时间顺序写入数据引擎；
4、系统崩溃时，检索数据引擎获取最新写入的区块号；
5、将获取的所述区块号作为断点，结合该节点的区块数量确认丢失数据的区块信息；
6、启动以太坊同步过程恢复丢失的数据。
7、作为本专利技术技术方案的优选，该方法还包括：
8、当数据引擎中不存在该节点的区块号时，将首个区块号作为断点确认所有区块丢失数据；执行步骤：启动以太坊同步过程恢复丢失的数据。
9、作为本专利技术技术方案的优选，启动以太坊同步过程恢复丢失的数据的步骤包括：
10、将断点的下一个区块作为同步起点；
11、选择从中请求区块数据的同步节点；
12、构造包含需要请求的区块号的同步请求并向选定的同步节点发送所述同步请求；
13、接收到基于同步请求的响应数据后，验证数据的有效性，验证通过后将接收到的数据存储。
14、作为本专利技术技术方案的优选，选择从中请求区块数据的同步节点的步骤包括：
15、获取与数据丢失节点通信的各节点的声誉值，根据选择声誉值大于设定阈值的节点作为同步节点；或根据网络拓扑结构来选择与数据丢失节点通信且物理距离小于设定距离阈值的节点作为同步节点；或选择物理距离小于设定距离阈值的节点中声誉值大于设定阈值的节点作为同步节点。
16、作为本专利技术技术方案的优选，选择从中请求区块数据的同步节点的步骤包括：
17、获取与数据丢失节点通信的各节点提供的数据的质量评估值，选择评估值大于设定估值的节点作为同步节点。
18、作为本专利技术技术方案的优选，选择从中请求区块数据的同步节点的步骤包括：
19、获取与数据丢失节点通信的各节点的负载量，选择负载量小于设定负载阈值的节点作为同步节点。
20、作为本专利技术技术方案的优选，该方法还包括：
21、接收到同步请求的同步节点检查自己的本地存储，看是否有请求的区块数据；若有，将数据发送给丢失数据的节点。
22、作为本专利技术技术方案的优选，该方法还包括：
23、丢失数据的节点接收到同步数据同步的数据后，检查区块的工作量证明是否有效以及区块中的交易是否合法，将验证通过的数据存入本地对应的区块；
24、判断丢失数据的节点数据是否与同步节点的最新区块的数据同步；
25、若是，数据同步结束；
26、若否，继续发送同步请求获取下一个区块的数据。
27、第二方面，本专利技术技术方案还提供一种轻量级数据存储管理装置，应用于数据系统，所述系统包括若干个节点，每个节点有多个区块；所述装置包括数据引擎写入模块、区块号检索模块、区块信息确认模块和数据恢复处理模块；
28、数据引擎写入模块，用于每个区块的数据落盘完成后，将对应的区块号按照落盘的时间顺序写入数据引擎；
29、区块号检索模块，用于系统崩溃时，检索数据引擎获取最新写入的区块号；
30、区块信息确认模块，用于将获取的所述区块号作为断点，结合该节点的区块数量确认丢失数据的区块信息；
31、数据恢复处理模块，用于启动以太坊同步过程恢复丢失的数据。
32、作为本专利技术技术方案的优选，区块号检索模块，还用于当数据引擎中不存在该节点的区块号时，将首个区块号作为断点确认所有区块丢失数据。
33、作为本专利技术技术方案的优选，数据恢复处理模块包括同步器点确认单元、同步节点选择单元、同步请求构造单元和数据接收处理单元；
34、同步器点确认单元，用于将断点的下一个区块作为同步起点；
35、同步节点选择单元，用于选择从中请求区块数据的同步节点；
36、同步请求构造单元，用于构造包含需要请求的区块号的同步请求并向选定的同步节点发送所述同步请求；
37、数据接收处理单元，用于接收到基于同步请求的响应数据后，验证数据的有效性，验证通过后将接收到的数据存储。
38、作为本专利技术技术方案的优选，同步节点选择单元，具体用于获取与数据丢失节点通信的各节点的声誉值，根据选择声誉值大于设定阈值的节点作为同步节点；或根据网络拓扑结构来选择与数据丢失节点通信且物理距离小于设定距离阈值的节点作为同步节点；或选择物理距离小于设定距离阈值的节点中声誉值大于设定阈值的节点作为同步节点。
39、作为本专利技术技术方案的优选，同步节点选择单元，具体用于获取与数据丢失节点通信的各节点提供的数据的质量评估值，选择评估值大于设定估值的节点作为同步节点。
40、作为本专利技术技术方案的优选，同步节点选择单元，具体用于获取与数据丢失节点通信的各节点的负载量，选择负载量小于设定负载阈值的节点作为同步节点。
41、作为本专利技术技术方案的优选，该装置还包括同步请求响应模块，用于接收到同步请求的同步节点检查自己的本地存储，看是否有请求的区块数据；若有，将数据发送给丢失数据的节点。
42、作为本专利技术技术方案的优选，数据接收处理单元，还用于接收到同步数据同步的数据后，检查区块的工作量证明是否有效以及区块中的交易是否合法，将验证通过的数据存入本地对应的区块；判断丢失数据的节点数据是否与同步节点的本文档来自技高网...
【技术保护点】
1.一种轻量级数据存储管理方法，其特征在于，应用于数据系统，所述系统包括若干个节点，每个节点有多个区块；所述方法包括如下步骤：
2.根据权利要求1所述的轻量级数据存储管理方法，其特征在于，该方法还包括：
3.根据权利要求2所述的轻量级数据存储管理方法，其特征在于，启动以太坊同步过程恢复丢失的数据的步骤包括：
4.根据权利要求3所述的轻量级数据存储管理方法，其特征在于，选择从中请求区块数据的同步节点的步骤包括：
5.根据权利要求3所述的轻量级数据存储管理方法，其特征在于，选择从中请求区块数据的同步节点的步骤包括：
6.根据权利要求3所述的轻量级数据存储管理方法，其特征在于，选择从中请求区块数据的同步节点的步骤包括：
7.根据权利要求4-6任一项所述的轻量级数据存储管理方法，其特征在于，该方法还包括：
8.一种轻量级数据存储管理装置，其特征在于，应用于数据系统，所述系统包括若干个节点，每个节点有多个区块；所述装置包括数据引擎写入模块、区块号检索模块、区块信息确认模块和数据恢复处理模块；
9
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一项所述的轻量级数据存储管理方法。
...【技术特征摘要】
1.一种轻量级数据存储管理方法，其特征在于，应用于数据系统，所述系统包括若干个节点，每个节点有多个区块；所述方法包括如下步骤：
2.根据权利要求1所述的轻量级数据存储管理方法，其特征在于，该方法还包括：
3.根据权利要求2所述的轻量级数据存储管理方法，其特征在于，启动以太坊同步过程恢复丢失的数据的步骤包括：
4.根据权利要求3所述的轻量级数据存储管理方法，其特征在于，选择从中请求区块数据的同步节点的步骤包括：
5.根据权利要求3所述的轻量级数据存储管理方法，其特征在于，选择从中请求区块数据的同步节点的步骤包括：
6.根据权利要求3所述的轻量级数据存储管理方法，其特征在于，选择从中请求区块数据的同步节点的步骤包括：
7.根据权利要求4-6任一项所述的轻量级...
【专利技术属性】
技术研发人员：高丽媛，马红月，曾锃，李温静，李春阳，夏元轶，张沛尧，明萌，张瑞，杨旭昕，余益团，张震，滕昌志，
申请(专利权)人：国网信息通信产业集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。