【技术实现步骤摘要】
本申请涉及数据处理，具体而言，涉及一种基于大数据集群的数据存储方法、装置及电子设备。
技术介绍
1、随着互联网的普及和数字化的发展，数据安全和防篡改问题变得越来越重要。许多公司和个人面临着不同程度的数据安全威胁，例如：黑客攻击、数据泄露、恶意软件等。同时，由于不可信数据可能导致经济损失及信任缺失等问题，如何防止数据篡改的问题也备受关注。现有技术中，通常采用区块链技术来进行大数据存储，以保证数据存储安全及有效防止数据被篡改。
2、然而，采用区块链技术进行数据存储时，不但对单个节点的存储空间要求较高，需要在每个节点上存放所有的区块数据，每个参与数据存储的节点都需要提供工作量证明，造成电能消耗较大。同时，区块链上的并发量不高，记账过程耗时长，造成记账效率低的问题。
技术实现思路
1、有鉴于此，本申请的目的在于提供一种基于大数据集群的数据存储方法、装置及电子设备，以解决现有技术中，数据存储时电能消耗量大及记账效率低的问题。
2、第一方面，本申请实施例提供了一种基于大数据集群的数据存储方法，大数据集群包括多个数据节点，多个数据节点包括主节点，每个数据节点包括至少一个数据区块，数据存储方法包括：
3、对待存储数据进行分片处理获得多个数据片，并将多个数据片分别存储在多个数据节点对应的不同数据区块中，每个数据片在当前数据节点外的其他数据节点中还存储有副本数据；
4、针对每个数据片，确定该数据片对应的数据指纹，并将数据指纹存储在该数据片对应的数据区块中
5、利用多个具备不定时生命周期的数据监控任务同时对该数据片的变动情况进行监控，并通过主节点在每个数据监控任务生命周期结束时，重新选取执行该数据监控任务的数据节点，以使该数据监控任务在重新选取的数据节点上继续对该数据片进行监控；
6、当监听到目标数据片发生变动时，利用其他数据节点上的目标数据指纹及目标副本数据对目标数据片进行修复。
7、可选地，主节点通过以下处理管理数据监控任务：响应于目标数据监控任务在当前生命周期结束时发送的转移消息，随机生成一个新的生命周期；从当前的多个候选数据节点中随机选择一个数据节点执行目标数据监控任务，以使目标数据监控任务在新的生命周期内对前一个生命周期监控的数据片继续进行监控，候选数据节点是多个数据节点中当前未执行数据监控任务的节点。
8、可选地，利用其他数据节点上的目标数据指纹及目标副本数据对目标数据片进行修复，包括：获取其他数据节点上存储的目标数据片的所有副本数据，并确定每个副本数据对应的数据指纹；从所有副本数据中选取超过预设数量的数据指纹相同的副本数据作为目标副本数据；利用目标数据指纹对目标数据片进行校验，目标数据指纹为目标副本数据对应的数据指纹；若校验失败，则利用目标副本数据对目标数据片进行修复。
9、可选地，在并将多个数据片分别存储在多个数据节点对应的不同数据区块中之后，还包括：针对每个数据片，将该数据片的副本数据分别存储在多个数据区块中；根据每个副本数据与存储该副本数据的数据区块之间的对应关系，生成副本存储信息，以使数据监控任务利用副本存储信息获取副本数据；根据每个数据片与存储该数据片的数据区块之间的对应关系，生成数据分片信息，以使数据监控任务利用数据分片信息对数据片进行监控。
10、可选地，方法还包括：确定下一次主节点的选举时间；到达选举时间时，从多个数据节点中随机选取新的主节点，以利用新的主节点进行数据监控任务的管理。
11、可选地，在到达选举时间时，从多个数据节点中随机选取新的主节点之后，还包括：将上一轮主节点中存储的元数据转移至新的主节点中，元数据包括加密算法、数据分片信息及副本存储信息。
12、可选地，确定该数据片对应的数据指纹，包括：获取存储该数据片时的时间戳；利用加密算法及时间戳对该数据片进行加密，获得该数据片的数据指纹。
13、可选地，主节点还通过以下处理管理数据监控任务：针对每个数据监控任务，在该数据监控任务的当前生命周期结束时，销毁该数据监控任务，并生成与该数据监控任务监控相同数据片的新的数据监控任务；随机生成新的数据监控任务的生命周期，并重新选取执行该新的数据监控任务的数据节点。
14、可选地，数据监控任务的数量与分片处理后的数据片的数量相等。
15、第二方面，本申请实施例还提供了一种基于大数据集群的数据存储装置，大数据集群包括多个数据节点，多个数据节点包括主节点，每个数据节点包括至少一个数据区块，数据存储装置包括：
16、分片存储模块，用于对待存储数据进行分片处理获得多个数据片，并将多个数据片分别存储在多个数据节点对应的不同数据区块中，每个数据片在当前数据节点外的其他数据节点中还存储有副本数据；
17、指纹构建模块，用于针对每个数据片，确定该数据片对应的数据指纹，并将数据指纹存储在该数据片对应的数据区块中；
18、数据监控模块，用于利用多个具备不定时生命周期的数据监控任务同时对该数据片的变动情况进行监控，并通过主节点在每个数据监控任务生命周期结束时，重新选取执行该数据监控任务的数据节点，以使该数据监控任务在重新选取的数据节点上继续对该数据片进行监控；
19、数据修复模块，用于当监听到目标数据片发生变动时，利用其他数据节点上的目标数据指纹及目标副本数据对目标数据片进行修复。
20、第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的基于大数据集群的数据存储方法的步骤。
21、本申请实施例带来了以下有益效果：
22、本申请实施例提供的一种基于大数据集群的数据存储方法、装置及电子设备，能够利用数据监控任务对数据片进行监控，并不定时地将数据监控任务切换到其他数据节点上继续对原数据片进行监控，使得数据监控任务以游离状态进行监控工作，保证数据监控任务的随机性与不可定位性，同时多个数据监控任务同时对一个数据片进行监控，避免在某个数据监控任务停止后无法监控到数据修改的情况发生，其中，大数据集群具备高并发量的特性且本申请无需提供工作量证明，不需要大量gpu参与运算，有效减少了电能消耗，与现有技术中的数据存储方法相比，解决了数据存储时电能消耗量大及记账效率低的问题。
23、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
本文档来自技高网...【技术保护点】
1.一种基于大数据集群的数据存储方法，其特征在于，所述大数据集群包括多个数据节点，所述多个数据节点包括主节点，每个数据节点包括至少一个数据区块，所述数据存储方法包括：
2.根据权利要求1所述的方法，其特征在于，所述主节点通过以下处理管理数据监控任务：
3.根据权利要求1所述的方法，其特征在于，所述利用其他数据节点上的目标数据指纹及目标副本数据对所述目标数据片进行修复，包括：
4.根据权利要求1所述的方法，其特征在于，在所述并将所述多个数据片分别存储在多个数据节点对应的不同数据区块中之后，还包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，在所述到达所述选举时间时，从多个数据节点中随机选取新的主节点之后，还包括：
7.根据权利要求6所述的方法，其特征在于，所述确定该数据片对应的数据指纹，包括：
8.根据权利要求1所述的方法，其特征在于，所述主节点还通过以下处理管理数据监控任务：
9.一种基于大数据集群的数据存储装置，其特征在于，
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至8中任一项所述的基于大数据集群的数据存储方法的步骤。
...【技术特征摘要】
1.一种基于大数据集群的数据存储方法，其特征在于，所述大数据集群包括多个数据节点，所述多个数据节点包括主节点，每个数据节点包括至少一个数据区块，所述数据存储方法包括：
2.根据权利要求1所述的方法，其特征在于，所述主节点通过以下处理管理数据监控任务：
3.根据权利要求1所述的方法，其特征在于，所述利用其他数据节点上的目标数据指纹及目标副本数据对所述目标数据片进行修复，包括：
4.根据权利要求1所述的方法，其特征在于，在所述并将所述多个数据片分别存储在多个数据节点对应的不同数据区块中之后，还包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，在所述到达所述选举时间时，从多个数据...
【专利技术属性】
技术研发人员：郑渊，吉孟扬，罗乐，杜博龙，张晶丽，李波，葛文珍，方向，
申请(专利权)人：鉴微数字科技重庆有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。