一种数据管理方法及装置、电子设备、存储介质制造方法及图纸

本申请公开了一种数据管理方法及装置、电子设备、存储介质，可应用于区块链领域或金融领域，所述方法包括：获取待存储的目标数据；对目标数据哈希计算，得到目标数据对应的数据索引；基于目标数据对应的数据索引，通过哈希环从各个数据节点中确定出目标数据节点；将目标数据存储到目标数据节点中；将目标数据对应的数据索引存储至区块链的当前新区块中，并将当前新区块存储到全量节点中；若目标节点集群中存在当前空闲节点，则将当前新区块至少存储在一个当前空闲节点中；若目标节点集群中不存在当前空闲节点，则将当前新区块替换至少一个目标区块链节点中的目标区块；其中，目标节点集群由预先从区块链中选取出的多个目标区块链节点组成。节点组成。节点组成。

【技术实现步骤摘要】
一种数据管理方法及装置、电子设备、存储介质


[0001]本申请涉及数据管理
，特别涉及一种数据管理方法及装置、电子设备、存储介质。

技术介绍

[0002]银行的各种业务都需要对数据进行分析来展开，所以需要存储大量的业务数据，并且会频繁使用所存储的数据进行分析。
[0003]当前对于数据的管理，主要是将数据都存储到一个高性能的服务器中，相应地也在该服务器上进行数据检索，并对检索到的数据进行分析。而为了在一定程度上减轻该服务器的存储压力，也为了能存储新的数据，所以会将比较久远数据转移到性能较低，且不常用的冷服务器上进行管理。
[0004]但是由于数据的访问频率较高，所以会使得服务器的访问压力过大，并且由于访问频率过高，容易出现操作错误对数据进行修改或删除，从而导致业务无法开展。

技术实现思路

[0005]基于上述现有技术的不足，本申请提供了一种数据管理方法及装置、电子设备、存储介质，以解决现有技术的服务器访问压力过大，且已被误操作的问题。
[0006]为了实现上述目的，本申请提供了以下技术方案：
[0007]本申请第一方面提供了一种数据管理方法，包括：
[0008]获取待存储的目标数据；
[0009]对所述目标数据哈希计算，得到所述目标数据对应的数据索引；
[0010]基于所述目标数据对应的数据索引，通过哈希环从各个数据节点中确定出目标数据节点；
[0011]将所述目标数据存储到所述目标数据节点中；
[0012]将所述目标数据对应的数据索引存储至区块链的当前新区块中，并将所述当前新区块存储到全量节点中；
[0013]判断目标节点集群中是否存在当前空闲节点；其中，所述目标节点集群由预先从所述区块链中选取出的多个目标区块链节点组成；所述当前空闲节点指代当前存在存储所述当前新区块的空间的所述区块链节点；
[0014]若判断出目标节点集群中存在所述当前空闲节点，则将所述当前新区块至少存储在一个所述当前空闲节点中；
[0015]若判断出所述目标节点集群中不存在所述当前空闲节点，则将所述当前新区块替换至少一个所述目标区块链节点中的目标区块；其中，所述目标区块指代被访问频率满足预设条件或备份区块。
[0016]可选地，在上述的数据管理方法中，还包括：
[0017]当接收到所述目标数据的查询请求时，获取所述目标数据对应的数据索引；
[0018]基于所述目标数据对应的数据索引，查找所述目标节点集群中是否存在存储有当前待检索区块的所述目标区块链节点；其中，所述当前待检索区块指代存储有所述目标数据对应的数据索引的区块；
[0019]若查找出所述目标节点集群中存在存储有当前待检索区块的所述目标区块链节点，则访问任意一个存储有所述当前待检索区块的所述目标区块链节点，以通过所述目标区块链节点，基于所述目标数据对应的数据索引，查找到所述目标数据节点；
[0020]若查找出所述目标节点集群中不存在存储有当前待检索区块的所述目标区块链节点，则访问所述全量节点，以通过所述全量节点，基于所述目标数据对应的数据索引，查找到所述目标数据节点；
[0021]访问所述目标数据节点，以从所述目标数据节点中获取到所述目标数据。
[0022]可选地，在上述的数据管理方法中，还包括：
[0023]每间隔预设时间长度，统计在当前的所述预设时间长度内所述区块链内的各个区块的访问频率；
[0024]将各个所述区块按照所述访问频率进行降序排序，并选取出访问频率排序在前N位的各个所述区块；
[0025]判断各个所述目标区块链节点的总剩余存储空间，是否不小于选取出的各个所述区块的总存储空间；
[0026]若判断出各个所述目标区块链节点的总剩余存储空间不小于选取出的各个所述区块的总存储空间，则将选取出的各个所述区块分别存储到存在剩余存储空间的各个所述目标区块链节点中；
[0027]若判断出各个所述目标区块链节点的总剩余存储空间小于选取出的各个所述区块的总存储空间，则以选取出的各个所述区块的总存储空间为基准，按照所述访问频率升序的顺序，将各个所述目标区块链节点存储的多个所述区块剔除；
[0028]将选取出的各个所述区块存储至剔除区块后的各个所述目标区块链节点中。
[0029]可选地，在上述的数据管理方法中，还包括：
[0030]当接收到新目标区块链节点加入所述目标节点集群时，将各个所述目标区块链节点中的预设数量的区块转移至所述新目标区块链节点中进行存储。
[0031]本申请第二方面提供了一种数据管理装置，包括：
[0032]数据获取单元，用于获取待存储的目标数据；
[0033]计算单元，用于对所述目标数据哈希计算，得到所述目标数据对应的数据索引；
[0034]第一确定单元，用于基于所述目标数据对应的数据索引，通过哈希环从各个数据节点中确定出目标数据节点；
[0035]数据存储单元，用于将所述目标数据存储到所述目标数据节点中；
[0036]索引存储单元，用于将所述目标数据对应的数据索引存储至区块链的当前新区块中，并将所述当前新区块存储到全量节点中；
[0037]第一判断单元，用于判断目标节点集群中是否存在当前空闲节点；其中，所述目标节点集群由预先从所述区块链中选取出的多个目标区块链节点组成；所述当前空闲节点指代当前存在存储所述当前新区块的空间的所述区块链节点；
[0038]第一缓存单元，用于在判断出目标节点集群中存在所述当前空闲节点时，将所述
当前新区块至少存储在一个所述当前空闲节点中；
[0039]第二缓存单元，用于在判断出所述目标节点集群中不存在所述当前空闲节点时，将所述当前新区块替换至少一个所述目标区块链节点中的目标区块；其中，所述目标区块指代被访问频率满足预设条件或备份区块。
[0040]可选地，在上述的数据管理装置中，还包括：
[0041]索引获取单元，用于当接收到所述目标数据的查询请求时，获取所述目标数据对应的数据索引；
[0042]第一查找单元，用于基于所述目标数据对应的数据索引，查找所述目标节点集群中是否存在存储有当前待检索区块的所述目标区块链节点；其中，所述当前待检索区块指代存储有所述目标数据对应的数据索引的区块；
[0043]第二查找单元，用于在查找出所述目标节点集群中存在存储有当前待检索区块的所述目标区块链节点时，访问任意一个存储有所述当前待检索区块的所述目标区块链节点，以通过所述目标区块链节点，基于所述目标数据对应的数据索引，查找到所述目标数据节点；
[0044]第三查找单元，用于在查找出所述目标节点集群中不存在存储有当前待检索区块的所述目标区块链节点时，访问所述全量节点，以通过所述全量节点，基于所述目标数据对应的数据索引，查找到所述目标数据节点；
[0045]访问单元，用于访问所述目标数据节点，以从所述目标数据节点中获取到所述目标数据。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：获取待存储的目标数据；对所述目标数据哈希计算，得到所述目标数据对应的数据索引；基于所述目标数据对应的数据索引，通过哈希环从各个数据节点中确定出目标数据节点；将所述目标数据存储到所述目标数据节点中；将所述目标数据对应的数据索引存储至区块链的当前新区块中，并将所述当前新区块存储到全量节点中；判断目标节点集群中是否存在当前空闲节点；其中，所述目标节点集群由预先从所述区块链中选取出的多个目标区块链节点组成；所述当前空闲节点指代当前存在存储所述当前新区块的空间的所述区块链节点；若判断出目标节点集群中存在所述当前空闲节点，则将所述当前新区块至少存储在一个所述当前空闲节点中；若判断出所述目标节点集群中不存在所述当前空闲节点，则将所述当前新区块替换至少一个所述目标区块链节点中的目标区块；其中，所述目标区块指代被访问频率满足预设条件或备份区块。2.根据权利要求1所述的方法，其特征在于，还包括：当接收到所述目标数据的查询请求时，获取所述目标数据对应的数据索引；基于所述目标数据对应的数据索引，查找所述目标节点集群中是否存在存储有当前待检索区块的所述目标区块链节点；其中，所述当前待检索区块指代存储有所述目标数据对应的数据索引的区块；若查找出所述目标节点集群中存在存储有当前待检索区块的所述目标区块链节点，则访问任意一个存储有所述当前待检索区块的所述目标区块链节点，以通过所述目标区块链节点，基于所述目标数据对应的数据索引，查找到所述目标数据节点；若查找出所述目标节点集群中不存在存储有当前待检索区块的所述目标区块链节点，则访问所述全量节点，以通过所述全量节点，基于所述目标数据对应的数据索引，查找到所述目标数据节点；访问所述目标数据节点，以从所述目标数据节点中获取到所述目标数据。3.根据权利要求1所述的方法，其特征在于，还包括：每间隔预设时间长度，统计在当前的所述预设时间长度内所述区块链内的各个区块的访问频率；将各个所述区块按照所述访问频率进行降序排序，并选取出访问频率排序在前N位的各个所述区块；判断各个所述目标区块链节点的总剩余存储空间，是否不小于选取出的各个所述区块的总存储空间；若判断出各个所述目标区块链节点的总剩余存储空间不小于选取出的各个所述区块的总存储空间，则将选取出的各个所述区块分别存储到存在剩余存储空间的各个所述目标区块链节点中；若判断出各个所述目标区块链节点的总剩余存储空间小于选取出的各个所述区块的
总存储空间，则以选取出的各个所述区块的总存储空间为基准，按照所述访问频率升序的顺序，将各个所述目标区块链节点存储的多个所述区块剔除；将选取出的各个所述区块存储至剔除区块后的各个所述目标区块链节点中。4.根据权利要求1所述的方法，其特征在于，还包括：当接收到新目标区块链节点加入所述目标节点集群时，将各个所述目标区块链节点中的预设数量的区块转移至所述新目标区块链节点中进行存储。5.一种数据管理装置，其特征在于，包括：数据获取单元，用于获取待存储的目标数据；计算单元，用于对所述目标数据哈希计算，得到所述目标数据对应的数据索引；第一确定单元，用于基于所述目标数据对应的数据索引，通过哈希环从各个数据节点中确定出目标数据节点；数据存储单元，用于将所述目标数据存储到所述目标数据节点中；索引存储单元，用于将所述目标数...

【专利技术属性】
技术研发人员：洪宇坤，付昕，文国军，张浩瑀，黄雅男，田心茹，王子琦，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：