一种超融合虚拟存储的处理方法、装置及系统制造方法及图纸

本申请公开了一种基于超融合的虚拟存储处理方案。客户端对需上传存储的目标数据进行切片后，通过预设算法获取各切片文件指纹信息，并将各切片文件指纹信息发送给超融合虚拟存储的服务主节点，主节点根据各切片文件指纹信息，确定各对应切片文件是否需要在从节点上传存储及在各服务从节点的存储位置，客户端可自行加密切片文件上传到对应的从节点位置进行存储。各从节点存储的是各用户通过不同加密方式加密后的切片文件，本申请的方案在保证存储文件具有最大复用的同时，提高了超融合数据存储中数据存储的安全性、可靠性、高效性。高效性。高效性。

【技术实现步骤摘要】
一种超融合虚拟存储的处理方法、装置及系统


[0001]本申请涉及数据存储
，具体而言，涉及一种超融合虚拟存储的处理方法、装置及系统。

技术介绍

[0002]超融合平台架构是采用的主要技术为分布式集群部署，其将每个计算节点上的存储能力和计算能力进行融合，使超融合平台具有有高可用的计算能力及安全、高可用的存储能力。超融合的虚拟存储是超融合系统平台架构最为重要的构建组件之一，其将多个节点是通过网络聚合起来形成数据超融合存储，其对目标数据进行预设统一处理存储，然后再进行优化各个节点的数据
[0003]在现有技术中，若用户使用自己的密钥加密使得数据加密随机化，则导致数据复用性不高，一定程度造成存储资源的浪费，而且随着数据的不断增加，也会带来节点的数据存储及处理压力。如果采用收敛方式对数据加密，则通过暴力破解，也能恢复明文，存储数据安全性也有待提高。因此，面对海量的存储数据，如何让海量数据最大化复用，及如何提供安全、可靠、高效的数据存储，是超融合虚拟存储所面临的及需要解决、优化的重要问题之一。

技术实现思路

[0004]基于此，针对现有存在的上述问题，本申请提出了基于超融合的虚拟存储处理方法、装置及系统，以提高超融合数据存储中数据复用、及提高数据存储中安全性、可靠性、高效性。
[0005]有鉴于此，本申请第一方面提供了一种超融合虚拟存储的处理方法，所述方法应用于存储服务端的主节点，所述存储服务端还包括多个从节点，其特征在于，所述方法包括：
[0006]所述主节点接收客户端发送的请求信息；
[0007]若所述请求信息为数据存储请求，则获取目标数据文件的第一目标信息，所述第一目标信息包括各切片的文件指纹信息及第一密钥信息，根据所述各切片的指纹信息及第一密钥信息建立所述目标数据文件的初始第一meta信息；
[0008]将所述各文件指纹信息分成第一指纹信息和第二指纹信息；
[0009]根据第二met a信息获取各第二指纹信息对应切片文件的从节点位置及第二密钥信息，并更新所述第一meta信息；
[0010]确定各第一指纹信息对应的切片应存储的目标从节点位置，根据各目标从节点位置更新所述第一met a信息，并将各第一指纹信息的文件指纹信息及其对应的目标从节点位置信息发送给所述客户端。
[0011]具体地，所述根据第二met a信息将所述各文件指纹信息分成第一指纹信息和第二指纹信息，包括：逐一将各切片的文件指纹信息与第二met a信息中各指纹信息进行匹
配，若未匹配成功，则当前文件指纹信息属于第一指纹信息，否则，属于第二指纹信息。
[0012]进一步地，将各第一指纹信息的文件指纹信息及其对应的目标从节点位置信息发送给所述客户端之后，所述方法还包括：
[0013]接收各从节点发送的对应存储位置存储反馈信息，根据各反馈信息向所述客户端发送存储结果。
[0014]进一步地，所述根据第二met a信息获取各第二指纹信息对应切片文件的从节点位置及第二密钥信息，并更新所述第一meta信息，包括：
[0015]查询各第二指纹信息对应的第二密钥信息及对应的各切片文件副本所在从节点的存储位置，将各切片文件副本所在从节点的存储位置添加到所述第一met a中对应文件指纹信息，并根据各所述第二密钥信息更改对应文件指纹信息的第一密钥信息。
[0016]进一步地，所述方法还包括：若所述请求信息为数据读取请求，则根据需读取数据对应各切片副本的存储位置信息，计算各切片文件副本最优读取组合位置信息，并根据需读取数据的主密钥信息及各指纹信息对应的密钥信息，确定各指纹信息对应的目标密钥信息；将副本最优读取组合位置信息、各切片指纹信息、各指纹信息对应的目标密钥信息及主密钥信息。
[0017]本申请第二方面提供了一种应用于客户端的超融合虚拟存储的处理方法，其特征在于，所述方法包括：
[0018]对目标数据进行切片操作，将所述目标数据分成多个初始切片文件；
[0019]根据预设算法获取所述多个初始切片文件的多个文件指纹信息；
[0020]选择目标数据的加密方式，通过所述加密方式对所述多个初始切片文件进行加密，得到多个加密切片文件，并获取对应的第一密钥信息；
[0021]将所述多个文件指纹信息及所述第一密钥信息发送给目标主节点；
[0022]接收所述目标主节点发送的各切片文件对应的目标存储节点位置信息，并将所述多个切片文件分别上传到对应的目标存储节点位置进行存储。
[0023]进一步地，所述方法还包括：
[0024]向所述目标主节点发送目标数据读取请求；接收所述目标主节点发送的各切片对应的读取位置信息、各切片指纹信息及各指纹信息对应的目标密钥信息；根据各所述读取位置信息向对应的各存储节点发送读取请求，并接收所述各存储节点发送的各切片文件，解密并组合切片文件，得到所述目标读取数据。
[0025]本申请第三方面提供了一种超融合虚拟存储的处理装置，所述装置包括一个或多个处理单元，存储单元，所述存储单元存储有计算机程序，使得所述一个或多个处理单元执行上述任一项所述的方法。
[0026]本申请第四方面提供了一种基于超融合的虚拟存储处理系统，所述系统包括如上述超融合虚拟存储的处理装置，使得所述系统执行上述任一项所述超融合虚拟存储的处理方法的步骤。
[0027]本申请第五方面提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任一项所述超融合虚拟存储的处理方法的步骤。
[0028]本申请方案中，客户端对需上传存储的目标数据进行切片后，通过预设算法获取
各切片文件指纹信息，并将各切片文件指纹信息发送给超融合虚拟存储的服务主节点，主节点根据各切片文件指纹信息，确定各对应切片文件是否需要在从节点上传存储及在各服务从节点的存储位置，并将需要上传存储的切片文件信息反馈给客户端，客户端根据该信息将对应的加密切片文件上传到对应的从节点位置进行存储。本申请方案中通过对上传原始目标数据各切片文件指纹信息到主节点处理，提高了相同内容文件特别是部分内容相同文件各切片文件的复用性。同时，各用户可以自行选择加密方式对切片文件进行加密，各从节点存储的是各用户通过不同加密方式加密后的切片文件，确保了数据的安全可靠性，主节点根据各切片的存储信息，建立并更新各切片文件的存储位置及密钥信息，并且对密钥信息进行处理发送给客户端，使得在保证存储文件具有最大复用的情况下，提高了超融合数据存储中数据存储的安全性、可靠性、高效性。
附图说明
[0029]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]其中：
[0031]图1为一个实施例中的超融合虚拟存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超融合虚拟存储的处理方法，应用于存储服务端的主节点，所述存储服务端还包括多个从节点，其特征在于，所述方法包括：所述主节点接收客户端发送的请求信息；若所述请求信息为数据存储请求，则获取目标数据文件的第一目标信息，所述第一目标信息包括各切片的文件指纹信息及第一密钥信息，根据所述各切片的指纹信息及第一密钥信息建立所述目标数据文件的初始第一meta信息，将所述第一密钥信息作为目标数据的主密钥信息；将所述各文件指纹信息分成第一指纹信息和第二指纹信息；根据第二met a信息获取各第二指纹信息对应切片文件的从节点位置及第二密钥信息，并更新所述第一meta信息；确定各第一指纹信息对应的切片副本应存储的目标从节点位置，根据各目标从节点位置更新所述第一met a信息，并将各第一指纹信息的文件指纹信息及其对应的目标从节点位置信息发送给所述客户端。2.根据权利要求1所述的方法，其特征在于，根据第二met a信息将所述各文件指纹信息分成第一指纹信息和第二指纹信息，包括：逐一将各切片的文件指纹信息与第二met a信息中各指纹信息进行匹配，若匹配成功，则当前文件指纹信息属于第一指纹信息，否则，属于第二指纹信息。3.根据权利要求1所述的方法，其特征在于，将各第一指纹信息的文件指纹信息及其对应的目标从节点位置信息发送给所述客户端，之后，所述方法还包括：接收各从节点发送的对应存储位置存储反馈信息，根据各反馈信息向所述客户端发送存储结果。4.根据权利要求1所述的方法，其特征在于，所述根据第二met a信息获取各第二指纹信息对应切片文件的从节点位置及第二密钥信息，并更新所述第一meta信息，包括：查询各第二指纹信息对应的第二密钥信息及对应的各切片文件副本所在从节点的存储位置，将各切片文件副本所在从节点的存储位置添加到所述第一met a中对应文件指纹信息，并根据各所述第二密钥信息更改对应文件指纹信息的第一密钥信息。5.根据权利要求1所述的方法，其特征在于，所述方...

【专利技术属性】
技术研发人员：侯杰仁，陈鹏，杨俊，杨文杰，杨权林，
申请(专利权)人：国家电投集团重庆狮子滩发电有限公司，
类型：发明
国别省市：