一种安全可靠的大数据存储系统及方法技术方案

本发明专利技术公开了一种安全可靠的大数据存储系统与方法，系统包括依次连接的前端采集设备、有线/无线传输设备和后端数据处理设备；前端采集设备包括数据采集模块和加密模块；有线/无线传输设备用于将加密数据发送至后端数据处理设备；后端数据处理设备包括解密模块、存储模块和指纹值数据库创建模块，存储模块实现加密后对对象进行通过内容比较的方式进行分段，得到多个数据片段，并建立对数据片段到对象的反相引用，或者上传数据片段并将所述指纹值更新至所述指纹值数据库。本发明专利技术在现有的加密解密的大数据系统之上，对数据存储进行改进，解决现有技术使用固定分块的形式，利用次数极少但是仍然占用大量空间，使得存储系统的整体利用率不高的问题。

【技术实现步骤摘要】
一种安全可靠的大数据存储系统及方法
本专利技术涉及一种安全可靠的大数据存储系统及方法。
技术介绍
云计算是一种全新的领先信息技术，结合IT技术和互联网实现超级计算和存储能力，而推动云计算兴起的动力是高速互联网和虚拟化技术的发展，更加廉价且功能强劲的芯片及硬盘、数据中心的发展。云计算可以看作是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。云计算涉及的关键技术有很多，包括：通信、大规模分布式存储技术、海量数据处理技术、资源管理、虚拟化技术等。大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据具有4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。内容寻址存储(ContentAddressedStorage，CAS)是由美国EMC公司2002年4月率先提出的针对固定内容存储需求的先进的网络存储技术。CAS具有面向对象存储特征，基于磁记录技术，它按照所存储数据内容的数字指纹寻址，具有良好的可搜索性、安全性、可靠性和扩展性。EMC同时推出了其CAS产品Centera，并成为CAS存储技术的代表性产品。之后，一些存储公司相继推出了相关的产品，使CAS技术备受关注。现有技术的加密操作并不进行双层加密，只在数据传输或者数据存储时进行加密。同时，现有技术的CAS，通常直接对对象进行固定分块的方式进行数据分片，采用该方式虽然可以节约分块的时间，然而如果是采用该种方法，会存在特别多固定分块，其利用次数极少但是仍然占用大量空间，使得存储系统的整体利用率不高，尤其是在大数据的基础上以及对于各种常用属性的组合的时候会产生上述问题。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种安全可靠的大数据存储系统及方法，采用双层加密操作，分别在数据传输之前以及数据存储之前进行加密，并且对数据存储进行改进。本专利技术的目的是通过以下技术方案来实现的：一种安全可靠的大数据存储系统，包括依次连接的前端采集设备、有线/无线传输设备和后端数据处理设备；所述的前端采集设备包括数据采集模块和加密模块，所述的数据采集模块用于采集数据，所述的加密模块用于对采集到的数据进行加密处理；所述的有线/无线传输设备用于将加密数据发送至后端数据处理设备；所述的后端数据处理设备包括解密模块、存储模块和指纹值数据库创建模块，所述的解密模块用于对接收到的数据进行解密处理，所述的存储模块实现将对象流中的对象进行加密后通过内容比较的方式进行分段，得到多个数据片段，并建立对数据片段到对象的反相引用，或者上传数据片段并将所述指纹值更新至所述指纹值数据库；所述的指纹值数据库创建模块用于获取大量与待存储数据类型相同的数据，对数据进行与存储模块相同的加密后再进行不同长度的分段，得到多组数据片段，计算数据片段的指纹值并上传至指纹值数据库；所述的存储模块包括：加密单元：用于对待存储的文件进行加密，并将加密后得到的对象发送至比较组获取单元；其中，加密前的文件为F＝(d1,d2,......,dN)，是包含N个消息的串，加密后的文件为F'＝(e1,e2,......,eN+1)，ei为di加密后的消息，其中加密的消息I为初始向量，EK(i)表示基于密钥的加密算法，eN+1表示之前所有加密消息e1,e2,......,eN的密钥K和哈希的异或函数，即其中H(i)是加密算法；比较组获取单元：用于获取比较组，所述的比较组为对象的第m位至m+X位；其中，m为比较组的初始位，m的初始值为0，X为固定步长；比较组指纹值计算单元：用于计算比较组对应的指纹值；映射关系对应表生成单元：用于对比较组指纹值计算单元计算得到的指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；判断与处理单元：用于调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值：(1)如果能够对应：则将缓存中的指纹值进行更新，将比较组更新为m～m+X+p*n位，同时返回比较组获取单元，其中p为m未更新的情况下的能够对应的总次数，n为每次能够对应后增加的增加步长；(2)如果不能够对应，则进一步判断缓存中是否存在指纹值：如果缓存中存在指纹值，则建立所述指纹值对应的数据片段到所述对象的反向引用，同时清空缓存，将比较组的初始位m更新为m+X+(p-1)*n+1，完成后返回比较组获取单元；如果缓存中不存在指纹值，则上传所述对象的前X位的数据片段，并将对应的指纹值更新至所述指纹值数据库，将比较组的初始位m更新为m+X+1，完成后返回比较组获取单元；结束判断单元：用于判断是否完成整个对象的分段，如果是则结束。所述的后端数据处理设备还包括：数据分析模块，用于对数据存储的数据按照模型进行分析。所述的存储模块还包括一个长度判断与数据处理单元：如果对象的最后一位大于m+X，则进入比较组获取单元；否则：直接计算m位～对象最后一位的指纹值；按照计算得到的指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值：如果是，则建立所述指纹值对应的数据片段到所述对象的反向引用；如果否，则上传所述指纹值对应的数据片段，并将所述指纹值更新至所述指纹值数据库。所述的存储模块还包括一个对象头/尾判断单元：用于判断对象头/尾是否与为指纹值数据库中常用的数据头/尾，如果是则快速获取指纹值并建立所述指纹值对应的数据片段到所述对象的反向引用，并去掉常用的数据头/尾后进入比较组获取单元。所述的比较组限制有最大值Y，当在能够对应的同时，满足X+p*n小于等于Y而X+(p+1)*n大于Y，则直接进入不能够对应并且缓存中存在指纹值的情况。一种安全可靠的大数据存储方法，包括存储步骤和指纹值数据库创建步骤，所述的存储步骤包括以下子步骤：S1：前端采集设备的数据采集模块采集数据，前端采集设备的加密模块对采集到的数据进行加密处理；S2：有线/无线传输设备将加密数据发送至后端数据处理设备；S3：后端数据处理设备的解密模块对接收到的数据进行解密处理，后端数据处理设备的存储模块对数据进行存储，包括以下子步骤：S31：接收待存储的数据，在进行加密操作得到对象后进入步骤S32；其中，加密前的文件为F＝(d1,d2,......,dN)，是包含N个消息的串，加密后的文件为F'＝(e1,e2,......,eN+1)，ei为di加密后的消息，其中加密的消息I为初始向量，EK(i)表示基于密钥的加密算法，eN+1表示之前所有加密消息e1,e2,......,eN的密钥K和哈希的异或函数，即其中H(i)是加密算法；S32：将对象流中的对象进行通过内容比较的方式进行分段，得到多个数据片段，并建立对数据片段到对象的反相引用，或者上传数据片段并将所述指纹值更新至所述指纹值数据库，包括以下子步骤：S321：获取比较组，所述的比较组为对象的第m位至m+X位；其中，m为比较组的初始位，m的初始值为0，X为固定步长；S322：计算比较组对应的指纹值；S323：按照步骤S322本文档来自技高网...

【技术保护点】
一种安全可靠的大数据存储系统，其特征在于：包括依次连接的前端采集设备、有线/无线传输设备和后端数据处理设备；所述的前端采集设备包括数据采集模块和加密模块，所述的数据采集模块用于采集数据，所述的加密模块用于对采集到的数据进行加密处理；所述的有线/无线传输设备用于将加密数据发送至后端数据处理设备；所述的后端数据处理设备包括解密模块、存储模块和指纹值数据库创建模块，所述的解密模块用于对接收到的数据进行解密处理，所述的存储模块实现将对象流中的对象进行加密后通过内容比较的方式进行分段，得到多个数据片段，并建立对数据片段到对象的反相引用，或者上传数据片段并将所述指纹值更新至所述指纹值数据库；所述的指纹值数据库创建模块用于获取大量与待存储数据类型相同的数据，对数据进行与存储模块相同的加密后再进行不同长度的分段，得到多组数据片段，计算数据片段的指纹值并上传至指纹值数据库；所述的存储模块包括：加密单元：用于对待存储的文件进行加密，并将加密后得到的对象发送至比较组获取单元；其中，加密前的文件为F＝(d

【技术特征摘要】
1.一种安全可靠的大数据存储系统，其特征在于：包括依次连接的前端采集设备、有线/无线传输设备和后端数据处理设备；所述的前端采集设备包括数据采集模块和加密模块，所述的数据采集模块用于采集数据，所述的加密模块用于对采集到的数据进行加密处理；所述的有线/无线传输设备用于将加密数据发送至后端数据处理设备；所述的后端数据处理设备包括解密模块、存储模块和指纹值数据库创建模块，所述的解密模块用于对接收到的数据进行解密处理，所述的存储模块实现将对象流中的对象进行加密后通过内容比较的方式进行分段，得到多个数据片段，并建立对数据片段到对象的反相引用，或者上传数据片段并将所述指纹值更新至所述指纹值数据库；所述的指纹值数据库创建模块用于获取大量与待存储数据类型相同的数据，对数据进行与存储模块相同的加密后再进行不同长度的分段，得到多组数据片段，计算数据片段的指纹值并上传至指纹值数据库；所述的存储模块包括：加密单元：用于对待存储的文件进行加密，并将加密后得到的对象发送至比较组获取单元；其中，加密前的文件为F＝(d1,d2,......,dN)，是包含N个消息的串，加密后的文件为F'＝(e1,e2,......,eN+1)，ei为di加密后的消息，其中加密的消息I为初始向量，EK(i)表示基于密钥的加密算法，eN+1表示之前所有加密消息e1,e2,......,eN的密钥K和哈希的异或函数，即其中H(i)是加密算法；比较组获取单元：用于获取比较组，所述的比较组为对象的第m位至m+X位；其中，m为比较组的初始位，m的初始值为0，X为固定步长；比较组指纹值计算单元：用于计算比较组对应的指纹值；映射关系对应表生成单元：用于对比较组指纹值计算单元计算得到的指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；判断与处理单元：用于调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值：(1)如果能够对应：则将缓存中的指纹值进行更新，将比较组更新为m～m+X+p*n位，同时返回比较组获取单元，其中p为m未更新的情况下的能够对应的总次数，n为每次能够对应后增加的增加步长；(2)如果不能够对应，则进一步判断缓存中是否存在指纹值：如果缓存中存在指纹值，则建立所述指纹值对应的数据片段到所述对象的反向引用，同时清空缓存，将比较组的初始位m更新为m+X+(p-1)*n+1，完成后返回比较组获取单元；如果缓存中不存在指纹值，则上传所述对象的前X位的数据片段，并将对应的指纹值更新至所述指纹值数据库，将比较组的初始位m更新为m+X+1，完成后返回比较组获取单元；结束判断单元：用于判断是否完成整个对象的分段，如果是则结束。2.根据权利要求1所述的一种安全可靠的大数据存储系统，其特征在于：所述的后端数据处理设备还包括：数据分析模块，用于对数据存储的数据按照模型进行分析。3.根据权利要求1所述的一种安全可靠的大数据存储系统，其特征在于：所述的存储模块还包括一个长度判断与数据处理单元：如果对象的最后一位大于m+X，则进入比较组获取单元；否则：直接计算m位～对象最后一位的指纹值；按照计算得到的指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值：如果是，则建立所述指纹值对应的数据片段到所述对象的反向引用；如果否，则上传所述指纹值对应的数据片段，并将所述指纹值更新至所述指纹值数据库。4.根据权利要求1所述的一种安全可靠的大数据存储系统，其特征在于：所述的存储模块还包括一个对象头/尾判断单元：用于判断对象头/尾是否与为指纹值数据库中常用的数据头/尾，如果是则快速获取指纹值并建立所述指纹值对应的数据片段到所述对象的反向引用，并去掉常用的数据头/尾后进入比较组获取单元。5.根据权利要求1所述的一种安全可靠的大数据存储系统，其特征在于：所述的比较组限制有最大值Y，当在能够对应的同时，满足X+p*n小于等于Y而X+(p+1)*n大于Y，...

【专利技术属性】
技术研发人员：王纯斌，辛凯，赵神州，
申请(专利权)人：成都四方伟业软件股份有限公司，
类型：发明
国别省市：四川,51