加密数据文件存储和检索系统及方法技术方案

本发明专利技术公开加密数据文件存储和检索方法，包含：数据文件提取内容元数据后进行加密生成加密数据文件存储于云存储系统的存储设备；内容元数据添加数据文件在加密状态下的文件全局标识符后存储于云存储系统的内容元数据库；检索云存储系统中存储的加密数据文件时，通过倒排索引方法检索内容元数据库获得与检索关键词匹配的文件全局标识符，列出该文件全局标识符对应的加密数据文件的属性信息和内容信息作为检索结果。本发明专利技术在数据文件加密前提取内容元数据，内容元数据中添加文件在加密状态下的文件全局标识符，通过文件全局标识符检索存储在云存储系统的加密数据文件，保障数据文件在云存储环境中的安全性和隐私性同时，保障数据文件检索的便利性。

【技术实现步骤摘要】

本专利技术涉及信息安全
，具体涉及一种基于云存储系统的加密数据文件存储和检索系统及方法。
技术介绍
相比传统的数据文件存储方式，云存储技术具有很多的优势：（1）成本低廉，传统方式下，用户需要购买大量的服务器、硬盘等基础设备，而且还需要定期对设备进行升级，而在云存储环境中，用户不再需要购买这些基础设备，一方面节省了购买基础设备的成本，另一方面也减少了维护的费用；（2）伸缩性好，对于中小企业来说，前期很难估算需要的存储容量大小，而云存储可以很好的解决这一问题，前期可以根据当前需要购买满足需求的存储容量，当业务增长，数据量增多时，可以动态的增加存储容量而不影响之前的数据；（3）数据自动备份，为了数据安全，很多用户都会将数据进行备份，而备份往往比较繁琐而且存在备份数据安全和完整性保护问题，云存储供应商一般给数据文件提供两个或两个以上的副本，充分保证数据文件的高可用性，从而将用户从数据备份的烦恼中解救出来；（4）故障自动切换，传统的存储系统升级时，需要将数据从旧的存储中迁移到别的存储服务器上，等新的存储服务器上线之后，再将数据迁移回来，一方面会造成服务的中断，另一方面也会带来数据丢失的风险，而在云存储环境中这些问题都将不复存在，系统检测到异常时，会自动将服务切换到可用的冗余存储集群上，而不影响正常的服务，更不会丢失数据。虽然云存储具有诸多的优势，但也存在一些不足，尤其突出的一点是越来越多的用户担心：自己的数据存储在由他人管理和控制的云存储系统环境中，有可能泄露数据的内容，给个人和公司带来损失。目前解决此类问题的方法是将数据以加密的形式存储在云存储系统中。虽然将数据文件加密存储，可以保护数据文件的隐私性和安全性，但是同时也带来了一个问题：在很多场景下，用户需要根据一些特定的内容来检索数据文件，如果数据文件加密了，就导致无法检索，或者检索速度缓慢。
技术实现思路
本专利技术提供一种加密数据文件存储和检索系统及方法，解决加密数据文件检索困难和检索速度慢的问题，能够在数据文件处于加密状态的基础上，快速的检索出所需的加密数据文件信息。为实现上述目的，本专利技术提供一种加密数据文件存储和检索系统，其特点是，该系统包含：云存储系统，其包含服务器端和存储设备；服务器端包含用户身份认证模块、内容元数据提取模块、元数据管理系统、数据文件加密模块、信息检索模块；元数据管理系统下接并管理内容元数据库、系统元数据库和存储元数据库；存储设备，其用于存储数据文件，数据文件包含加密数据文件和明文数据文件；客户端，其包含内容元数据提取模块和数据文件加密模块。一种加密数据文件存储和检索方法，其特点是，该方法包含：客户端或云存储系统服务器端提取数据文件的内容元数据后进行加密生成加密数据文件，加密数据文件及对应的内容元数据分别存储于云存储系统的存储存储设备和服务器端的内容元数据库中；内容元数据包含数据文件的属性信息和内容信息，以及数据文件在加密状态下的文件全局标识符；检索云存储系统中存储的加密数据文件时，服务端的加密数据文件检索模块通过倒排索引方法，在服务器端的内容元数据库中检索获得与检索关键词匹配的数据文件在加密状态下的文件全局标识符，列出该文件全局标识符对应的加密数据文件的属性信息和内容信息作为检索结果返回。上述客户端提取数据文件的内容元数据后进行加密生成加密数据文件的方法包含：客户端提取数据文件的内容元数据；客户端加密已提取内容元数据的数据文件，生成加密数据文件；客户端将加密数据文件及对应的内容元数据上传至云存储系统服务器端。上述云存储系统服务器端提取数据文件的内容元数据后进行加密生成加密数据文件的方法包含：客户端将数据文件上传至云存储系统服务器端；云存储系统服务器端提取数据文件的内容元数据；云存储系统服务器端对已提取内容元数据的数据文件加密，生成加密数据文件。上述提取数据文件的内容元数据包含：客户端或云存储系统服务器端的內容元数据提取模块根据数据文件的特性，对数据文件内容做初步的分析，提取能体现数据文件特性的属性信息和内容信息，并将数据文件加密后的文件全局标识符添加到内容元数据中。上述提取数据文件的内容元数据后，客户端可对存储于云存储系统服务器端内容元数据库中的内容元数据进行修改。上述云存储系统服务器端将加密数据文件分布式存储在云存储系统的存储设备，并将内容元数据存储于云存储系统的内容元数据库中。上述检索云存储系统服务器端中存储的加密数据文件包含：客户端发送包含检索关键词的检索请求，云存储系统分析检索请求确定检索请求中检索关键词内容的合法性；云存储系统的信息检索模块通过倒排索引方法对内容元数据库进行匹配查询，获取与检索关键词匹配的数据文件在加密状态下的文件全局标识符和文件全局标识符对应的数据文件的属性信息和内容信息作为检索结果；信息检索模块将检索结果进行排序后发送至客户端。上述客户端根据检索结果，可选择下载检索结果中所列的文件全局标识符对应的加密数据文件；若加密数据文件是在客户端加密则云存储系统直接将加密数据文件传到用户客户端，由客户端进行解密；若加密数据文件是在云存储系统服务器端加密，则由云存储系统服务器端将加密数据文件解密后传到客户端。上述加密数据文件的检索方法还包含倒排索引方法的优化方法，该倒排索引方法的优化方法包含：经过垂直分割和水平移动，使数据文件内容元数据的倒排索引矩阵的零元素移到矩阵的底部和右部；再经过分块聚类，将原来的高维稀疏矩阵转变为若干个低维稠密矩阵；对内容元数据检索时，将优化的稀疏矩阵中若干个的低维矩阵分别送到云存储系统中的不同处理单元进行并行处理。本专利技术加密数据文件存储和检索系统及方法和现有技术的加密数据文件存储和检索技术相比，其优点在于，本专利技术建立了一种新型的内容元数据结构，保证用户从多角度、多方位对加密数据文件的检索，保障了数据文件在云存储环境中的安全性和隐私性同时，保障了数据文件检索的便利性；本专利技术中数据文件都是以加密方式保存在云存储系统中，即使得到加密的数据文件，没有解密密钥，数据文件也不会泄露；本专利技术设计一种适合于内容元数据检索的新型倒排索引方法，能够根据用户在客户端提供的关键词信息在云存储系统中快速检索出对应的加密数据文件，保证了用户加密数据文件检索的效率和精度，解决了云存储等大数据环境中的加密数据文件检索难或检索速度慢的问题；本专利技术对于云存储系统中的加密数据文件和明文数据文件的检索同样适用，都能达到快速检索并返回检索结果的目的。附图说明图1为本专利技术加密数据文件存储和检索方法的流程示意图；图2为三种元数据关系图；图3为内容元数据结构图；图4为存储元数据结构图；图5为一种基于云存储系统的加密数据文件存储和检索方法实施例的方法流程图；图6为加密数据文件的检索模型图；图7为内容元数据的倒排索引示意图；...

【技术保护点】
一种加密数据文件存储和检索系统，其特征在于，该系统包含：云存储系统，其包含服务器端和存储设备；所述的服务器端包含用户身份认证模块、内容元数据提取模块、元数据管理系统、数据文件加密模块、信息检索模块；所述的元数据管理系统下接并管理内容元数据库、系统元数据库和存储元数据库；所述的存储设备，其用于存储数据文件，数据文件包含加密数据文件和明文数据文件；客户端，其包含内容元数据提取模块和数据文件加密模块。

【技术特征摘要】
1.一种加密数据文件存储和检索系统，其特征在于，该系统包含：
云存储系统，其包含服务器端和存储设备；所述的服务器端包含用户身份认证模块、内容元数据提取模块、元数据管理系统、数据文件加密模块、信息检索模块；所述的元数据管理系统下接并管理内容元数据库、系统元数据库和存储元数据库；所述的存储设备，其用于存储数据文件，数据文件包含加密数据文件和明文数据文件；
客户端，其包含内容元数据提取模块和数据文件加密模块。
2.一种加密数据文件存储和检索方法，其特征在于，该方法包含：
客户端或云存储系统服务器端提取数据文件的内容元数据后进行加密生成加密数据文件，加密数据文件及对应的内容元数据分别存储于云存储系统的存储存储设备和服务器端的内容元数据库中；内容元数据包含数据文件的属性信息和内容信息，以及数据文件在加密状态下的文件全局标识符；
检索云存储系统中存储的加密数据文件时，服务端的加密数据文件检索模块通过倒排索引方法，在服务器端的内容元数据库中检索获得与检索关键词匹配的数据文件在加密状态下的文件全局标识符，列出该文件全局标识符对应的加密数据文件的属性信息和内容信息作为检索结果返回。
3.如权利要求2所述加密数据文件存储和检索方法，其特征在于，所述客户端提取数据文件的内容元数据后进行加密生成加密数据文件的方法包含：
客户端提取数据文件的内容元数据；
客户端加密已提取内容元数据的数据文件，生成加密数据文件；
客户端将加密数据文件及对应的内容元数据上传至云存储系统服务器端。
4.如权利要求2所述加密数据文件存储和检索方法，其特征在于，所述云存储系统服务器端提取数据文件的内容元数据后进行加密生成加密数据文件的方法包含：
客户端将数据文件上传至云存储系统服务器端；
云存储系统服务器端提取数据文件的内容元数据；
云存储系统服务器端对已提取内容元数据的数据文件加密，生成加密数据文件。
5.如权利要求2或3或4所述加密数据文件存储和检索方法，其特征在于，所述提取数据文件的内容元数据包含：客户端或云存储系统服务器端的內容元数据提取...

【专利技术属性】
技术研发人员：韩德志，毕坤，戴永涛，陈付梅，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：上海;31