一种基于HBase的海量图片存储方法及其实现系统技术方案

本发明专利技术涉及一种基于HBase的海量图片存储方法及其实现系统，该方法为：对超过HBase数据库存储数据块HFile的大小的图片进行分割，并对提取出的图片的颜色直方图的特征向量进行加密，该方法的实现系统为：包括图片分割模块、特征提取模块、加密模块、存储模块，所述图片分割模块用于对超过HBase数据库存储数据块大小的图片进行分割；所述特征提取模块用于提取图片特征值，计算图片的颜色直方图；所述加密模块用于对颜色直方图的特征向量进行加密；所述存储模块用于将加密后的数据生成HFile文件，存入HBase数据库。实现了快速上传并安全存储要上传的图片，防止其他非法用户对图片的读取，实现对图片的高效安全存储。

【技术实现步骤摘要】
一种基于HBase的海量图片存储方法及其实现系统
本专利技术涉及一种基于HBase的海量图片存储方法及其实现系统，属于大数据存储领域。
技术介绍
伴随着计算机网络的发展,海量数据的时代已经到来，视频、图片等非结构化数据在整个数据集中占有着超过80％的空间,而这所有的数量集都有可能被计算处理。对于如此大数据集的分析、管理和挖掘,传统技术包括传统关系数据库是无法胜任的,现阶段主流的数据库工具处理的结构化数据在GB级别,分析大数据集时力不从心,并且目标数据量的处理需求一直在增长,传统技术无法适应这种扩展性。从拥有数据到预判需求,当务之急是最快最好的分析和理解这些数据。目前，在已拥有的技术和工具中,最成熟也最成功的一套大数据解决方案为Hadoop文件存储计算框架及构架于其上的相关组件，例如分布式数据库HBase。HBase–HadoopDatabase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。目前HBase针对图片存储的解决方案主要有两种：第一种方案是基于HDFS的HBase图片存储解决方案，HDFS是HadoopDistributedFileSystem的简称，是Hadoop分布式文件系统，此方案通过将非结构化的图片数据保存到HDFS中，而将图片文件的索引存储在HBase中。仅仅让HBase管理容量较小的图片文件的索引，减少了HBase中对于图片等大对象数据频繁Split(分裂)和Compaction(合并)的触发，提高HBase的写性能。另外一种方案是直接将图片数据以字节的形式存储到HBase中。这种方法的优点是实现简单，也方便对数据进行管理。每个用户保存在HBase中的图片都是私人信息，但是，目前存在的这两种针对图片存储的解决方案都无法解决图片存储的安全性问题，无法防止其他用户的随机访问。中国专利文献CN104199899A公开了一种基于Hbase的海量图片存储方法及装置，包括：读取预设大小的结构化文本信息，并创建一个Mapfile文件；其中，结构化文本信息为图片的属性信息与图片的原始索引信息；确定读取的预设大小的结构化文本信息所对应的各个图片，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中；将读取的预设大小的结构化文本信息中的各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中。但是，该专利只涉及将图片的结构化文本信息保存到一个指定的Mapfile文件中，与上述第二种方案类似，未能解决图片存储的安全性问题。
技术实现思路
针对现有技术的不足，本专利技术公开了一种基于HBase的海量图片存储方法；本专利技术还公开了上述方法的实现系统；本专利技术通过对用户上传的图片进行加密并且结合Hadoop的分布式计算框架MapReduce，实现将用户的私人图片安全、高效的上传到HBase数据库。本专利技术的技术方案如下：一种基于HBase的海量图片存储方法，具体步骤包括：(1)判断每一张要上传的图片是否超过HBase数据库存储数据块HFile的大小，如果未超过，则进入步骤(2)；如果超过，则对图片进行分割，直至未超过HBase数据库存储数据块HFile的大小；(2)提取图片特征值,所述图片特征值包括色彩、饱和度，计算图片的颜色直方图；(3)对步骤(2)得到的颜色直方图的特征向量进行加密，利用同态加密算法对图片特征值进行加密；(4)将加密后的数据生成HFile文件，存入HBase数据库。提取图片特征值，计算图片的颜色直方图,方便以后用户检索图片时对上传图片与HBase数据库中的图片的相似度进行比较。根据本专利技术优选的，计算图片的颜色直方图，具体是指：颜色量化，即将图片的颜色空间划分成若干个小的颜色区间，每个小的颜色区间成为颜色直方图的一个bin；计算颜色落在每个小的颜色区间内的像素数量得到颜色直方图。根据本专利技术优选的，所述利用同态加密算法对图片特征值进行加密，所述同态加密算法是指Paillier算法，具体步骤包括：a、随机的选取两个素数p和q，且满足pq和(p-1)(q-1)的最大公约数为1；b、设n＝pq,计算n，λ＝lcm(p-1,q-1)，λ为(p-1)与(q-1)的最小公倍数，函数lcm用来求取两数的最小公倍数；c、选取随机数g，是指所有与n2互为素数的整数，计算私钥中的一个参数μ，计算公式如下；μ＝(L(gλmodn2))-1modn式中，tmodt’表示t对t’求余数，函数L的定义为L(s)＝(s-1)/n,此时，公钥为(n,g)，私钥为(λ,μ)；d、Paillier加解密：对于明文m，m∈Zn，m表示明文，即需要加密的原始数据，也即步骤(2)所述颜色直方图的特征向量；Zn表示所有与n互为素数的整数，并选择随机数r，则加密过程为：c＝gm·rnmodn2，其中，c表示加密后的密文；解密过程为：m＝L(cλmodn2)·μmodn。同态加密中，对加密后的数据进行加法或者乘法操作后进行解密，与直接对未加密的数据进行同样的加法或者乘法操作后得到的结果相同。根据本专利技术优选的，所述对图片进行分割，具体是指，将图片分割成大小均等的若干个切片，切片的大小与HBase数据库存储数据块HFile的大小的差t满足|t|≦s，s＝5kb，将分割后的所有切片保存到同样的行健、列族中，HBase数据库按照切片的顺序自动打上时间戳并保存。上述方法的实现系统，包括图片分割模块、特征提取模块、加密模块、存储模块，所述图片分割模块用于对超过HBase数据库存储数据块大小的图片进行分割；所述特征提取模块用于提取图片特征值，计算图片的颜色直方图；所述加密模块用于对颜色直方图的特征向量进行加密；所述存储模块用于将加密后的数据生成HFile文件，存入HBase数据库。本专利技术的有益效果为：本专利技术对超过HBase数据库存储数据块HFile的大小的图片进行分割，提取出图片的特征值，并对提取出的图片的颜色直方图的特征向量进行加密存储，实现了快速上传并安全存储要上传的图片，防止其他非法用户对图片的读取，实现对图片的高效安全存储。附图说明图1为本专利技术所述一种基于HBase的海量图片存储方法流程图；图2为本专利技术所述一种基于HBase的海量图片存储方法的实现系统示意图。具体实施方式下面结合说明书附图和实施例对本专利技术作进一步限定，但不限于此。实施例1一种基于HBase的海量图片存储方法，具体步骤包括：(1)判断每一张要上传的图片是否超过HBase数据库存储数据块HFile的大小，如果未超过，则进入步骤(2)；如果超过，则对图片进行分割，直至未超过HBase数据库存储数据块HFile的大小；(2)提取图片特征值,所述图片特征值包括色彩、饱和度，计算图片的颜色直方图；(3)对步骤(2)得到的颜色直方图的特征向量进行加密，利用同态加密算法对图片特征值进行加密；(4)将加密后的数据生成HFile文件，存入HBase数据库。提取图片特征值，计算图片的颜色直方图,方便以后用户检索图片时对上传图片与HBase数据库中的图片的相似度进行比较。实施例2根据实施例1所述图片存储方法，其区别在于，计算图片的颜色直方图，具体是指：颜色量化，即将图片的颜色空间划分成若本文档来自技高网...

【技术保护点】
一种基于HBase的海量图片存储方法，其特征在于，具体步骤包括：(1)判断每一张要上传的图片是否超过HBase数据库存储数据块HFile的大小，如果未超过，则进入步骤(2)；如果超过，则对图片进行分割，直至未超过HBase数据库存储数据块HFile的大小；(2)提取图片特征值,所述图片特征值包括色彩、饱和度、值，计算图片的颜色直方图；(3)对步骤(2)得到的颜色直方图的特征向量进行加密，利用同态加密算法对图片特征值进行加密；(4)将加密后的数据生成HFile文件，存入HBase数据库。

【技术特征摘要】
1.一种基于HBase的海量图片存储方法，其特征在于，具体步骤包括：(1)判断每一张要上传的图片是否超过HBase数据库存储数据块HFile的大小，如果未超过，则进入步骤(2)；如果超过，则对图片进行分割，具体是指，将图片分割成大小均等的若干个切片，切片的大小与HBase数据库存储数据块HFile的大小的差t满足|t|≦s，s＝5kb，将分割后的所有切片保存到同样的行健、列族中，HBase数据库按照切片的顺序自动打上时间戳并保存；直至未超过HBase数据库存储数据块HFile的大小；(2)提取图片特征值,所述图片特征值包括色彩、饱和度，计算图片的颜色直方图；(3)对步骤(2)得到的颜色直方图的特征向量进行加密，利用同态加密算法对图片特征值进行加密；(4)将加密后的数据生成HFile文件，存入HBase数据库。2.根据权利要求1所述基于HBase的海量图片存储方法，其特征在于，计算图片的颜色直方图，具体是指：颜色量化，即将图片的颜色空间划分成若干个小的颜色区间，每个小的颜色区间成为颜色直方图的一个bin；计算颜色落在每个小的颜色区间内的像素数量得到颜色直方图。3.根据权利要求1所述基于HBase的海量图片存储方法，其特征在于，所述利用同态加密算法对图片特征值进行加密，所述同态加密算法是指Paillier算法，具体步骤包...

【专利技术属性】
技术研发人员：袁东风，马翠云，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37