一种大规模图像数据分布式处理方法技术

本发明专利技术公开了一种大规模图像数据分布式处理方法，包括以下步骤：利用网络将多台计算机进行连接，构建分布式处理平台

【技术实现步骤摘要】
一种大规模图像数据分布式处理方法


[0001]本专利技术涉及一种大规模图像处理技术，尤其涉及一种大规模图像数据分布式处理方法。

技术介绍

[0002]数字图像以其存储方便、保存长久、易于网络传输、表现丰富、信息包含量巨大等特点，在科学研究、工程应用以及现代生活中得到了广泛的应用。在实际应用中每天都有数以万计的图像数据被采集获取，而这些数字图像也已经被广泛的应用到了各个领域中，如：
[0003]1)航天和航空技术方面的应用：许多国家每天利用遥感卫星技术和航拍飞机对地球上感兴趣的地区进行大量的空中摄影。利用所获取的图像数据开展资源调查，灾害检测，资源勘察，农业规划，城市规划等应用。我国也陆续开展了以上诸方面的一些实际应用，并获得了良好的效果。且数字图像处理技术在气象预报和对太空其它星球研究方面也发挥了相当大的作用。
[0004]2)生物医学工程方面的应用：对医用显微图像的处理分析，如红细胞、白细胞分类，染色体分析，癌细胞识别等。
[0005]3)工业和工程方面的应用：如自动装配线中检测零件的质量、并对零件进行分类，印刷电路板疵病检查，弹性力学照片的应力分析，流体力学图片的阻力和升力分析，邮政信件的自动分拣，在一些有毒、放射性环境内识别工件及物体的形状和排列状态等等。
[0006]4)军事公安方面的应用：主要用于各种侦察照片的判读；如公安业务图片的判读分析，指纹识别，人脸鉴别等。
[0007]随着数字图像获取技术的进步，以及图像应用需求和产生数据的装置设备数量逐渐的增加，使得图像数据在一定的应用场景内有着连续运行时间长、数据产生频率高、实时性强以及数据量巨大等属性，这为图像数据的特征提取处理以及后续的数据分析等应用带来了很大的技术难题。一方面，获取的图像数据越来越来多，需要及时有效的处理；另一方面，应用领域的不断扩大，需要新的图像处理方法和技术，对图像处理系统提出了更高、更新的要求。尤其是在大数据量、异地数据的共享和处理上。
[0008]面对这些技术难题，现有的解决方法一般采用高配置计算机方式，使用高性能的单机硬件设备特别是高频率CPU进行集中处理。而计算机硬件性能不断的在提高，只能通过不断的投入更大量的资金，使数据利用的综合成本大量增加。另一种是单机层面的硬件性能提升，主要是增加GPU及其他CPU以外的计算单元，同上述方法一致，都会导致成本的不断提升。即目前单机的、集中式的图像处理已经无法满足图像处理发展的需要。
[0009]为解决上述问题，本申请提出一种基于分布式计算、网络技术的分布式图像处理方法。

技术实现思路

[0010]本专利技术的目的是提供一种大规模图像数据分布式处理方法，实现了整合多台计算
机的处理能力，提高了特征提取及图像数据进一步处理的工作效率。
[0011]为实现上述目的，本专利技术提供了一种大规模图像数据分布式处理方法，包括以下步骤：S1、利用网络将多台计算机进行连接，并基于Hadoop和HBase构建分布式处理平台；S2、用户上传图像，并进行检测或者入库操作；S3、判断操作为检测还是入库，若是检测则执行步骤S4，否则执行步骤S5；S4、入库；S41、分布式SIFT特征提取和LSH索引的构建；
[0012]S42、写入相应的HBase表；
[0013]S43、给用户返回上传成功的界面；
[0014]S44、结束；
[0015]S5、检测
[0016]S51、SIFT特征提取和计算LSH索引；
[0017]S52、利用计算出的LSH值读取HBase查询最相似N张的图像；
[0018]S53、向用户返回最相似的N张图像；
[0019]S54、结束。
[0020]优选的，步骤S1中所述的构建分布式处理平台具体包括以下步骤：
[0021]S10、搭建基础架构分布式Hadoop集群；
[0022]S11、在所述Hadoop集群上建立分布式数据库Hbase和作业管理MapReduce。
[0023]优选的，步骤S1中所述的分布式处理平台包括：
[0024]图像库上传模块，用于给分布式集群模块提供图像源
[0025]分布式集群模块，用于利用图像库上传模块上传的图像源建立特征集并存入分布式数据库Hbase内；
[0026]图像相似检索模块，用于为终端用户提供图像相似性检索服务。
[0027]优选的，所述图像库上传模块的上传方式至少包括手动批量上传和通过网络爬虫不断更新分布式数据库Hbase。
[0028]优选的，在所述分布式集群模块中利用MapReduce框架处理图像库上传模块上传的图像和为图像相似检索模块提供分布式查询服务。
[0029]因此，本专利技术采用上述一种大规模图像数据分布式处理方法，实现了整合多台计算机的处理能力，提高了特征提取及图像数据进一步处理的工作效率，从而可快速进行图像数据处理、特征提取以及计算相关性。
[0030]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
附图说明
[0031]图1为本专利技术的实施例一种大规模图像数据分布式处理方法的流程图；
[0032]图2为本专利技术的实施例一种大规模图像数据分布式处理方法的分布式处理平台架构图。
具体实施方式
[0033]以下将结合附图对本专利技术作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围并不限于本实施例。
[0034]图1为本专利技术的实施例一种大规模图像数据分布式处理方法的流程图，图2为本专利技术的实施例一种大规模图像数据分布式处理方法的分布式处理平台架构图，如图1和图2所示，本专利技术包括以下步骤：S1、利用网络将多台计算机进行连接，并基于Hadoop和HBase构建分布式处理平台；S2、用户上传图像，并进行检测或者入库操作；S3、判断操作为检测还是入库，若是检测则执行步骤S4，否则执行步骤S5；S4、入库；S41、分布式SIFT特征提取和LSH索引的构建；
[0035]S42、写入相应的HBase表；
[0036]S43、给用户返回上传成功的界面；
[0037]S44、结束；
[0038]S5、检测
[0039]S51、SIFT特征提取和计算LSH索引；
[0040]S52、利用计算出的LSH值读取HBase查询最相似N张的图像；
[0041]S53、向用户返回最相似的N张图像；
[0042]S54、结束。
[0043]优选的，步骤S1中所述的构建分布式处理平台具体包括以下步骤：
[0044]S10、搭建基础架构分布式Hadoop集群；
[0045]S11、在所述Hadoop集群上建立分布式数据库Hbase和作业管理MapReduce。
[0046]优选的，步骤S1中所述的分布式处理平台包括：
[0047]图像库上传模块，用于给分布式集群模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大规模图像数据分布式处理方法，包括以下步骤：S1、利用网络将多台计算机进行连接，并基于Hadoop和HBase构建分布式处理平台；S2、用户上传图像，并进行检测或者入库操作；S3、判断操作为检测还是入库，若是检测则执行步骤S4，否则执行步骤S5；S4、入库；S41、分布式SIFT特征提取和LSH索引的构建；S42、写入相应的HBase表；S43、给用户返回上传成功的界面；S44、结束；S5、检测S51、SIFT特征提取和计算LSH索引；S52、利用计算出的LSH值读取HBase查询最相似N张的图像；S53、向用户返回最相似的N张图像；S54、结束。2.根据权利要求1所述的一种大规模图像数据分布式处理方法，其特征在于：步骤S1中所述的构建分布式处理平台具体包括以下步骤：S10、搭建基础架构分布式Hadoop集群；S11、在所...

【专利技术属性】
技术研发人员：李玉玉，董华军，闫瑾，
申请(专利权)人：大连沣毅电力科技有限公司，
类型：发明
国别省市：