一种实现图像识别的图像处理方法及装置、电子设备制造方法及图纸

本申请公开了一种实现图像识别的图像处理方法及装置、电子设备和计算机可读存储介质，该方案采用分布式计算框架进行图像处理，包括：获取图像样本数据集；根据图像样本数据集中的样本数量以及分布式计算框架的计算节点数量，切分图像样本数据集，切分为一组的图像样本形成图像样本子块；分发图像样本子块至计算节点；由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练，在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果。该方法通过将训练任务均衡负载至各个计算节点，由各个计算节点并行实现样本训练，从而大大提高了训练效率，减少了样本训练消耗的时间，适用于目前大数据背景下图像识别过程中的样本训练。

An Image Processing Method and Device for Image Recognition

【技术实现步骤摘要】
一种实现图像识别的图像处理方法及装置、电子设备
本公开涉及大数据处理
，特别涉及一种实现图像识别的图像处理方法及装置、电子设备和计算机可读存储介质。
技术介绍
图像识别是计算机视觉和模式识别的一种重要应用，其在安全系统和人机交互等方面有着巨大的应用前景。目前流行的图像识别方案中，主要关注的技术要点是提升识别率和识别效率。其中，基于特征点的图像识别算法如PCA(PrincipalComponentAnalysis，主成分分析)，LDA(LinearDiscriminantAnalysis，线性鉴别分析)，LBP(LocalBinaryPattern，局部纹理特征分析)等特征识别算法，以及基于神经网络进行识别的算法都对图像识别率做了一定的提升。而为了提高图像识别效率，多数是在图像识别架构上的改进，其中包括基于云计算框架的图像识别方案、基于并行框架的图像识别方案以及基于移动云框架的图像识别方案。基于特征或者基于神经网络的算法，在样本足够的前提下识别率往往可以达到99％以上，但是如果没有基于大量的样本数据或者样本支持量不够大，将无法达到准确的识别率。很显然，上述技术方案都是对图像识别的准确度和响应时间进行的改进，而图像识别的基本步骤中提升图像样本的训练效率往往被忽视。特别是目前大数据背景下，由于需要依次对每个图像样本进行训练，训练效率低下，海量数据的训练需要花费较多的时间。
技术实现思路
为了解决相关技术中存在的在图像识别的基本步骤中图像样本的训练效率不高的问题，本公开提供了一种实现图像识别的图像处理方法，用以提高图像样本的训练效率。一方面，本公开提供了一种实现图像识别的图像处理方法，所述方法采用分布式计算框架进行图像处理，所述方法包括：获取图像样本数据集；根据所述图像样本数据集中的样本数量以及所述分布式计算框架的计算节点数量，切分所述图像样本数据集，切分为一组的图像样本形成图像样本子块；分发所述图像样本子块至所述计算节点；由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练，在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果。另一方面，本公开还提供了一种实现图像识别的图像处理装置，所述装置采用分布式计算框架进行图像处理，所述装置包括：数据获取模块，用于获取图像样本数据集；数据划分模块，用于根据所述图像样本数据集中的样本数量以及所述分布式计算框架的计算节点数量，切分所述图像样本数据集，切分为一组的图像样本形成图像样本子块；字块分发模块，用于分发所述图像样本子块至所述计算节点；样本训练模块，用于通过各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练，在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果。再一方面，本公开还提供了一种电子设备，所述电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述实现图像识别的图像处理方法。此外，本公开还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行完成上述实现图像识别的图像处理方法。本公开的实施例提供的技术方案可以包括以下有益效果：本公开示例性实施例，基于分布式计算框架，由分布式计算框架的各个计算节点并行对所有图像样本实现分块化训练，通过将训练任务均衡负载至各个计算节点，由各个计算节点并行实现样本训练，从而大大提高了训练效率，减少了样本训练消耗的时间，适用于目前大数据背景下图像识别过程中的样本训练。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并于说明书一起用于解释本专利技术的原理。图1是根据本公开所涉及的实施环境的示意图；图2是根据一示例性实施例示出的一种服务器的框图；图3是根据一示例性实施例示出的一种实现图像识别的图像处理方法的流程图；图4是在图3对应实施例的基础上示出的一种实现图像识别的图像处理方法的流程图；图5是在图3对应实施例的基础上示出的另一种实现图像识别的图像处理方法的流程图；图6是根据一示例性实施例示出的结合2DPCA和LDA算法进行图像处理原理示意图；图7是图5对应实施例中步骤550的细节流程图；图8是根据一示例性实施例示出的对待测图像进行图像识别的原理示意图；图9是根据一示例性实施例示出的一种实现图像识别的图像处理装置的框图；图10是在图9对应实施例的基础上示出的另一种实现图像识别的图像处理装置的框图；图11是在图9对应实施例的基础上示出的又一种实现图像识别的图像处理装置的框图；图12是图11对应实施例中的待测识别模块的细节框图。具体实施方式这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。图1是根据本公开所涉及的实施环境的示意图。该实施环境包括：服务器110和智能设备120。智能设备120可以是具有图像采集功能的移动终端(如智能手机)或智能家电(如智能摄像头)服务器110和智能设备120之间的关联方式，包括硬件的网络关联方式和/或协议，以及二者之间往来的数据关联方式。智能设备120具有图像采集功能，服务器110接收智能设备120采集的图像样本。服务器110可以是基于linux系统，通过Hadoop(是一个能够对大量数据进行分布式处理的软件框架)存放智能设备120采集的原始图像样本数据集，并通过运行程序实现对图像样本数据集的分布式训练和待测图像的检索识别。参见图2，图2是本专利技术实施例提供的一种服务器结构示意图。该服务器200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，CPU)222(例如，一个或一个以上处理器)和存储器232，一个或一个以上存储应用程序242或数据244的存储介质230(例如一个或一个以上海量存储设备)。其中，存储器232和存储介质230可以是短暂存储或持久存储。存储在存储介质230的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对服务器200中的一系列指令操作。更进一步地，中央处理器222可以设置为与存储介质230通信，在服务器200上执行存储介质530中的一系列指令操作。服务器200还可以包括一个或一个以上电源226，一个或一个以上有线或无线网络接口250，一个或一个以上输入输出接口258，和/或，一个或一个以上操作系统241，例如WindowsMac等等。下述图3-图5、图7所示实施例中所述的由服务器所执行的步骤可以基于该图2所示的服务器结构。本领域普通技术人员可以理解实现下述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。图3是根据一示例性实施例示出的一种实现图像识别的图像处理方法的流程图。该实现图像识别的图像处理方法的适用范围和执行主体，例如，该方法用于图1所示实施环境的服务器110。服务器110采用MapR本文档来自技高网...

【技术保护点】
1.一种实现图像识别的图像处理方法，其特征在于，所述方法采用分布式计算框架进行图像处理，所述方法包括：获取图像样本数据集；根据所述图像样本数据集中的样本数量以及所述分布式计算框架的计算节点数量，切分所述图像样本数据集，切分为一组的图像样本形成图像样本子块；分发所述图像样本子块至所述计算节点；由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练，在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果。

【技术特征摘要】
1.一种实现图像识别的图像处理方法，其特征在于，所述方法采用分布式计算框架进行图像处理，所述方法包括：获取图像样本数据集；根据所述图像样本数据集中的样本数量以及所述分布式计算框架的计算节点数量，切分所述图像样本数据集，切分为一组的图像样本形成图像样本子块；分发所述图像样本子块至所述计算节点；由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练，在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果。2.根据权利要求1所述的方法，其特征在于，所述由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练，在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果之后，所述方法还包括：获取新增图像样本；进行所述新增图像样本向计算节点的分发；分发到所述新增图像样本的计算节点重新对自身负载的图像样本进行图像识别的样本训练，获得自身负载图像样本的新训练结果。3.根据权利要求1所述的方法，其特征在于，所述由各个计算节点并行对自身负载的图像样本进行训练，得到与每个图像样本对应的训练结果之后，所述方法还包括：获取待测图像；将所述待测图像输入至所述分布式计算框架的各个计算节点；由各个计算节点根据自身所负载图像样本的训练结果，对所述待测图像进行识别，得到所述待测图像在各个计算节点的识别结果；对所述待测图像在各个计算节点的识别结果进行筛选获得图像识别结果。4.根据权利要求3所述的方法，其特征在于，所述由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练，在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果，包括：每个计算节点利用二维主成分分析算法对自身负载的图像样本进行训练，得到所述计算节点的一级特征空间和所述计算节点中每个图像样本在所述一级特征空间对应的一级特征向量；将所述一级特征向量作为线性鉴别分析算法的样本输入，训练得到所述计算节点的二级特征空间和所述计算节点中每个图像样本在所述二级特征空间对应的二级特征向量。5.根据权利要求4所述的方法，其特征在于，所述由各个计算节点根据自身所负载图像样本的训练结果，对所述待测图像进行识别，得到所述待测图像在各个计算节点的识别结果，包括：每个计算节点将所述待测图像投影到自身的一级特征空间，得到所述待测图像对应的一级测试特征向量；将所述一级测试特征向量投影到自身的二级特征空间，得到所述待测图像对应的二级测试特征向量；将所述二级测试特征向量与自身所负载每个图像样本的二级特征向量进行相似度计算，搜索出相似度最高的图像样本。6.根据权利要求5所述的方法，其特征在于，所述对待测图像在各个计算节点的识别结果进行筛选获得图像识别结果，包括：根据各个计算节点搜索出的相似度最高的图像样本，从中筛选出出现频率最大的图像样本作为所述待测图像的识别结果。7.一种实现图像识别的图像处理装置，其特征在于，所述装置采用分布式计算框架进行图像处理，所述装...

【专利技术属性】
技术研发人员：阮航，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44