一种物体识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种物体识别方法、装置、设备及存储介质。该方法包括：获取待识别图像，其中，待识别图像包括待识别的目标物体；将待识别图像输入至已训练完成的物体识别模型中，根据物体识别模型的输出结果识别出目标物体；其中，物体识别模型根据分类模块和学习模块训练得到，且由分类模块构成，分类模块基于卷积神经网络得到，学习模块包括物体轮廓学习模块和/或空间上下文学习模块。本发明专利技术实施例的技术方案，通过参与到模型训练过程中的学习模块增强了分类模块对物体轮廓信息和/或物体空间结构的理解，且因学习模块未参与到后续的模型部署中，这就使得在部署相同大小的物体识别模型的情况下，可以显著提高物体识别的准确度。

【技术实现步骤摘要】
一种物体识别方法、装置、设备及存储介质
本专利技术实施例涉及图像处理
，尤其涉及一种物体识别方法、装置、设备及存储介质。
技术介绍
物体识别(ObjectRecognition)是多媒体和计算机视觉社区的一大基本问题，其可以用于通用物体识别、精细类目物体识别、物体定位等等。随着卷积神经网络(ConvolutionalNeuralNetworks，CNN)的发展和数据量的扩充，物体识别的性能取得了惊人的飞速进展。然而，由于物体的形变、外观及图像背景的干扰，精细类目上的物体识别仍然是具有挑战性的，比如，『蝴蝶』的分类、『鸟』的分类、『商品』的分类、『车』的分类等等。为了进一步提升精细类目上的物体识别的性能，研究人员提出了多种方案，这些方案主要可以分为两类：(a)基于物体检测和物体分类的两步运算系统，其基于物体检测模型区分图像中的目标物体与背景，再基于物体分类模型对目标物体进行分类；(b)基于注意力模型的系统，其基于大量额外参数来学习目标物体在图像中的注意力得分，由此区分图像中的目标物体与背景，或者对目标物体的各个部分进行区分。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下技术问题：方案(a)需要大量的有标注的目标物体在图像中的检测框(boundingbox)来训练物体检测模型，这类数据的构造成本极大，很难推广到大规模的物体识别任务中；而且，两步运算(物体检测+物体分类)的系统架构使其在实际应用和实际部署中存在很大的难度和风险，且在物体识别过程中的计算效率较低。方案(b)中大量额外参数容易导致模型训练过程中的过拟合；而且，该方案往往伴随着大量的需要在模型训练中进行人为调整的隐参数(hyper-parameter)，当面向不同类型的物体识别任务时，需要对不同的隐参数进行调整，这就导致其在实际部署中的难度较大，可维护性差。
技术实现思路
本专利技术实施例提供了一种物体识别方法、装置、设备及存储介质，以实现待识别图像中目标物体的精准识别的效果。第一方面，本专利技术实施例提供了一种物体识别方法，可以包括：获取待识别图像，其中，待识别图像包括待识别的目标物体；将待识别图像输入至已训练完成的物体识别模型中，根据物体识别模型的输出结果识别出目标物体；其中，物体识别模型根据分类模块和学习模块训练得到，且由分类模块构成，分类模块基于卷积神经网络得到，学习模块包括物体轮廓学习模块和/或空间上下文学习模块。可选的，在此基础上，该物体识别方法，还可以包括：获取历史图像和历史图像中已识别的历史物体，将历史图像和历史物体作为一组训练样本；基于多个训练样本对原始神经网络模型进行训练，得到物体识别模型，其中，多个训练样本中的历史物体属于同一类别，原始神经网络模型包括分类模块和学习模块。可选的，基于多个训练样本对原始神经网络模型进行训练，可以包括：若学习模块包括物体轮廓学习模块，将多个历史图像输入至分类模块中，分别得到每个历史图像的视觉特征；将多个视觉特征输入至物体轮廓学习模块中，得到物体轮廓学习模块输出的相似度梯度，并将相似度梯度反向输入至分类模块中，调节分类模块的网络参数。可选的，基于多个训练样本对原始神经网络模型进行训练，可以包括：若学习模块包括空间上下文学习模块，将多个历史图像中的主历史图像输入至分类模块中，得到主视觉特征；将主视觉特征输入至空间上下文学习模块中，得到空间上下文学习模块输出的空间梯度，将空间梯度反向输入至分类模块中，调节分类模块的网络参数。可选的，若学习模块包括空间上下文学习模块，将多个历史图像中的主历史图像输入至分类模块中，得到主视觉特征，可以包括：若学习模块包括物体轮廓学习模块和空间上下文学习模块，将多个训练样本输入至分类模块中，分别得到每个历史图像的视觉特征，视觉特征包括多个历史图像中的主历史图像的主视觉特征；相应的，将主视觉特征输入至空间上下文学习模块中，得到空间上下文学习模块输出的空间梯度，并将空间梯度反向输入至分类模块中，调节分类模块的网络参数，可以包括：将多个视觉特征输入至物体轮廓学习模块中，得到物体轮廓学习模块输出的相似度梯度，以及，将主视觉特征输入至空间上下文学习模块中，得到空间上下文学习模块输出的空间梯度；将相似度梯度和空间梯度反向输入至分类模块，调节分类模块的网络参数。可选的，在此基础上，相似度梯度是在将主视觉特征分别与各个其余视觉特征的相关性矩阵的均值对应的物体轮廓作为第一物体轮廓，将主视觉特征对应的物体轮廓作为第二物体轮廓时，根据第一物体轮廓和第二物体轮廓确定的；其中，主视觉特征是多个历史图像中的主历史图像的视觉特征，其余视觉特征是多个视觉特征中除主视觉特征以外的视觉特征。可选的，在此基础上，空间梯度是在将主历史图像分割为多个含有交集的子图像，且根据主视觉特征得到各个子图像的子特征时，根据各个子特征间的第一空间关系矩阵和主视觉特征的第二空间关系矩阵确定的；其中，第一空间关系矩阵是根据各个子特征间的相关性预测出的每个子特征的四邻域确定的。第二方面，本专利技术实施例还提供了一种物体识别装置，该装置可以包括：图像获取模块，用于获取待识别图像，其中，待识别图像包括待识别的目标物体；物体识别模块，用于将待识别图像输入至已训练完成的物体识别模型中，根据物体识别模型的输出结果识别出目标物体；其中，物体识别模型根据分类模块和学习模块训练得到，且由分类模块构成，分类模块基于卷积神经网络得到，学习模块包括物体轮廓学习模块和/或空间上下文学习模块。第三方面，本专利技术实施例还提供了一种设备，该设备可以包括：一个或多个处理器；存储器，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本专利技术任意实施例所提供的物体识别方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本专利技术任意实施例所提供的物体识别方法。本专利技术实施例的技术方案，通过获取包括有待识别的目标物体的待识别图像，并将待识别图像输入至已训练完成的物体识别模型后，即可根据物体识别模型的输出结果识别出目标物体。上述技术方案，通过参与到模型训练过程中的学习模块增强了分类模块对物体轮廓信息和/或物体空间结构的理解，且因学习模块未参与到后续的模型部署中，这就使得在部署相同大小的物体识别模型的情况下，可以显著提高物体识别的准确度。附图说明图1是本专利技术实施例一中的一种物体识别方法的流程图；图2是本专利技术实施例二中的一种物体识别方法的流程图；图3是本专利技术实施例二中的一种物体识别方法中挖掘同类别的图像间的相似模式的示意图；图4是本专利技术实施例二中的一种物体识别方法中物体轮廓学习模块和空间上下文学习模块配合使用的示意图；图5是本专利技术实施例二中的一种物体识别方法中物体识别模型和现有的分类模型的学习结果的本文档来自技高网...

【技术保护点】
1.一种物体识别方法，其特征在于，包括：/n获取待识别图像，其中，所述待识别图像包括待识别的目标物体；/n将所述待识别图像输入至已训练完成的物体识别模型中，根据所述物体识别模型的输出结果识别出所述目标物体；/n其中，所述物体识别模型根据分类模块和学习模块训练得到，且由所述分类模块构成，所述分类模块基于卷积神经网络得到，所述学习模块包括物体轮廓学习模块和/或空间上下文学习模块。/n

【技术特征摘要】
1.一种物体识别方法，其特征在于，包括：
获取待识别图像，其中，所述待识别图像包括待识别的目标物体；
将所述待识别图像输入至已训练完成的物体识别模型中，根据所述物体识别模型的输出结果识别出所述目标物体；
其中，所述物体识别模型根据分类模块和学习模块训练得到，且由所述分类模块构成，所述分类模块基于卷积神经网络得到，所述学习模块包括物体轮廓学习模块和/或空间上下文学习模块。


2.根据权利要求1所述的方法，其特征在于，还包括：
获取历史图像和所述历史图像中已识别的历史物体，将所述历史图像和所述历史物体作为一组训练样本；
基于多个所述训练样本对原始神经网络模型进行训练，得到所述物体识别模型，其中，多个所述训练样本中的所述历史物体属于同一类别，所述原始神经网络模型包括所述分类模块和所述学习模块。


3.根据权利要求2所述的方法，其特征在于，所述基于多个所述训练样本对原始神经网络模型进行训练，包括：
若所述学习模块包括所述物体轮廓学习模块，将多个所述历史图像输入至所述分类模块中，分别得到每个所述历史图像的视觉特征；
将多个所述视觉特征输入至所述物体轮廓学习模块中，得到所述物体轮廓学习模块输出的相似度梯度，并将所述相似度梯度反向输入至所述分类模块中，调节所述分类模块的网络参数。


4.根据权利要求2所述的方法，其特征在于，所述基于多个所述训练样本对原始神经网络模型进行训练，包括：
若所述学习模块包括所述空间上下文学习模块，将多个所述历史图像中的主历史图像输入至所述分类模块中，得到主视觉特征；
将所述主视觉特征输入至所述空间上下文学习模块中，得到所述空间上下文学习模块输出的空间梯度，并将所述空间梯度反向输入至所述分类模块中，调节所述分类模块的网络参数。


5.根据权利要求4所述的方法，其特征在于，所述若所述学习模块包括所述空间上下文学习模块，将多个所述历史图像中的主历史图像输入至所述分类模块中，得到主视觉特征，包括：
若所述学习模块包括所述物体轮廓学习模块和所述空间上下文学习模块，将多个所述训练样本输入至所述分类模块中，分别得到每个所述历史图像的视觉特征，所述视觉特征包括多个所述历史图像中的主历史图像的主视觉特征；
相应的，所述将所述主视觉特征输入至所述空间上下文学习模块中...

【专利技术属性】
技术研发人员：白亚龙，周默涵，张炜，梅涛，
申请(专利权)人：北京沃东天骏信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11