图像识别方法、装置及系统制造方法及图纸

本发明专利技术提供了一种图像识别方法、装置及系统，涉及图像识别技术领域，该方法包括：获取待识别图像；将待识别图像输入至卷积神经网络模型；其中，卷积神经网络模型包括平移不变形的残差金字塔模块、沙漏模块和级联特征金字塔模块；通过卷积神经网络模型中的残差金字塔模块、沙漏模块和级联特征金字塔模块逐级对待识别图像进行特征提取，得到待识别图像的识别结果；识别结果包括至少一个目标点的位置。本发明专利技术可以基于单目摄像头拍摄的图像进行识别，并且能够提高图像识别的准确率。

Image recognition method, device and system

The invention provides an image recognition method, device and system, which relates to the technical field of image recognition. The method comprises acquiring the image to be recognized, inputting the image to be recognized into the convolution neural network model, in which the convolution neural network model includes the residual pyramid module with translation invariance, the hourglass module and the cascade feature. Pyramid module of convolution neural network model; through the residual pyramid module, hourglass module and cascade feature pyramid module of convolution neural network model, feature extraction is carried out step by step to get the recognition result of the image to be recognized; the recognition result includes the location of at least one target point. The invention can recognize images captured by a monocular camera, and can improve the accuracy of image recognition.

【技术实现步骤摘要】
图像识别方法、装置及系统
本专利技术涉及图像识别
，尤其是涉及一种图像识别方法、装置及系统。
技术介绍
由于手部姿态存在高形变、自遮挡、互遮挡、外部遮挡以及背景噪音等特点，基于普通摄像头进行手部姿态识别是非常困难的。现有技术通常依赖于多个普通摄像头，从而获取多角度的手部姿态的图像，再进行手部姿态识别。然而，上述手部姿态识别的方法，在应用时需要布置多个摄像头，并且需要进行摄像头的基准测试等，导致实际应用非常受限，而且模型的准确性也有待进一步提高。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种图像识别方法、装置及系统，可以通过单目摄像头进行图像识别，且提高了识别的准确率。第一方面，本专利技术实施例提供了一种图像识别方法，包括：获取待识别图像；将所述待识别图像输入至卷积神经网络模型；其中，所述卷积神经网络模型包括平移不变形的残差金字塔模块、沙漏模块和级联特征金字塔模块；通过所述卷积神经网络模型中的所述残差金字塔模块、沙漏模块和级联特征金字塔模块逐级对所述待识别图像进行特征提取，得到所述待识别图像的识别结果；所述识别结果包括所述待识别图像上至少一个目标点的位置。进一步，所述方法还包括：通过所述待识别图像的导向概率热力图对所述卷积神经网络模型进行训练，直至所述卷积神经网络模型的误差收敛至预设值，将所述误差收敛至所述预设值时对应的参数作为所述卷积神经网络模型的参数。进一步，当下述条件均满足时，确定所述卷积神经网络模型的误差收敛至预设值：所述沙漏模块的损失函数值小于第一预设值；所述级联特征金字塔模块的损失函数值小于第二预设值。进一步，所述导向概率热力图的生成如下：获取当前训练样本的真实热力图；根据所述真实热力图构建向导热力图；其中，所述向导热力图和所述真实热力图的中心与所述当前训练样本的目标点的位置相同；将所述向导热力图与真实热力图融合，得到导向概率热力图。进一步，所述获取待识别图像的步骤，包括：通过单目摄像头采集图像，并检测该图像中的手部图像；将该手部图像作为待识别图像。进一步，所述卷积神经网络模型还包括卷积层；所述通过所述卷积神经网络模型中的所述残差金字塔模块、沙漏模块和级联特征金字塔模块逐级对所述待识别图像进行特征提取，得到所述待识别图像的识别结果的步骤，包括：通过所述卷积层对输入的所述待识别图像进行卷积处理，得到所述待识别图像的第一特征图，并将所述第一特征图输入至所述残差金字塔模块；通过所述残差金字塔模块对所述第一特征图进行多尺度特征提取，得到所述待识别图像的第二特征图，并将所述第二特征图输入至所述沙漏模块；通过至少一个所述沙漏模块对所述第二特征图进行多尺度特征提取，得到所述待识别图像的第三特征图，并将所述第三特征图输入至所述级联特征金字塔模块；通过所述级联特征金字塔模块对所述第三特征图进行多尺度特征提取，输出识别结果。进一步，所述残差金字塔模块包括主分支和金字塔分支，所述主分支包括至少一层卷积层；所述通过所述残差金字塔模块对所述第一特征图进行多尺度特征提取，得到所述待识别图像的第二特征图的步骤，包括：将所述第一特征图分别输入所述主分支和所述金字塔分支；所述主分支和所述金字塔分支分别对所述第一特征图进行特征提取；将所述主分支和所述金字塔分支提取得到的特征信息融合，得到所述待识别图像的第二特征图。进一步，所述识别结果为包含横向、纵向和频道的三维热力图，所述频道与所述目标点的位置一一对应。第二方面，本专利技术实施例提供了一种图像识别装置，包括：获取模块，用于获取待识别图像；输入模块，用于将所述待识别图像输入至卷积神经网络模型；其中，所述卷积神经网络模型包括平移不变形的残差金字塔模块、沙漏模块和级联特征金字塔模块；识别模块，用于通过所述卷积神经网络模型中的所述残差金字塔模块、沙漏模块和级联特征金字塔模块逐级对所述待识别图像进行特征提取，得到所述待识别图像的识别结果；所述识别结果包括所述待识别图像上至少一个目标点的位置。第三方面，本专利技术实施例提供了一种图像识别系统，所述系统包括：图像采集装置、处理器和存储装置；所述图像采集装置，用于采集待识别图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的方法的步骤。本专利技术实施例提供了一种图像识别方法、装置及系统，可以通过卷积神经网络模型对待识别图像进行特征提取，得到待识别图像的识别结果，该识别结果中包括目标点的位置信息；其中该卷积神经网络模型中包括平移不变形的金字塔残差模块，可以帮助卷积神经网络模型提取细粒度多尺度的目标对象的特征，而且能保证待识别图像中的识别目标的位置信息不受破坏；该卷积神经网络模型中还融合了沙漏模块和级联特征金字塔模块，使得卷积神经网络模型可以训练学习到丰富且多尺度的识别目标的特征，从而可以基于单目摄像头拍摄的图像进行识别，并且能够提高图像识别的准确率。本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种电子设备的结构示意图；图2为本专利技术实施例提供的一种图像识别方法的流程图；图3为本专利技术实施例提供的一种导向概率热力图的生成过程示意图；图4为本专利技术实施例提供的一种平移不变形的残差金字塔模块的示意图；图5为本专利技术实施例提供的一种卷积神经网络模型的示意图；图6为本专利技术实施例提供的一种Hourglass模块的示意图；图7为本专利技术实施例提供的一种CPN模块的示意图；图8为本专利技术实施例提供的一种图像识别装置的结构框图；图9为本专利技术实施例提供的另一种图像识别装置的结构框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。考虑到现有的手部姿态识别的方法依赖于多摄像头实现，应用不便，且模型准确率不足，为改善此问题，本专利技术实施例提供的一种图像识别方法、装置及系统，以下对本专利技术实施例进行详细介绍。实施例一首先，参照图1来描述用于实现本专利技术实施例的图像识别方法、装置及系统的示例电子设备100。如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只本文档来自技高网...

【技术保护点】
1.一种图像识别方法，其特征在于，所述方法包括：获取待识别图像；将所述待识别图像输入至卷积神经网络模型；其中，所述卷积神经网络模型包括平移不变形的残差金字塔模块、沙漏模块和级联特征金字塔模块；通过所述卷积神经网络模型中的所述残差金字塔模块、沙漏模块和级联特征金字塔模块逐级对所述待识别图像进行特征提取，得到所述待识别图像的识别结果；所述识别结果包括所述待识别图像上至少一个目标点的位置。

【技术特征摘要】
1.一种图像识别方法，其特征在于，所述方法包括：获取待识别图像；将所述待识别图像输入至卷积神经网络模型；其中，所述卷积神经网络模型包括平移不变形的残差金字塔模块、沙漏模块和级联特征金字塔模块；通过所述卷积神经网络模型中的所述残差金字塔模块、沙漏模块和级联特征金字塔模块逐级对所述待识别图像进行特征提取，得到所述待识别图像的识别结果；所述识别结果包括所述待识别图像上至少一个目标点的位置。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过所述待识别图像的导向概率热力图对所述卷积神经网络模型进行训练，直至所述卷积神经网络模型的误差收敛至预设值，将所述误差收敛至所述预设值时对应的参数作为所述卷积神经网络模型的参数。3.根据权利要求2所述的方法，其特征在于，当下述条件均满足时，确定所述卷积神经网络模型的误差收敛至预设值：所述沙漏模块的损失函数值小于第一预设值；所述级联特征金字塔模块的损失函数值小于第二预设值。4.根据权利要求2所述的方法，其特征在于，所述导向概率热力图的生成如下：获取当前训练样本的真实热力图；根据所述真实热力图构建向导热力图；其中，所述向导热力图和所述真实热力图的中心与所述当前训练样本的目标点的位置相同；将所述向导热力图与真实热力图融合，得到导向概率热力图。5.根据权利要求1-4任一项所述的方法，其特征在于，所述获取待识别图像的步骤，包括：通过单目摄像头采集图像，并检测所述图像中的手部图像；将所述手部图像作为待识别图像。6.根据权利要求1-4任一项所述的方法，其特征在于，所述卷积神经网络模型还包括卷积层；所述通过所述卷积神经网络模型中的所述残差金字塔模块、沙漏模块和级联特征金字塔模块逐级对所述待识别图像进行特征提取，得到所述待识别图像的识别结果的步骤，包括：通过所述卷积层对输入的所述待识别图像进行卷积处理，得到所述待识别图像的第一特征图，并将所述第一特征图输入至所述残差金字塔模块；通过所述残差金字塔模块对所述第一特征图进行多尺度特征提取，得到所述待识别图像的第二特征图，并将所述第二特征图输入至所述沙漏模块；通过至少一个所述沙漏模块对所述第二特征图进行多尺度特征提取，得到所述待识别图像的第三特征图，并将所述第三特征图输入至所述级联特征金字塔模块；通过所述级联特征金字塔模块对所述第三特征图进行多尺度特征提取，输出识别结果。7.根据权利要求6所述的方法，其特征在于，所述残差金字塔模块包括主分支和金字塔分支；所述通过所述残差金字塔模块对所述第一特征图进行多尺度特征提...

【专利技术属性】
技术研发人员：陈文科，姚聪，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11