图像识别方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例提供的图像识别方法、装置、电子设备及存储介质，通过获取的待识别图像的图像数据；将待识别图像的图像数据输入至卷积神经网络模型，输出待识别图像对应的人体关键点的热力图，以及手部距离图；根据所述人体关键点的热力图和手部距离图，确定待识别图像中手部包围矩形所在的图像区域；输出包括图像区域的图像识别结果。本公开不再依赖于对图像像素进行检测以确定图像识别结果，而是通过利用人体关键点的热力图以及手部距离图，确定并输出包括手部包围矩形所在的图像区域的图像识别结果，对于各类图像中的手部的图像识别均有着很好的适应性，且由于利用了卷积神经网络模型进行识别处理，也能够对于识别的准确率进行有效保证。

【技术实现步骤摘要】
图像识别方法、装置、电子设备及存储介质
本公开实施例涉及图像处理领域，尤其涉及一种图像识别方法、装置、电子设备及存储介质。
技术介绍
对图像进行物体类型识别是图像跟踪技术中必不可缺的环节。相关技术中，对于图像中物体的识别，一般可基于像素检测技术实现。通过对于像素进行聚类，并判断每一聚类像素所归属的物体，进而可确定每个物体在图像中的图像位置。但是，在利用相似检测技术对于手部进行识别或手部跟踪的过程中，专利技术人发现其实现方式至少存在以下缺陷：在手部距离图像采集点较远的场景下，手部在图像中所占的像素数较少，这使得在对图像中的像素进行聚类时，手部的像素容易被聚类到其他物体的聚类中，导致在图像中无法确定手部的图像位置的问题，影响其图像位置在后续定位中的使用。
技术实现思路
针对上述问题，本公开实施例提供了一种图像识别方法、装置、电子设备及存储介质。第一方面，本公开实施例提供一种图像识别方法，包括：获取的待识别图像的图像数据；将所述待识别图像的图像数据输入至卷积神经网络模型，输出待识别图像对应的人体关键点的热力图，以及手部距离图；其中，手部距离图用于表示手部预测包围矩形上每一条边到手部预测中心点的距离；根据所述人体关键点的热力图和手部距离图，确定待识别图像中手部包围矩形所在的图像区域；输出包括所述图像区域的图像识别结果。第二方面，本公开实施例提供一种图像识别装置，包括：获取模块，用于获取的待识别图像的图像数据；识别模块，用于将所述待识别图像的图像数据输入至卷积神经网络模型，输出待识别图像对应的人体关键点的热力图，以及手部距离图；其中，手部距离图用于表示手部预测包围矩形上每一条边到手部预测中心点的距离；定位模块，用于根据所述人体关键点的热力图和手部距离图，确定待识别图像中手部包围矩形所在的图像区域；输出模块，用于输出包括所述图像区域的图像识别结果。第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的涉及所述的图像识别方法。第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的涉及所述的图像识别方法。本公开实施例提供的图像识别方法、装置、电子设备及存储介质，通过获取的待识别图像的图像数据；将所述待识别图像的图像数据输入至卷积神经网络模型，输出待识别图像对应的人体关键点的热力图，以及手部距离图；其中，手部距离图用于表示手部预测矩形上每一个点到手部预测中心点的距离；根据所述人体关键点的热力图和手部距离图，确定待识别图像中手部包围矩形所在的图像区域；输出包括所述图像区域的图像识别结果。本公开不再依赖于对图像像素进行检测以确定图像识别结果，而是通过利用人体关键点的热力图以及手部距离图，确定并输出包括手部包围矩形所在的图像区域的图像识别结果，对于各类图像中的手部的图像识别均有着很好的适应性，且由于利用了卷积神经网络模型进行识别处理，也能够对于识别的准确率进行有效保证。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开实施例所基于的一种网络架构的示意图；图2为本公开实施例提供的一种图像识别方法的流程示意图；图3为本公开实施例提供的一种图像识别方法中的图像识别结果输出界面示意图；图4为本公开实施例提供的另一种图像识别方法的流程示意图；图5为本公开实施例提供的图像识别装置的结构框图；图6为本公开实施例提供的电子设备的硬件结构示意图。具体实施方式为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。由于科技的发展，图像在生活中的应用频率和规模不断提高，对于图像的处理需求也不断增强。对图像进行物体类型识别是图像跟踪技术中必不可缺的环节。随着机器学习算法的发展，利用神经网络模型对图像中出现的手部进行自动识别成为可能。现有技术中，对相关技术中，对于图像中物体的识别，一般可基于像素检测技术实现。通过对于像素进行聚类，并判断每一聚类像素所归属的物体，进而可确定每个物体在图像中的图像位置。但是，在利用相似检测技术对于手部进行识别或手部跟踪的过程中，专利技术人发现其实现方式至少存在以下缺陷：在手部距离图像采集点较远的场景下，手部在图像中所占的像素数较少，这使得在对图像中的像素进行聚类时，手部的像素容易被聚类到其他物体的聚类中，导致在图像中无法确定手部的图像位置的问题，影响其图像位置在后续定位中的使用。针对上述问题，本公开提供了一种图像识别方法、装置、电子设备及存储介质。参考图1，图1为本公开所基于的一种网络架构的示意图，该图1所示网络架构具体可包括图像识别装置2以及终端1。其中，终端1具体可为用户手机、台式电脑、智能家居设备、平板电脑等可用于采集图像的硬件设备，而图像识别装置2是可与各终端1通过网络进行交互的硬件或软件，其可用于执行下述各示例中所述的图像识别方法，并将从各终端1获得的图像数据进行图像识别，以得到图像识别结果并进行输出，其中，该输出的对象可为各终端1，也可为其他硬件或软件，如下游被控设备、下游智能家电等。在上述图1所示的网络架构中，当图像识别装置1为硬件时，其可包括具备运算功能的云端服务器；当图像识别装置1为软件时，其可以安装在具备运算功能的电子设备中，其中的电子设备包括但不限于膝上型便携计算机和台式计算机等等。也就是说，本公开所基于的图像识别方法具体可基于如图1所示的实施例中，适用于多种应用场景，该应用场景包括但不限于：基于人手的目标追踪场景、基于手势的设备控制场景、基于手势的人机游戏互动场景等。在人手的目标追踪场景中，终端1可为包括有摄像头、图像雷达采集设备等硬件的追踪设备，在图像识别装置获得图像识别结果之后，将图像识别结果返回至追踪设备，以供追踪设备将图像以及图像识别结果一并呈现给用户。在基于手势的设备控制场景中，为了准确采集到用户的手势，首先需要对用户手部进行图像定位，即通过图像识别装置对采集的图像数据进行处理，获得图像识别结果，随后，控制设备将基于图像识别结果对其中的手部的图像进行进一步分析，得到手势呈现的控制指令，以基于控制指令控制被控设备。<本文档来自技高网...

【技术保护点】
1.一种图像识别方法，其特征在于，包括：/n获取的待识别图像的图像数据；/n将所述待识别图像的图像数据输入至卷积神经网络模型，输出待识别图像对应的人体关键点的热力图，以及手部距离图；其中，手部距离图用于表示手部预测包围矩形上每一条边到手部预测中心点的距离；/n根据所述人体关键点的热力图和手部距离图，确定待识别图像中手部包围矩形所在的图像区域；/n输出包括所述图像区域的图像识别结果。/n

【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：
获取的待识别图像的图像数据；
将所述待识别图像的图像数据输入至卷积神经网络模型，输出待识别图像对应的人体关键点的热力图，以及手部距离图；其中，手部距离图用于表示手部预测包围矩形上每一条边到手部预测中心点的距离；
根据所述人体关键点的热力图和手部距离图，确定待识别图像中手部包围矩形所在的图像区域；
输出包括所述图像区域的图像识别结果。


2.根据权利要求1所述的图像识别方法，其特征在于，所述根据所述人体关键点的热力图和手部距离图，确定待识别图像中手部包围矩形所在的图像区域，包括：
根据所述人体关键点的热力图，确定手部中心关键点在待识别图像中的图像坐标；
根据所述手部中心关键点的图像坐标以及手部距离图，确定所述手部包围矩形在所述待识别图像中的图像坐标，得到所述手部包围矩形所在的图像区域。


3.根据权利要求2所述的图像识别方法，其特征在于，所述根据所述人体关键点的热力图，确定手部中心关键点在待识别图像中的图像坐标，包括：
根据所述人体关键点热力图中手部中心关键点的高斯概率分布中概率值最大的点的图像坐标，作为手部中心关键点的图像坐标。


4.根据权利要求2所述的图像识别方法，其特征在于，所述根据所述手部中心关键点的图像坐标以及手部距离图，确定所述手部包围矩形在所述待识别图像中的图像坐标，包括：
根据所述手部距离图中的手部包围矩形上每一条边到手部中心关键点的各距离，确定所述手部中心关键点到手部包围矩形的每条矩形四条边的距离；
根据所述手部中心关键点的图像坐标,以及所述手部中心关键点到手部包围矩形的每条矩形四条边的各距离，确定所述手部包围矩形在所述待识别图像中的图像坐标。


5.根据权利要求1-4任一项所述的图像识别方法，其特征在于，还包括：
建立待训练的卷积神经网络模型，获得训练样本图像，其中，所训练样本图像包括样本图像数据，对所述训练样本图像进行标注获得的人体关键点和手部包围矩形；
将所述训练样本图像中的样本图像数据作为待训练的卷积神经网络模型的输入，将标注获得的人体关键点所形成的人体关键点的热力图以及标注获得的手部包围矩形作为训练目标，对所述待训练的卷积神经网络模型进行训练，获得所述训练完毕的卷积神经网络模型。


6.一种图像识别装置，其特征在于，包括：
获取模块，用于获取的待识别图像的图像数据；
识别模块，用于将所...

【专利技术属性】
技术研发人员：卢艺帆，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11