目标对象的识别方法和装置、关键点检测方法和装置制造方法及图纸

本公开实施例提供一种目标对象的识别方法和装置、关键点检测方法和装置，所述方法包括：对目标图像进行检测，得到所述目标图像中的目标对象上的多个预设关键点分别对应的位置热力图；其中，所述位置热力图中每一像素点的热力值表征所述目标图像中对应的像素点为与所述位置热力图对应的预设关键点的概率；基于各个预设关键点分别对应的位置热力图，以及预设的对象类别与关键点之间的对应关系，确定所述目标对象的类别。所述目标对象的类别。所述目标对象的类别。

【技术实现步骤摘要】
目标对象的识别方法和装置、关键点检测方法和装置


[0001]本公开涉及人工智能
，尤其涉及目标对象的识别方法和装置、关键点检测方法和装置。

技术介绍

[0002]在实际应用中，常常需对包括目标对象的图像进行处理，包括从目标图像中检测目标对象的关键点，以及识别目标图像中目标对象的类别。有时基于目标对象本身的特征难以准确地对目标对象进行检测和识别，因此，需要先检测出目标对象周围的其他对象，再借助其他对象来对目标对象进行检测和识别。然而，上述过程的耗时较长，导致图像处理效率较低。

技术实现思路

[0003]第一方面，本公开实施例提供一种目标对象的识别方法，所述方法包括：对目标图像进行检测，得到所述目标图像中的目标对象上的多个预设关键点分别对应的位置热力图；其中，所述位置热力图中每一像素点的热力值表征所述目标图像中对应的像素点为与所述位置热力图对应的预设关键点的概率；基于各个预设关键点分别对应的位置热力图，以及预设的对象类别与关键点之间的对应关系，确定所述目标对象的类别。
[0004]第二方面，本公开实施例提供一种目标对象的关键点检测方法，所述方法包括：对目标图像进行检测，得到所述目标图像中的目标对象的多个预设关键点中每一预设关键点对应的位置热力图和特征向量图；其中，所述位置热力图中每一像素点的热力值表征所述目标图像中对应的像素点为与所述位置热力图对应的预设关键点的概率，所述特征向量图中每一像素点的特征向量表征所述目标图像中对应的像素点为与所述特征向量图对应的预设关键点时的特征；基于所述位置热力图，确定所述位置热力图对应的预设关键点在所述目标图像中对应的至少一个候选点，并基于所述特征向量图，确定所述特征向量图对应的预设关键点在所述目标图像中对应的至少一个候选点的特征向量；基于各个所述预设关键点分别对应的各个候选点的特征向量，对各个所述预设关键点分别对应的候选点进行匹配，根据匹配结果确定所述各个预设关键点在所述目标图像中的像素位置。
[0005]第三方面，本公开实施例提供一种目标对象的识别装置，所述装置包括：第一检测模块，用于对目标图像进行检测，得到所述目标图像中的目标对象上的多个预设关键点分别对应的位置热力图；其中，所述位置热力图中每一像素点的热力值表征所述目标图像中对应的像素点为与所述位置热力图对应的预设关键点的概率；第一确定模块，用于基于各个预设关键点分别对应的位置热力图，以及预设的对象类别与关键点之间的对应关系，确定所述目标对象的类别。
[0006]第四方面，本公开实施例提供一种目标对象的关键点检测装置，所述装置包括：第二检测模块，用于对目标图像进行检测，得到所述目标图像中的目标对象的多个预设关键点中每一预设关键点对应的位置热力图和特征向量图；其中，所述位置热力图中每一像素
点的热力值表征所述目标图像中对应的像素点为与所述位置热力图对应的预设关键点的概率，所述特征向量图中每一像素点的特征向量表征所述目标图像中对应的像素点为与所述特征向量图对应的预设关键点时的特征；第二确定模块，用于基于所述位置热力图，确定所述位置热力图对应的预设关键点在所述目标图像中对应的至少一个候选点，并基于所述特征向量图，确定所述特征向量图对应的预设关键点在所述目标图像中对应的至少一个候选点的特征向量；匹配模块，用于基于各个所述预设关键点分别对应的各个候选点的特征向量，对各个所述预设关键点分别对应的候选点进行匹配，根据匹配结果确定所述各个预设关键点在所述目标图像中的像素位置。
[0007]第五方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
[0008]第六方面，本公开实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
[0009]本公开实施例直接对目标图像中的目标对象进行检测，得到目标对象上多个预设关键点分别对应的位置热力图，并基于各个预设关键点的位置热力图确定目标对象的类别，无需先从目标图像中检测出其他对象，再基于其他对象确定目标对象的类别，提高了对目标图像的处理效率。
[0010]本公开实施例通过对目标图像进行检测，得到目标对象的多个预设关键点中每一预设关键点对应的位置热力图和特征向量图，基于上述位置热力图确定该位置热力图对应的预设关键点对应的至少一个候选点，基于上述特征向量图确定该特征向量图对应的预设关键点对应的至少一个候选点的特征向量，并基于各个候选点的特征向量对候选关键点进行匹配，从而得到各个预设关键点在目标图像中的像素位置，提高了目标对象的关键点的检测效率，进而提升了目标对象的识别效率。
[0011]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
[0012]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0013]图1A是相关技术中的目标对象的检测和识别过程的流程图。
[0014]图1B是虚拟试戴场景的示意图。
[0015]图1C是其他对象不在图像采集装置的视野范围内时的示意图。
[0016]图1D是目标对象的检测框的大小和形状的示意图。
[0017]图2是本公开实施例的目标对象的识别方法的流程图。
[0018]图3是不同类别的目标对象上的关键点的示意图。
[0019]图4是图3所示的实施例中各个关键点的位置热力图的示意图。
[0020]图5A和图5B分别是位置热力图中的概率的示意图。
[0021]图5C是1号关键点和2号关键点对应的候选点的示意图。
[0022]图6是滑动窗口的示意图。
[0023]图7是重叠的目标对象的示意图。
[0024]图8是本公开实施例的目标对象的关键点检测方法的流程图。
[0025]图9是本公开实施例的总体流程图。
[0026]图10是本公开实施例的目标对象的识别装置的框图。
[0027]图11是本公开实施例的目标对象的关键点检测装置的框图。
[0028]图12是本公开实施例的计算机设备的结构示意图。
具体实施方式
[0029]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0030]在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标对象的识别方法，其特征在于，所述方法包括：对目标图像进行检测，得到所述目标图像中的目标对象上的多个预设关键点分别对应的位置热力图；其中，所述位置热力图中每一像素点的热力值表征所述目标图像中对应的像素点为与所述位置热力图对应的预设关键点的概率；基于各个预设关键点分别对应的位置热力图，以及预设的对象类别与关键点之间的对应关系，确定所述目标对象的类别。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述多个预设关键点分别对应的位置热力图，确定所述多个预设关键点在所述目标图像中的像素位置。3.根据权利要求2所述的方法，其特征在于，所述基于所述多个预设关键点分别对应的位置热力图，确定所述多个预设关键点在所述目标图像中的像素位置，包括：基于所述位置热力图，确定所述位置热力图对应的预设关键点在所述目标图像中对应的至少一个候选点；获取每个预设关键点分别对应的各个候选点的特征向量；所述特征向量基于所述目标图像得到；基于各个预设关键点分别对应的各个候选点的特征向量，以及各个预设关键点之间的预设距离约束条件，对各个所述预设关键点分别对应的候选点进行匹配，根据匹配结果确定所述各个预设关键点在所述目标图像中的像素位置；所述预设距离约束条件包括：多个所述预设关键点中任意两个预设关键点对应的候选点的特征向量之间的距离小于预设距离阈值；以及由匹配成功的候选点所形成的候选组的数量最大。4.根据权利要求3所述的方法，其特征在于，所述获取每个预设关键点分别对应的各个候选点的特征向量，包括：对所述目标图像进行检测，得到所述目标对象上的所述多个预设关键点分别对应的特征向量图；所述特征向量图中每一像素点的特征向量表征所述目标图像中对应的像素点为与所述特征向量图对应的预设关键点时的特征；基于所述特征向量图，确定所述特征向量图对应的预设关键点在所述目标图像中对应的至少一个候选点的特征向量。5.根据权利要求4所述的方法，其特征在于，所述多个预设关键点分别对应的位置热力图和特征向量图均通过预先训练的目标神经网络对所述目标图像进行检测得到；所述目标神经网络基于样本图像以及所述样本图像的标注信息训练得到，所述标注信息包括：所述样本图像中的样本对象的类别信息；以及所述样本图像中的样本对象上多个所述预设关键点的位置信息。6.根据权利要求5所述的方法，其特征在于，所述目标神经网络基于以下方式训练得到：分别获取所述样本对象上多个所述预设关键点分别对应的第一样本位置热力图和第二样本位置热力图；所述第一样本位置热力图基于所述标注信息中对应于所述样本位置热
力图的预设关键点的位置信息生成，所述第二样本位置热力图由初始神经网络对所述样本图像进行检测后输出；基于所述多个预设关键点中每个预设关键点对应的第一位置热力图与第二位置热力图之间的差异建立损失函数；基于所述损失函数对所述初始神经网络进行训练，得到所述目标神经网络。7.根据权利要求6所述的方法，其特征在于，所述样本图像上包括多个样本对象；所述基于所述多个预设关键点中每个预设关键点对应的第一位置热力图与第二位置热力图之间的差异建立损失函数，包括：获取所述样本图像中多样本对象中任意两个样本对象上的预设关键点的特征向量之间的第一距离；获取所述样本图像中同一样本对象上的多个预设关键点中任意两个预设关键点的特征向量之间的第二距离；基于所述第一距离和所述第二距离建立惩罚项；基于所述多个预设关键点中每个预设关键点对应的第一位置热力图与第二位置热力图之间的差异以及所述惩罚项建立损失函数。8.根据权利要求3至7任一项所述的方法，其特征在于，所述基于所述位置热力图，确定所述位置热力图对应的预设关键点在所述目标图像中对应的至少一个候选点，包括：针对在所述位置热力图上滑动的滑动窗口，确定每个滑动位置处所述滑动窗口内满足预设条件的目标像素点；所述预设条件基于所述位置热力图中所述滑动窗口内的各个像素点对应的所述概率确定；将各个目标像素点均确定为所述位置热力图对应的预设关键点对应的候选点。9.根据权利要求8所述的方法，其特征在于，所述预设条件包括：所述目标像素点对应的所述概率大于所述滑动窗口内除所述目标像素点以外的其他像素点对应的所述概率；所述目标像素点对应的所述概率大于预设概率阈值。10.一种目标对象的关键点检测方法，其特征在于，所述方法包括：对目标图像进行检测，得到所述目标图像中的目标对象的多个预设关键点中每一预设关键点对应的位置热力图和特征向量图；其中，所述位置热力图中每一像素点的热力值表征所述目标图像中对应的像素点为与所述位置热力图对应的预设关键点的概率，所述特征向量图中每一像素点的特征向量表征所述目标图像中对应的像素点为与所述特征向量图对应的预设关键点时的特征；基于所述位置热力图，确定所述位置热力图对应的预设关键点在所述目标图像中对应的至少一个候选点，并基于所述特征向量图，确定所述特征向量图对应的预设关键点在所述目标图像中对应的至少一个候选点的特征向量；基于各个所述预设关键点分别对应的各个候选点的特征向量，对各个所述预设关键点分别对应的候选点进行匹配，根据匹配结果确定所述各个预设关键点在所...

【专利技术属性】
技术研发人员：杜天元，四建楼，何野，钱晨，
申请(专利权)人：北京大甜绵白糖科技有限公司，
类型：发明
国别省市：