基于神经网络的关键点检测方法和系统技术方案

本发明专利技术涉及确定包含在图像中的多个对象的关键点并基于神经网络(2)和与神经网络(2)耦合的后处理系统(3)将所述关键点与各相应对象相关联的一种计算机实现方法。象相关联的一种计算机实现方法。象相关联的一种计算机实现方法。

【技术实现步骤摘要】
【国外来华专利技术】基于神经网络的关键点检测方法和系统


[0001]本专利技术涉及的是一般的神经网络领域，尤其是深度神经网络领域。更具体地说，本专利技术涉及用于检测包含在图像中的多个对象的关键点并基于神经网络将所述关键点与各相应对象相关联的一种方法和系统。所述神经网络可以是例如卷积神经网络。

技术介绍

[0002]关键点检测的目的是，定位图像上一对象的预定义点集，并将它们分组到各个对象实例，这是一项挑战性的任务，尤其是在汽车应用领域中。通过检测行人、骑车人、车辆等对象的关键点，可确定所述对象相对于摄像装置视线的姿态。此外，还可对由摄像装置提供的图像中的一个或多个人进行骨骼检测。
[0003]尤其在车辆中，计算资源是有限的。然而，在如自主驾驶或至少部分辅助驾驶等汽车应用领域中，却有必要实时检测和分组关键点，并将所述分组的关键点(例如以0.1秒或更短的延迟)与对象相关联，因为必须基于检测到的对象关键点或姿态，迅速做出决定。
[0004]曹哲(Zhe Cao)、托马斯
·
西蒙(Tomas Simon)、魏斯恩(Shih
‑
En Wei)、亚瑟
·
沙伊赫(Yaser Sheikh)于2016年11月24日在国际计算机视觉与模式识别会议上发表的论文“Realtime Multi
‑
Person 2D Pose Estimation using Part Affinity Fields(使用部分亲和场的实时多人二维平面姿态估计)”中公布了以感兴趣关键点位置为中心的高斯置信图预测。将关键点与人的实例相关联分两步进行：首先，通过引入关键点之间的定向连接，使相应关键点构成一完整的骨骼，然后试图通过预测与之对齐的矢量场对所述连接进行定位。找到所有有效连接后，可重建离散骨架。方法是使共享关键点的连接相关联。
[0005]曹哲等人提出的姿态估计算法的主要缺点是使用双三次像素插值的升格算法的计算复杂性，以及对关键点进行分组，并将所述分组的关键点与对象实例相关联的后处理的计算复杂性。
[0006]周兴义(Xingyi Zhou)、王德权(Dequan Wang)、菲利普
·
克莱恩布尔(Philipp)于2019年4月16日在国际计算机视觉与模式识别会议上发表的论文“Objects as Points(对象作为点)”中公布了一种算法，所述算法检测图像上对象质心，将关键点预测与这些质心相关联，并预测关键点相对于质心的偏移。所提出的方法无法处理(例如由于腿的下部缺失，膝盖和脚踝缺失等)对象实例的关键点缺失情况。在关键点缺失情况下，所述方法被迫也预测图像上人缺失的关键点，从而导致大量的假阳性关键点检测。

技术实现思路

[0007]本专利技术的一个目的是，提供检测一图像中所包含的多个对象的关键点并将所述关键点与各相应对象相关联的一种方法，所述方法一方面需要较少的计算资源，另一方面不容易出现假阳性关键点检测。所述任务通过独立权利要求的特征解决。从属权利要求中给出了优选的实施方式。如果没有明确说明，本专利技术的实施方式可彼此自由组合。
[0008]根据一观点，本专利技术涉及的是用于确定包含在图像中的多个对象的关键点并将所
述关键点与各相应对象相关联的一种方法。所述方法基于神经网络和与所述神经网络耦合的后处理系统执行。所述方法包括以下步骤：
[0009]首先，由神经网络提供置信热图。每个置信热图提供关于感兴趣的关键点的大致位置的信息。更详细地说，每个置信热图可以是高斯分布或类似高斯的分布，它以一特定关键点的位置为中心。与提供给神经网络的输入图像的分辨率相比，置信热图可具有较低的分辨率。因此，降低了计算的复杂性，但缺点是精确度较低。由于置信热图的分辨率或比例降低，置信热图只能提供关键点的大致位置。
[0010]此外，由神经网络提供细化偏移矢量。每个细化偏移矢量都与一特定关键点相关联，并为细化由置信热图显示的相关关键点的大致位置提供信息。细化偏移矢量是一矢量，尤其是一个二维矢量，它提供关键点相对于置信热图所示关键点大致位置的准确方向信息。更详细地说，置信热图可以是一概率分布，即提供指示一关键点在图像一特定位置的概率的值。置信热图包括一最大值，由于置信热图较低的分辨率，该值表示的是关键点的大致位置。在将细化偏移矢量添加到置信热图的最大值位置后，就可得到关键点的细化位置。例如，如果置信热图表明关键点的大致位置是(x＝2，y＝2)，而细化偏移矢量的值是(0.1，0.8)，那么通过将细化偏移矢量的值与关键点大致位置的值相加，就可得到关键点的细化位置(2.1，2.8)。
[0011]此外，神经网络还提供质心偏移矢量集或一个或多个质心置信热图，以及质心细化偏移矢量。在第一种替代选择情况下，质心偏移矢量集中的每个质心偏移矢量都与一特定关键点相关联，并提供有关关键点与所述关键点所属对象的质心之间的距离和方向信息。更详细地说，对象的质心位置可通过将质心偏移矢量值与关键点的位置相加而获取。关键点位置可以是关键点的大致位置(即没有添加细化偏移矢量的置信热图最大值的位置)或关键点的准确位置(即细化偏移矢量与置信热图最大值相加后的位置)。
[0012]在第二替代选择情况下，每个质心置信热图提供有关质心大致位置的信息。更详细地说，每个质心置信热图可以是高斯分布或类似高斯的分布，它以一特定质心的位置为中心。质心置信热图可以是一个概率分布，即提供指示图像一特定位置具有质心的概率值。与提供给神经网络的输入图像分辨率相比，质心置信热图可具有较低的分辨率。因此，降低了计算的复杂性，但缺点是精确度较低。因此，由于质心置信热图的分辨率或比例降低，质心置信热图只能提供关键点的大致位置。
[0013]每个质心细化偏移矢量与一质心相关联，并提供细化所述相关联的质心的位置的信息。质心细化偏移矢量是一矢量，具体地说是一个二维矢量，它提供质心的方向信息，相对于质心置信热图所指示质心的大致位置而言，质心的位置是准确的。更详细地说，质心置信热图包括最大值，由于质心置信热图的分辨率较低，它表示质心的大致位置。在将质心细化偏移矢量添加到质心置信热图的最大值位置后，就可得到质心的细化位置。例如，如果质心置信热图表明质心的大致位置是(x＝3，y＝3)，而质心细化偏移矢量的值是(0.2，0.7)，那么将质心细化偏移矢量的值与质心大致位置的值相加，就可得到质心的细化位置(3.2，3.7)。
[0014]后处理中，对由神经网络提供的信息进行处理。
[0015]为获得关键点大致位置，确定各相应置信热图中的最大值位置。所述关键点大致位置基于包含在细化偏移矢量中的信息进行细化。更详细地说，置信热图的最大值位置表
示关键点的大致位置。通过将细化偏移矢量添加到关键点的大致位置，可得到关键点的细化位置。
[0016]此外，对象质心是通过将质心偏移矢量应用于关键点位置或通过基于质心细化偏移矢量对由质心置信热图提供的质心大致位置进行细化而确定的。更详细地说，质心置信热图的最大值位置表示质心的大致位置本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.用于确定包含在图像中的多个对象的关键点并基于神经网络(2)和与神经网络(2)耦合的后处理系统(3)将所述关键点与各相应对象相关联的计算机实现方法，其中，所述方法包括以下步骤：
‑
由神经网络(2)提供置信热图(CH)(S10)，其中，所述置信热图(CH)包含比所述图像更低的分辨率，并由此提供有关感兴趣的关键点的大致位置的信息；
‑
由神经网络(2)提供细化偏移矢量(ROV)(S11)，其中，每个细化偏移矢量(ROV)与一特定关键点相关联，其中，每个细化偏移矢量(ROV)提供用于细化相关联的关键点的位置的信息；
‑
提供(S12)：o由神经网络(2)提供质心偏移矢量(COV)集，其中，所述质心偏移矢量(COV)集中的每个质心偏移矢量都与一关键点相关联，其中，所述质心偏移矢量(COV)提供有关关键点与所述关键点所属对象的质心之间的距离和方向的信息；或o由神经网络(2)提供一个或多个质心置信热图，其中，每个质心置信热图包括比所述图像更低的分辨率，并由此提供关于质心大致位置的信息，其中，由神经网络(2)提供一个或多个质心细化偏移矢量，其中，每个质心细化偏移矢量与一质心相关联，并提供用于对相关联的质心的位置进行细化的信息；
‑
确定各相应置信热图(CH)中的最大值位置，并将各相应置信热图(CH)中的最大值位置用作关键点大致位置，并通过添加细化偏移矢量(ROV)对所述关键点大致位置进行细化，从而获得细化的关键点位置(S13)；
‑
通过以下方式确定所述多个对象的质心(S14)o将质心偏移矢量(COV)添加到细化的关键点位置或关键点大致位置；或o通过向各相应质心大致位置添加质心细化偏移矢量，对由质心置信热图提供的质心大致位置进行细化(S14)；
‑
基于所确定的对象质心将关键点与对象相关联(S15)。2.根据权利要求1所述的方法，其中，神经网络(2)提供一亲和场矢量(AFV)集，其中，所述亲和场矢量(AFV)提供有关关键点对之间的连接的信息。3.根据权利要求2所述的方法，其中，亲和场矢量(AFV)用于确定通过对象连接结构相互连接的关键点对。4.根据权利要求2或3所述的方法，其中，在关键点模糊不清情况下，亲和场矢量(AFV)用于消除关键点的模糊性。5.根据上述权利要求中任一权利要求所述的方法，其中，神经网络(2)为不同类型的对象提供置信热图(CH)、细化偏移矢量(ROV)、质心偏移矢量和/或质心置信热图。6.根据上述权利要求中任一权利要求所述的方法，其中，置信热图(CH)根据给定的关键点类型进行分组和/或标记。7.根据上述权利要求中任一权利要求所述的方法，其中，将关键点与对象相关联的步骤是基于搜索与一个或多个关键点最接近的质心来实施的。8.根据上述权利要求中任一权利要求所述的方法，其中，将关键点与对象相关联的步骤是通过确定一个或多个质心集群、为每个质心集群分配一标记以及通过考...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：大陆智行德国有限公司，
类型：发明
国别省市：