一种用于关键点检测的图像处理方法、网络和电子设备技术

本公开实施例涉及一种用于关键点检测的图像处理方法、网络和电子设备。本公开的至少一个实施例中，通过对待检测关键点的图像进行特征提取，得到第一特征图，所述第一特征图的通道数为c1；进而对第一特征图的通道数进行调整，得到第二特征图，所述第二特征图的通道数为c2*N，N为关键点的个数；从而对第二特征图进行组卷积和组归一化，实现对第二特征图进行分组处理，每个分组对应一个关键点，最终得到通道数为N的第三特征图，每个通道对应一个关键点，便于基于第三特征图检测关键点。采用分组处理方式使得各个关键点的学习解耦，相互独立，互不影响，提高后续进行关键点检测的准确度。

【技术实现步骤摘要】
一种用于关键点检测的图像处理方法、网络和电子设备
本公开实施例涉及图像处理
，具体涉及一种用于关键点检测的图像处理方法、网络和电子设备。
技术介绍
关键点检测是用于识别人体骨骼关键点的技术。人体骨骼关键点包括：眼部、耳部、嘴部、肩部、手肘、手腕、腰部、膝盖、脚踝等共17处关键点。关键点检测包括两个步骤，首先对图片中的人体目标进行识别定位，然后将识别出的人体目标分别单独提取出来，检测人体目标的可见关键点位置。由于人体骨骼关键点可以描述人体姿态，因此关键点检测有广泛的应用前景：1.行为识别，预测人体行为；2.动作分类，异常行为检测；3.自动驾驶/无人驾驶，预测行人运动行为与运动轨迹，提前做出预判；4.步态识别与人物跟踪，因为不同个体的步态有其独特的特点。关键点检测主要需要实现两个功能，其一是对图像中的人体目标进行检测，这个功能已经在目标检测领域中有了非常深入的研究；其二是对人体目标进行骨骼关键点的提取。目前关键点检测方案存在的主要问题有：1.人物存在遮挡关系时，难以正确检测关键点所属的人物；2.关键点位置不够精确，与真值相比存在偏移。因此，亟需提供一种用于关键点检测的图像处理方法，以提高关键点检测的准确性。上述对问题的发现过程的描述，仅用于辅助理解本公开的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种用于关键点检测的图像处理方法、网络和电子设备。第一方面，本公开实施例提出一种用于关键点检测的图像处理方法，所述方法包括：对待检测关键点的图像进行特征提取，得到第一特征图；所述第一特征图的尺寸为[b,c1,h,w]，其中，b为样本数量，c1为第一通道数，h为特征图高度，w为特征图宽度；对所述第一特征图的第一通道数进行调整，得到第二特征图；所述第二特征图的尺寸为[b,c2*N,h,w]，其中，c2*N为第二通道数，N为关键点的个数；对所述第二特征图进行组卷积和组归一化，得到第三特征图，所述第三特征图的尺寸为[b,N,h,w]；所述组卷积和组归一化的过程中每个分组的卷积和归一化相互独立，且每个分组对应一个关键点；所述第三特征图由多个关键点概率图构成，且所述第三特征图中每个通道对应一个关键点。第二方面，本公开实施例还提出一种用于关键点检测的图像处理网络，所述图像处理网络包括：骨干网络、通道调整网络和分组处理网络；所述骨干网络，用于对待检测关键点的图像进行特征提取，得到第一特征图；所述第一特征图的尺寸为[b,c1,h,w]，其中，b为样本数量，c1为第一通道数，h为特征图高度，w为特征图宽度；所述通道调整网络，用于对所述第一特征图的第一通道数进行调整，得到第二特征图；所述第二特征图的尺寸为[b,c2*N,h,w]，其中，c2*N为第二通道数，N为关键点的个数；所述分组处理网络，用于对所述第二特征图进行组卷积和组归一化，得到第三特征图，所述第三特征图的尺寸为[b,N,h,w]；所述组卷积和组归一化的过程中每个分组的卷积和归一化相互独立，且每个分组对应一个关键点；所述第三特征图由多个关键点概率图构成，且所述第三特征图中每个通道对应一个关键点。第三方面，本公开实施例还提出一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面所述方法的步骤。第四方面，本公开实施例还提出一种非暂态计算机可读存储介质，用于存储程序或指令，所述程序或指令使计算机执行如第一方面所述方法的步骤。可见，本公开的至少一个实施例中，通过对待检测关键点的图像进行特征提取，得到第一特征图，所述第一特征图的通道数为c1；进而对第一特征图的通道数进行调整，得到第二特征图，所述第二特征图的通道数为c2*N，N为关键点的个数；从而对第二特征图进行组卷积和组归一化，实现对第二特征图进行分组处理，每个分组对应一个关键点，最终得到通道数为N的第三特征图，每个通道对应一个关键点，便于基于第三特征图检测关键点。采用分组处理方式使得各个关键点的学习解耦，相互独立，互不影响，提高后续进行关键点检测的准确度。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1是本公开实施例提供的一种用于关键点检测的图像处理网络的示例性框图；图2是本公开实施例提供的一种HRNet的示例性结构图；图3是本公开实施例提供的一种用于关键点检测的图像处理方法的示例性流程图；图4是本公开实施例提供的一种电子设备的示例性框图；图5是本公开实施例提供的另一种用于关键点检测的图像处理方法的示例性流程图。具体实施方式为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。关键点检测需要得到更加精确的关键点坐标预测结果，而且需要加快训练速度。因此，本公开实施例基于概率图的方法，设计更加精巧的神经网络提取图像特征，得到更加精确的概率图。图1为本公开实施例提供的一种用于关键点检测的图像处理网络的示例性框图。如图1所示，图像处理网络可包括但不限于：骨干网络11、通道调整网络12和分组处理网络13。骨干网络11骨干网络(Backbone)11，可以理解为图像中公共特征的提取器(PublicFeatureExtractor)，用于对待检测关键点的图像进行特征提取，得到第一特征图。其中，第一特征图的尺寸为[b,c1,h,w]，其中，b(batchsize)为样本数量，c1为第一通道数，h为特征图高度，w为特征图宽度。本领域技术人员可以理解b,c1,h,w均为正整数。在一些实施例中，骨干网络11为HRNet(High-ResoultionNet)。HRNet是一种基于概率图的关键点检测网络，其主要思想为通过设计网络结构得到针对各个关键点的概率图，损失函数的优化目标为使得概率图中关键点坐标上的概率接近1，其他点的概率接近0。HRNet的示例性结构图如图2所示，横向方向表示网络的深度(depth)，纵向方向表示网络的尺度(scale)。图2中，网络分成多个阶段(例如深度1至3、4至6、7至10、11至14分别为不同的阶段)，在每个阶段初，增添一个更小分辨率的特本文档来自技高网...

【技术保护点】
1.一种用于关键点检测的图像处理方法，其特征在于，所述方法包括：/n对待检测关键点的图像进行特征提取，得到第一特征图；所述第一特征图的尺寸为[b,c1,h,w]，其中，b为样本数量，c1为第一通道数，h为特征图高度，w为特征图宽度；/n对所述第一特征图的第一通道数进行调整，得到第二特征图；所述第二特征图的尺寸为[b,c2*N,h,w]，其中，c2*N为第二通道数，N为关键点的个数；/n对所述第二特征图进行组卷积和组归一化，得到第三特征图，所述第三特征图的尺寸为[b,N,h,w]；所述组卷积和组归一化的过程中每个分组的卷积和归一化相互独立，且每个分组对应一个关键点；所述第三特征图由多个关键点概率图构成，且所述第三特征图中每个通道对应一个关键点。/n

【技术特征摘要】
1.一种用于关键点检测的图像处理方法，其特征在于，所述方法包括：
对待检测关键点的图像进行特征提取，得到第一特征图；所述第一特征图的尺寸为[b,c1,h,w]，其中，b为样本数量，c1为第一通道数，h为特征图高度，w为特征图宽度；
对所述第一特征图的第一通道数进行调整，得到第二特征图；所述第二特征图的尺寸为[b,c2*N,h,w]，其中，c2*N为第二通道数，N为关键点的个数；
对所述第二特征图进行组卷积和组归一化，得到第三特征图，所述第三特征图的尺寸为[b,N,h,w]；所述组卷积和组归一化的过程中每个分组的卷积和归一化相互独立，且每个分组对应一个关键点；所述第三特征图由多个关键点概率图构成，且所述第三特征图中每个通道对应一个关键点。


2.根据权利要求1所述的方法，其特征在于，所述对待检测关键点的图像进行特征提取，得到第一特征图包括：
通过骨干网络对待检测关键点的图像进行特征提取，得到第一特征图。


3.根据权利要求2所述的方法，其特征在于，
所述骨干网络为HRNet。


4.根据权利要求1所述的方法，其特征在于，所述对所述第一特征图的第一通道数进行调整，得到第二特征图包括：
将所述第一特征图依次进行卷积、批归一化和线性整流，得到第二特征图；其中，所述卷积对应的卷积核数与所述第二通道数相同。


5.根据权利要求1所述的方法，其特征在于，所述对所述第二特征图进行组卷积和组归一化包括：
对所述第二特征图进行分组，每个分组对应的特征图的尺寸为[b,c2,h,w]，分组数量与所述关键点的个数相同；
对不同分组并行操作，且针对每个分组，依次进行卷积和归一化。


6.根据权利要求5所述的方法，其特征在于，所述针对每个分组，依次进行卷积和归一化，包括：
对每个分组...

【专利技术属性】
技术研发人员：任豪，王紫颐，
申请(专利权)人：驭势科技南京有限公司，
类型：发明
国别省市：江苏;32