一种基于特征对齐的单阶段目标关键点检测方法技术

本发明专利技术公开了一种基于特征对齐的单阶段目标关键点检测方法，通过对预先获取的数据集中图像中的各个目标进行圆形标注，得到相应的标注文档；根据所述标注文档，生成相应的标签热力图；通过预先构建的关键点检测网络对所述图像进行特征提取，得到第一关键点特征；基于所述标签热力图，对所述第一关键点特征进行特征对齐，得到第一对齐特征和第二对齐特征；根据所述第一对齐特征和所述第二对齐特征进行关键点预测，得到每个关键点的类别和位置，相对于现有的方框标注方式，本发明专利技术使用圆形标注方式使目标更关注关键点和关键点附近的信息，有效提升了标注速度，同时使用特征对齐的方式，能在不降低检测速度的前提下，提高目标关键点的检测精度。键点的检测精度。键点的检测精度。

【技术实现步骤摘要】
一种基于特征对齐的单阶段目标关键点检测方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于特征对齐的单阶段目标关键点检测方法。

技术介绍

[0002]目标检测是一项重要的计算机视觉任务，它处理检测数字图像中某一类视觉对象(例如人类、动物或汽车)的实例。目标检测的目标是开发计算模型和技术，以提供计算机视觉应用程序所需的最基本信息之一：什么物体在哪里。
[0003]目标检测按照是否存在先验框分类可以分为基于锚框的目标检测算法和无锚框的目标检测算法。基于锚框的目标检测算法首先建立不同长宽比的检测框，然后对锚框中的内容进行分类和回归，主要依据还是目标的方框信息进行回归，经典网络有RCNN，Fast RCNN，Faster RCNN，SSD等。无锚框的目标检测算法是基于中心区域和关键点的目标检测算法，取消了锚框生成机制，加快了速度。经典方法如CenterNet，CenterNet目标描述主要描述成一个中心点，同时回归目标框的宽和长。
[0004]目前，目标检测的方法使用的是矩形框进行标注，在标注数据集的时候需要先选定左上或者右下的点，然后控制长宽两个维度来标注，标注时更关注物体的边缘信息，标注速度较慢，且方框内容易出现背景或其他类目标的信息。当物体发生遮挡时，标注的矩形框内会出现遮挡物，这样模型在学习的时候会学习到没有用的特征，使模型难收敛或者收敛速度较慢，尤其是基于锚框的方法。而基于无锚框的方法容易受到物体的几何形状产生问题，例如centernet使用中心点作为主要的回归点，但是当物体为弯曲形状，即方框的中心点不在物体上，导致学习到的中心点并不在物体本身，同样也可能因为中心被遮挡而导致物体学习到没有用的特征，使模型难收敛或者收敛速度较慢。并且无锚框的方法由于是单阶段的，虽然速度比两阶段的快，没有基于锚框的两阶段检测方法准确率高。

技术实现思路

[0005]本专利技术实施例提供种基于特征对齐的单阶段目标关键点检测方法，其能在不降低检测速度的前提下，提高目标关键点的检测精度。
[0006]第一方面，本专利技术实施例提供了一种基于特征对齐的单阶段目标关键点检测方法，包括：
[0007]对预先获取的数据集中图像中的各个目标进行圆形标注，得到相应的标注文档；
[0008]根据所述标注文档，生成相应的标签热力图；
[0009]通过预先构建的关键点检测网络对所述图像进行特征提取，得到第一关键点特征；
[0010]基于所述标签热力图，对所述第一关键点特征进行特征对齐，得到第一对齐特征和第二对齐特征；
[0011]根据所述第一对齐特征和所述第二对齐特征进行关键点预测，得到每个关键点的
类别和位置。
[0012]作为上述方案的改进，所述基于所述标签热力图，对所述第一关键点特征进行特征对齐，得到第一对齐特征和第二对齐特征，包括：
[0013]根据所述第一关键点特征和所述标签热力图，对预先构建的热力图偏移量预测网络进行训练，获得关键点热力图和关键点偏移量；
[0014]根据所述第一关键点特征，通过预先构建的双路卷积神经网络进行特征提取，得到第二关键点特征；
[0015]根据所述第二关键点特征、所述关键点热力图和关键点偏移量进行特征对齐，得到所述第一对齐特征和所述第二对齐特征。
[0016]作为上述方案的改进，所述根据所述第二关键点特征、所述关键点热力图和关键点偏移量进行特征对齐，得到所述第一对齐特征和所述第二对齐特征，包括：
[0017]根据所述第二关键点特征和所述关键点热力图，得到第三关键点特征；
[0018]利用所述关键点的偏移量对所述第三关键点特征进行特征重构，得到关键点重构特征；
[0019]根据所述第二关键点特征和所述关键点重构特征，得到第一对齐特征；
[0020]根据所述第二关键点特征和所述第三关键点特征，得到第二对齐特征。
[0021]作为上述方案的改进，根据所述第一对齐特征和所述第二对齐特征进行关键点预测，得到每个关键点的类别和位置，包括：
[0022]根据所述第一对齐特征，通过预先构建的偏移量预测网络，得到关键点的预测偏移量；
[0023]根据所述第二对齐特征和所述标签热力图，对预先构建的热力图预测网络进行训练，获得预测关键点热力图；
[0024]根据所述预测关键点热力图和关键点的预测偏移量，计算每个关键点的类别和位置。
[0025]作为上述方案的改进，根据所述预测关键点热力图和关键点的预测偏移量，计算每个关键点的类别和位置，包括：
[0026]根据所述预测关键点热力图和关键点的预测偏移量，计算每个关键点的类别和位置；
[0027]对所述预测关键点热力图进行最大池化处理，获得置信度位于前列的K个索引；
[0028]根据获得的k个索引和关键点类别数，计算出相应关键点的类别；
[0029]根据获得的k个索引、所述关键点类别数、所述预测关键点热力图的尺寸和所述预测偏移量，计算出相应关键点的位置。
[0030]作为上述方案的改进，根据获得的k个索引和关键点类别数，计算出相应关键点的类别，包括：
[0031]以各个索引为除数、所述关键点类别数为被除数进行取余计算，得到各个索引的第一余数；
[0032]根据各个索引的第一余数，确定各个索引的类别。
[0033]作为上述方案的改进，根据获得的k个索引、所述关键点类别数、所述预测关键点热力图的尺寸和所述预测偏移量，计算出相应关键点的位置，包括：
[0034]以各个索引为除数、所述预测关键点热力图的长度为被除数进行第一整除计算；
[0035]以第一整除计算后得到的数值为除数、所述关键点类别数为被除数进行取余计算，得到各个索引的第二余数，作为各个索引的横坐标；
[0036]以各个索引为除数、所述预测关键点热力图的宽度为被除数进行第二整除计算；
[0037]以第二整除计算后得到的数值为除数、所述关键点类别数为被除数进行取余计算，得到各个索引的第三余数，作为各个索引的纵坐标；
[0038]根据各个索引的横坐标、纵坐标和所述预测偏移量，得到各个关键的位置。
[0039]作为上述方案的改进，所述根据所述标注文档，生成相应的标签热力图，包括：
[0040]根据所述标注文档中判别性特征点的标注位置和标注半径，确定高斯分布半径；
[0041]根据所述高斯分布半径，计算高斯分布方差；
[0042]根据所述高斯分布半径和所述高斯分布方差，生成相应的标签热力图。
[0043]作为上述方案的改进，所述根据所述标注文档中判别性特征点的标注位置和标注半径，确定高斯分布半径，包括：
[0044]根据设定的交并比阈值和所述判别性特征点的标注半径，采用公式(1)计算相离情况下得第一高斯半径；
[0045][0046]根据设定的交并比阈值和所述判别性特征点的标注半径，采用公式(2)计算相离情况下得第二高斯半径；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征对齐的单阶段目标关键点检测方法，其特征在于，包括：对预先获取的数据集中图像中的各个目标进行圆形标注，得到相应的标注文档；根据所述标注文档，生成相应的标签热力图；通过预先构建的关键点检测网络对所述图像进行特征提取，得到第一关键点特征；基于所述标签热力图，对所述第一关键点特征进行特征对齐，得到第一对齐特征和第二对齐特征；根据所述第一对齐特征和所述第二对齐特征进行关键点预测，得到每个关键点的类别和位置。2.如权利要求1所述的基于特征对齐的单阶段目标关键点检测方法，其特征在于，所述基于所述标签热力图，对所述第一关键点特征进行特征对齐，得到第一对齐特征和第二对齐特征，包括：根据所述第一关键点特征和所述标签热力图，对预先构建的热力图偏移量预测网络进行训练，获得关键点热力图和关键点偏移量；根据所述第一关键点特征，通过预先构建的双路卷积神经网络进行特征提取，得到第二关键点特征；根据所述第二关键点特征、所述关键点热力图和关键点偏移量进行特征对齐，得到所述第一对齐特征和所述第二对齐特征。3.如权利要求2所述的基于特征对齐的单阶段目标关键点检测方法，其特征在于，所述根据所述第二关键点特征、所述关键点热力图和关键点偏移量进行特征对齐，得到所述第一对齐特征和所述第二对齐特征，包括：根据所述第二关键点特征和所述关键点热力图，得到第三关键点特征；利用所述关键点的偏移量对所述第三关键点特征进行特征重构，得到关键点重构特征；根据所述第二关键点特征和所述关键点重构特征，得到第一对齐特征；根据所述第二关键点特征和所述第三关键点特征，得到第二对齐特征。4.如权利要求1所述的基于特征对齐的单阶段目标关键点检测方法，其特征在于，根据所述第一对齐特征和所述第二对齐特征进行关键点预测，得到每个关键点的类别和位置，包括：根据所述第一对齐特征，通过预先构建的偏移量预测网络，得到关键点的预测偏移量；根据所述第二对齐特征和所述标签热力图，对预先构建的热力图预测网络进行训练，获得预测关键点热力图；根据所述预测关键点热力图和关键点的预测偏移量，计算每个关键点的类别和位置。5.如权利要求4所述的基于特征对齐的单阶段目标关键点检测方法，其特征在于，根据所述预测关键点热力图和关键点的预测偏移量，计算每个关键点的类别和位置，包括：根据所述预测关键点热力图和关键点的预测偏移量，计算每个关键点的类别和位置；对所述预测关键点热力图进行最大池化处理，获得置信度位于前列的K个索引；根据获得的k个索引和关键点类别数，计算出相应关键点的类别；根据获得的k个索引、所述关键点类别数、所述预测关键点热力图的尺寸和所述预测偏移量，计算...

【专利技术属性】
技术研发人员：谢雪梅，刘滢东，钟微，
申请(专利权)人：琶洲实验室黄埔，
类型：发明
国别省市：