【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别涉及一种基于偏置热力图回归的亚像素级关键点检测方法及装置。
技术介绍
1、关键点检测是计算机视觉领域的重要任务之一。传统的关键点定位算法精度不足且鲁棒性不高，难以适应复杂的应用场景。
2、目前，最为常用的关键点检测算法均是基于卷积神经网络开发的，主要分为两大类，分别是：坐标直接回归、热力图回归。坐标直接回归由于缺乏空间泛化能力，目前应用较少。热力图回归是使用网络算法生成一个表示中间状态的高斯热图，并在高斯热图内通过查找亮度最高的点来实现对关键点的定位，目前是最为常用的关键点定位方法。
3、然而，热力图回归算法存在理论误差下界，即使输入图像与输出的热力图之间尺寸相同，也依然只能达到像素级精度，这对于一些对探测精度要求极高的场景是无法满足要求的。虽然部分传统热力图回归方法能实现亚像素级关键点检测，但是这些方法要求热力图通道数至少与关键点数目相同，并不能实现对单一通道热力图的数目不确定的关键点的精确定位的要求。
4、因此，有必要提供一种基于单一通道热力图实现对数目不确定的关键点的亚像素级精确定位方法。
技术实现思路
1、鉴于现有技术中的上述缺陷或不足，本专利技术提供了一种亚像素级关键点检测方法及装置，采用特征维度为1的热力图实现对未知数量的关键点的定位，并基于偏置量对热力图定位得到的关键点进行修正，实现了亚像素级的关键点精确定位。
2、本专利技术的一个方面，提供了一种亚像素级关键点检测方法，包括如下步骤：>
3、将待处理图像输入至偏置热力图网络，得到所述待处理图像的单通道热力图和偏置向量图；
4、确定所述单通道热力图中各个亮斑区域的关键像素点，将所述关键像素点的位置坐标与所述偏置向量图中对应的亚像素偏置向量相加，得到热力图的亚像素级关键点的位置信息。
5、进一步的，所述偏置热力图网络包括依次连接的输入层、cbr模块、pool最大值池化模块、第一cbbl模块、第二cbbl模块、第三cbbl模块、第四cbbl模块、第一ctbr模块、第二ctbr模块、第三ctbr模块、第四ctbr模块、第五ctbr模块和生成模块；
6、所述生成模块包括热力图生成模块和偏置向量图生成模块；所述热力图生成模块的输入端连接所述第五ctbr模块的输出端，所述热力图生成模块包括依次连接的cbr模块、第一卷积模块和sigmoid激活函数模块，sigmoid激活函数模块输出热力图；所述偏置向量图生成模块的输入端连接第五ctbr模块的输出端，所述偏置向量图生成模块包括依次连接的cbr模块和第二卷积模块，所述第二卷积模块输出偏置向量图；
7、上述全部的cbr模块均包括依次连接的cb模块与relu激活函数模块；
8、所述第一cbbl模块、第二cbbl模块、第三cbbl模块和第四cbbl模块均包括依次连接的cb模块和n个bne模块，所述第一cbbl模块、第二cbbl模块、第三cbbl模块和第四cbbl模块的输出张量尺寸逐渐缩小；
9、上述全部的cb模块均包括依次连接的第三卷积模块和bn模块；
10、所述第一ctbr模块、第二ctbr模块、第三ctbr模块、第四ctbr模块和第五ctbr模块均包括依次连接的转置卷积模块、bn模块和relu激活函数模块，所述第一ctbr模块、第二ctbr模块、第三ctbr模块、第四ctbr模块和第五ctbr模块的输出张量尺寸逐渐变大；
11、所述偏置热力图网络输出张量的尺寸和所述待处理图像的输入张量的尺寸相同。
12、进一步的，确定所述单通道热力图中各个亮斑区域的关键像素点的步骤，包括：
13、在热力图的每个亮斑区域内查找亮度最高的像素点，将亮度最高的像素点作为该亮斑区域的候选关键像素点；
14、判断候选关键像素点的数量，若亮斑区域内的候选关键像素点唯一，则将唯一的候选关键像素点作为该亮斑区域的关键像素点；若亮斑区域内的候选关键像素点不唯一且相邻，则将候选关键像素点的坐标均值作为该亮斑区域的关键像素点的位置。
15、进一步的，所述在热力图的每个亮斑区域内查找亮度最高的像素点，包括：自亮斑区域的中心向外遍历寻找比预定范围内所有像素点均亮的点。
16、进一步的，还包括对偏置热力图网络进行预训练的步骤，在预训练的过程中，采用focalloss损失函数和mseloss损失函数的加权和来监督学习热力图的生成。
17、本专利技术的另一方面，还提供了一种亚像素级关键点检测装置，包括：
18、第一模块，被配置为将待处理图像输入至偏置热力图网络，得到所述待处理图像的单通道热力图和偏置向量图；
19、第二模块，被配置为确定所述单通道热力图中各个亮斑区域的关键像素点，将所述关键像素点的位置坐标与所述偏置向量图中对应的亚像素偏置向量相加，得到热力图的亚像素级关键点的位置信息。
20、进一步的，所述偏置热力图网络包括依次连接的输入层、cbr模块、pool最大值池化模块、第一cbbl模块、第二cbbl模块、第三cbbl模块、第四cbbl模块、第一ctbr模块、第二ctbr模块、第三ctbr模块、第四ctbr模块、第五ctbr模块和生成模块；
21、所述生成模块包括热力图生成模块和偏置向量图生成模块；所述热力图生成模块的输入端连接所述第五ctbr模块的输出端，所述热力图生成模块包括依次连接的cbr模块、第一卷积模块和sigmoid激活函数模块，sigmoid激活函数模块输出热力图；所述偏置向量图生成模块的输入端连接第五ctbr模块的输出端，所述偏置向量图生成模块包括依次连接的cbr模块和第二卷积模块，所述第二卷积模块输出偏置向量图；
22、上述全部的cbr模块均包括依次连接的cb模块与relu激活函数模块；
23、所述第一cbbl模块、第二cbbl模块、第三cbbl模块和第四cbbl模块均包括依次连接的cb模块和n个bne模块，所述第一cbbl模块、第二cbbl模块、第三cbbl模块和第四cbbl模块的输出张量尺寸逐渐缩小；
24、上述全部的cb模块均包括依次连接的第三卷积模块和bn模块；
25、所述第一ctbr模块、第二ctbr模块、第三ctbr模块、第四ctbr模块和第五ctbr模块均包括依次连接的转置卷积模块、bn模块和relu激活函数模块，所述第一ctbr模块、第二ctbr模块、第三ctbr模块、第四ctbr模块和第五ctbr模块的输出张量尺寸逐渐变大；
26、所述偏置热力图网络输出张量的尺寸和所述待处理图像的输入张量的尺寸相同。
27、进一步的，第二模块被进一步配置为：
28、在热力图的每个亮斑区域内查找亮度最高的像素点，将亮度最高的像素点作为该亮斑区域的候选关键像素点；
29、判断候选关键像素点的数量，若亮斑区域内的候选关键像素点唯一，则将唯一的候选关键像素点作为该亮斑本文档来自技高网...
【技术保护点】
1.一种亚像素级关键点检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种亚像素级关键点检测方法，其特征在于：
3.根据权利要求1所述的一种亚像素级关键点检测方法，其特征在于，确定所述单通道热力图中各个亮斑区域的关键像素点的步骤，包括：
4.根据权利要求3所述的一种亚像素级关键点检测方法，其特征在于，所述在热力图的每个亮斑区域内查找亮度最高的像素点，包括：自亮斑区域的中心向外遍历寻找比预定范围内所有像素点均亮的点。
5.根据权利要求1所述的一种亚像素级关键点检测方法，其特征在于，还包括对偏置热力图网络进行预训练的步骤，在预训练的过程中，采用FocalLoss损失函数和MseLoss损失函数的加权和来监督学习热力图的生成。
6.一种亚像素级关键点检测装置，其特征在于，包括：
7.根据权利要求6所述的一种亚像素级关键点检测装置，其特征在于：
8.根据权利要求6所述的一种亚像素级关键点检测装置，其特征在于，第二模块被进一步配置为：
9.根据权利要求6所述的一种亚像素级关键点检测
10.根据权利要求6所述的一种亚像素级关键点检测装置，其特征在于，还包括预训练模块，被配置为在预训练的过程中采用FocalLoss损失函数和MseLoss损失函数的加权和来监督学习热力图的生成。
...【技术特征摘要】
1.一种亚像素级关键点检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种亚像素级关键点检测方法，其特征在于：
3.根据权利要求1所述的一种亚像素级关键点检测方法，其特征在于，确定所述单通道热力图中各个亮斑区域的关键像素点的步骤，包括：
4.根据权利要求3所述的一种亚像素级关键点检测方法，其特征在于，所述在热力图的每个亮斑区域内查找亮度最高的像素点，包括：自亮斑区域的中心向外遍历寻找比预定范围内所有像素点均亮的点。
5.根据权利要求1所述的一种亚像素级关键点检测方法，其特征在于，还包括对偏置热力图网络进行预训练的步骤，在预训练的过程中，采用focalloss损失函数和mseloss损...
【专利技术属性】
技术研发人员：章永宏，季旭全，刘洪升，宋雄康，耿宝多，毛宁波，张坚，
申请(专利权)人：苏州铸正机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。