一种基于把目标视为点改进的目标检测方法技术

本发明专利技术公开了一种基于把目标视为点改进的目标检测方法，该方法直接将任意尺度多目标的图像作为网络的输入，使用损失函数计算训练的损失值，通过优化损失值，反向传播更新模型参数，训练网络模型直至该模型收敛。在训练过程中选取预测的中心点热度图中的前N个点，计算对应包围框与真值包围框之间的相似度，来完成权重计算，赋予网络特征图对应的权重，告诉网络应该注意哪些点。通过在公开的数据集PascalVOC2007和2012上进行测试，体现了该网络模型具有较强的目标检测能力，证明了本发明专利技术能在保证在提高网络精度的同时，缓解中心点发散，减少冗余检测框，不影响网络的推理速度，不花费额外的计算量的情况下完成检测任务。花费额外的计算量的情况下完成检测任务。花费额外的计算量的情况下完成检测任务。

【技术实现步骤摘要】
一种基于把目标视为点改进的目标检测方法


[0001]本专利技术涉及深度学习、计算机视觉和医学图像领域，特别涉及一种基于把目标视为点改进的目标检测方法。

技术介绍

[0002]目在计算机视觉领域内，有图像分类、目标检测、实例分割以及语义分割四大基本任务。其中，目标检测驱动着实例分割、姿态估计和行为识别等任务。目前基于深度学习的目标检测方法很受欢迎，它们有着简洁、高效和端到端等优点。这些方法大体上可分为二阶段检测器和一阶段检测器。其中一阶段检测器又可以分为anchor
‑
based和anchor
‑
free两类，前者在检测中使用了anchor，而后者则没有使用。
[0003]大多数的二阶段检测器都使用轴对齐的紧紧包围物体的包围框来表示物体。因此，目标检测任务转化成了一个对潜在包含物体的包围框进行分类的问题，同时计算每个包围框对应的偏移量。除此以外，二阶段检测器也会使用非极大值抑制算法来消除冗余的边界框，这进一步增加了检测时间。
[0004]二阶段检测器把检测过程分为了两个阶段：第一个阶段用来产生建议区域；第二个阶段用来对建议区域进行预测。在第一个阶段，检测器会尝试寻找可能包含物体的区域作为建议区域；第二个阶段深度学习网络会对这些区域进行分类并且进行适当的调整。
[0005]一阶段检测器直接对特征图上每个位置进行类别预测，而不用产生包围框和分类这种级联的步骤。一阶段检测器通常是在图像上滑动一系列复杂的且可能包围物体的框，这些框就称作anchor，然后做一次框的回归和分类任务。
[0006]总体来说，二阶段检测器有着更好的效果，但是一阶段检测器有更快的检测速度。
[0007]近来，研究者开始使用一个或多个关键点来表示物体，这种方法使用关键点来预测物体位置和物体的尺寸，其中最有代表性的就是把目标视为点方法，它是一种端到端的一阶段的检测器，在计算量比二阶段减少很多的情况下，可以取得State
‑
of
‑
the
‑
art效果。
[0008]本专利技术的创新点与现有技术的区别
[0009]目标检测是计算机视觉中的基础任务之一。基于深度学习技术的目标检测技术从两阶段发展到一阶段，大大提升了检测速度，再从anchor
‑
based发展到anchor
‑
free，使得检测过程更加简洁高效。目前最具代表性的一阶段检测方法是把目标视为点，其使用中心点去预测物体位置和大小，有着不输于二阶段检测器的准确率且速度却远高于二阶段检测器。但是这种方法中一个目标往往有多个预测出的中心点，造成预测中心点的发散，进而导致一个目标存在多个冗余的包围框；并且在训练阶段，该方法对于中心点和包围框的尺寸分别训练，而在预测时需要将二者联合，这就造成了训练与预测不一致的情况。为了解决这些问题，本文提出一种基于把目标视为点方法的一阶段检测器的包围框注意力单元。本方法在网络训练的过程中通过加入对中心点以及对应的包围框的比较，对对应的中心点施加包围框注意力权重，让网络更关注于预测过程中的中心点以及对应包围框都更准确的部分，以此来提高中心点预测的准确程度。本方法缓解了中心点预测发散的问题，减少了冗余
的包围框。同时本方法保持了原有方法的简洁高效的特点，在提升网络效果的同时，没有增加额外的计算量。在PascalVOC数据集上进行了对比实验，本专利技术的mAP在原方法上提升了1.2％。

技术实现思路

[0010]为了解决当前把目标视为点方法中训练与测试两个阶段不一致，以及最终预测结果中心点发散，并且有很多冗余框的情况。
[0011]本专利技术采用的技术方案为一种基于把目标视为点的改进的端到端的图像目标检测方法，该方法将原始图像作为把目标视为点网络的输入，经过网络的计算，输出为图像中目标的包围框的坐标。这是一种端到端的图像目标检测方法，方法包括计算相似度，训练模型，目标检测三个过程，具体如下：
[0012]步骤S1，计算相似度过程：
[0013]步骤S1.1，选取训练过程中，生成的中心点热度图中的前N个点
[0014]步骤S1.2，选取热度图中前N个点对应的，包围框尺寸图中的点，作为中心点热度图中前N个点的包围框尺寸
[0015]步骤S1.3，计算选好的包围框与真值包围框之间的相似度
[0016]步骤S1.4，将相似度作为权重加在特征图上
[0017]步骤S2，模型训练过程：
[0018]步骤S2.1，将原始图像样本输入把目标视为点卷积神经网络，经过网络映射，输出为与中心点热度图，每个位置对应的包围框尺寸图，偏移量图；
[0019]步骤S2.2，通过步骤1计算对应的相似度，并且赋予中心点热度图注意力权重；
[0020]步骤S2.3，计算中心点热度图和真值热度图，包围框尺寸图和真值包围框尺寸图，偏移量图和真值偏移量图之间的损失，将其作为网络模型的优化目标，优化上述目标视为点模型；
[0021]步骤S2.3重复步骤S1.1至步骤S1.2，直至上述把目标视为点模型收敛；
[0022]步骤S3，目标检测过程：
[0023]步骤S3.1，加载把目标视为点网络训练好的参数，并将原始图像样本作为该网络的输入，通过该网络的计算，获取其对应的中心点热度图，包围框尺寸图以及偏移量图，选取前100个中心点以及对应的包围框尺寸，作为最后的检测结果。尽量保证网络能够分割不同尺寸的病灶区域。
[0024]所述步骤S2.2中，利用Adam优化算法训练输入真实图像的卷积神经网络，实现图像目标的精确快速检测。
[0025]在计算预测的包围框和真值框之间的相似度时，考虑中心点的坐标，包围框的面积作为相似度的计算维度，公式为：积作为相似度的计算维度，公式为：公式中A
gi
代表真值框的面积，(x
gi
,y
gi
)代表真值框的中心点坐标，c
gi
代表真值框的类别；A
pn
代表预测的第n个包围框的面积，(x
pn
,y
pn
)代表预测包围框对应的中心点坐标，c
pn
表示对应预测框的类别。
[0026]本专利技术构建了一种基于把目标视为点的端到端的图像目标检测模型，使用自然图像训练该模型，使得该模型具有很好的扩展性以及适用性。该网络使用原图像作为输入，并且在训练过程中使用自定义包围框注意力机制，告诉网络应该关注的地方。通过这种方法，解决了训练过程与测试过程不一致的问题，并且有效的解决了预测的中心点发散和会预测许多冗余的包围框的情况。本方法在PascalVOC2007和PascalVOC2012训练集上进行训练，并且在多个网络结构上进行了验证。
附图说明
[0027]图1为本专利技术所涉及的包围框注意力单元结构图；
[0028]图2为本专利技术所涉及的网络整体结构图；
[0029]图3为本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于把目标视为点改进的目标检测方法，其特征在于：该方法包括计算相似度，训练模型，目标检测三个过程，具体如下；步骤S1，计算相似度过程：步骤S1.1，选取训练过程中，生成的中心点热度图中的前N个点步骤S1.2，选取热度图中前N个点对应的，包围框尺寸图中的点，作为中心点热度图中前N个点的包围框尺寸步骤S1.3，计算选好的包围框与真值包围框之间的相似度步骤S1.4，将相似度作为权重加在特征图上步骤S2，模型训练过程：步骤S2.1，将原始图像样本输入把目标视为点卷积神经网络，经过网络映射，输出为与中心点热度图，每个位置对应的包围框尺寸图，偏移量图；步骤S2.2，通过步骤1计算对应的相似度，并且赋予中心点热度图注意力权重；步骤S2.3，计算中心点热度图和真值热度图，包围框尺寸图和真值包围框尺寸图，偏移量图和真值偏移量图之间的损失，将其作为网络模型的优化目标，优化上述目标视为点模型；步骤S2.3重复步骤S1.1至步骤S1.2，直至上述把目标视为点模型收敛；步骤S3，目标检测过程：加载把目标视为点网络训练好的参数，并将原始图像样本作为该网络的输入，通过该网络的计算，获取其对应的中心点热度图，包围框尺寸图以及偏...

【专利技术属性】
技术研发人员：杨新武，彭雪峰，斯迪文，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：