基于单侧松弛最优传输与纯点基精确定位的密集检测方法技术

本文提出的基于单侧松弛最优传输与纯点基精确定位的密集检测方法，其主要步骤如下：步骤一、预训练一种金字塔视觉自注意力模型。定义好每一层中，视觉自注意力模型的规模大小。高效回归头与多尺度扩张卷积组成预测模块。步骤二、提出一种基于测度理论的计数方法，设计了一个单侧松弛最优传输算法。先对真值图和预测密度图形成的测度做Sinkhorn迭代收敛，并在这个过程中以98％的松弛度对传输矩阵的连续测度一侧进行边界松弛，再计算预测密度图形成的测度与传输矩阵对应的边缘分布的特征向量距离损失，形成单侧边界松弛惩罚。步骤三、提出一个纯点基精确定位框架，预测目标的位置点信息。通过匈牙利算法对候选点和真值点进行一对一匹配，来监督优化模型。

【技术实现步骤摘要】

本专利技术涉及使用多尺度特征提取网络、金字塔视觉自注意力模型、单侧松弛最优传输、点到点精确定位、匈牙利算法和密度估计与纯点基精确定位相结合的密集检测。

技术介绍

1、密集检测是计算机视觉的一个研究热点，它是对场景中密集目标数量的估计，广泛应用于城市规划、交通拥挤估计和人群管理等诸多领域。密集检测在公安领域也具有特别重要的实际应用价值。

2、在具有数千个目标、严重遮挡和巨大规模变化的复杂场景中，计算目标是一个挑战。因此，在现代密集检测数据集中，提供粗标注(如点)比提供细标注(如边框甚至轮廓)更可行，更省力。然而，从图像生成开始的密集检测仍面临多项挑战。

3、首先，对密集检测原图像的特征处理，主流的方法集中于设计各种卷积神经网络(cnns)。但是相机附近的密集目标规模更大，密度更低，反之亦然，这导致图像中的规模和密度存在巨大差异。一个公认的解决方案是增强基于卷积神经网络模型的全局上下文建模能力。卷积神经网络具有很强的局部特征提取能力，但由于卷积神经网络感受野有限，它并不完美。因此，研究人员提出了各种机制来完善基于卷积神经网络的模型。一种本文档来自技高网...

【技术保护点】

1.基于单侧松弛最优传输与纯点基精确定位的密集检测方法，其特征在于：至少包括以下步骤：

2.根据权利要求1所述的一种基于单侧松弛最优传输与纯点基精确定位的密集检测方法，其特征在于：步骤一中预训练一种金字塔视觉自注意力模型；该模型以密集检测原图像作为输入，其骨干网络部分，可以使用大规模分类数据集进行预训练，提升其特征提取的能力，在这期间需要定义好金字塔每一层中，视觉自注意力模型的规模和patch大小，在有效聚合细粒度特征和粗粒度特征与降低计算复杂度之间找到平衡点；高效回归头与多尺度扩张卷积(MDC)组成的预测模块，可以在使用密集检测数据集进行训练的过程中进行微调；密集检测原图像...

【技术特征摘要】

1.基于单侧松弛最优传输与纯点基精确定位的密集检测方法，其特征在于：至少包括以下步骤：

2.根据权利要求1所述的一种基于单侧松弛最优传输与纯点基精确定位的密集检测方法，其特征在于：步骤一中预训练一种金字塔视觉自注意力模型；该模型以密集检测原图像作为输入，其骨干网络部分，可以使用大规模分类数据集进行预训练，提升其特征提取的能力，在这期间需要定义好金字塔每一层中，视觉自注意力模型的规模和patch大小，在有效聚合细粒度特征和粗粒度特征与降低计算复杂度之间找到平衡点；高效回归头与多尺度扩张卷积(mdc)组成的预测模块，可以在使用密集检测数据集进行训练的过程中进行微调；密集检测原图像经过该模型将得到其对应的单通道的特征图。

3.根据权利要求1所述的一种基于单侧松弛最优传输与纯点基精确定位的密集检测方法，其特征在于：步骤二中提出一种新的基于测度理论的计数方法，推导了sinkhorn距离的单侧松弛形式，并设计了一个单侧松弛的sinkhorn计数损失，将预测的密度图直接回归到点标注，作为损失之一来优化我们的模型；将离散的真值图和步骤一得到的预测密度图分别用离散的点测度和连续测度表示，并分别作为单侧松弛最优传输矩阵的边缘分布，并以坐标点的像素的欧氏距离作为最优传输的代价矩阵，以传输矩阵的信息熵作为熵正则化项，将两种测度、代价矩阵和熵正则化项带入sinkhorn公式，可以计...

【专利技术属性】
技术研发人员：王生生，梁铭阔，赖永，
申请(专利权)人：吉林大学，
类型：发明
国别省市：