一种融合信息瓶颈和不确定性感知的可信目标检测方法技术

本发明专利技术公开了一种融合信息瓶颈和不确定性感知的可信目标检测方法，获取训练样本集，并建模数据噪声服从混合高斯分布；构建一个不确定性感知的可信目标检测模型，并使用期望最大化算法构造融合数据不确定性的损失函数；引入信息瓶颈理论，对损失函数添加信息瓶颈正则化项，并使用帕累托优化自适应加权各损失项，优化模型参数；最后，在测试阶段，开启Dropout功能，对同一测试样本进行多次检测，输出最终检测结果、数据不确定性以及整体的模型不确定性。本发明专利技术所述方法能够有效感知目标检测任务中的不确定性作为检测结果的可信度量，从而有效规避了实际应用中由于模型误检带来的风险，并提高了目标检测模型在实际应用中的泛化性和鲁棒性。和鲁棒性。和鲁棒性。

【技术实现步骤摘要】
一种融合信息瓶颈和不确定性感知的可信目标检测方法


[0001]本专利技术涉及目标检测技术，特别是一种融合信息瓶颈和不确定性感知的可信目标检测方法。

技术介绍

[0002]目标检测是计算机视觉中的一个热门任务，基于深度学习的目标检测模型，如Faster R
‑
CNN，YOLO和CenterNet在自动驾驶、缺陷检测等场景中产生了巨大的应用价值。然而，在过去的十年，虽然各种目标检测方法在基准数据集上的性能不断被刷新，但是在实际环境中，由于可能出现训练期间未见过的物体、恶劣的天气环境、不同的光照条件等，导致模型的部署仍然具有挑战。在训练数据中包含每一种场景是不切实际的，因此，能够准确感知环境的不确定性，并提供有关检测结果可信度量对风险敏感领域的目标检测模型至关重要。
[0003]现有目标检测模型往往使用softmax函数输出预测的类别概率，并将其称为分类置信度，并将输出的预测框与真实框之间的IOU称为回归置信度。但是上述置信度并不能很好地反映检测结果的可信程度，以分类置信度为例，即使对于错误的检测，现有模型往往也会输出较高的置信度，无法做到“知道自己不知道”。
[0004]不确定性估计是衡量检测结果可信程度的有效方法。目标检测任务中的不确定性可以分为数据不确定性和模型不确定性。数据不确定性主要来源于真实数据中的固有噪声，模型不确定性则来源于模型参数的不确定性。有些工作尝试使用贝叶斯神经网络建模模型不确定性，并假设数据噪声服从高斯分布，通过预测高斯分布的方差来感知数据不确定性。然而，现实场景中的噪声通常是复杂的，单一高斯分布往往不能准确地建模真实噪声，导致不确定性估计不准确，不能很好地反映检测结果的可信程度。此外，现有目标检测模型的特征提取器输出特征往往与输入高度相关，输入的微小扰动都可能导致提取特征的显著改变，最终造成错误的检测，影响了实际场景中模型的泛化性和鲁棒性。

技术实现思路

[0005]专利技术目的：本专利技术的目的是提供一种融合信息瓶颈和不确定性感知的可信目标检测方法，从而提高目标检测模型在环境和噪声复杂多变场景下的泛化性和鲁棒性。
[0006]技术方案：本专利技术所述的一种融合信息瓶颈和不确定性感知的可信目标检测方法，包括以下步骤：S1：获取训练样本集：收集带标注的图像数据，并构建目标中心点热图用于训练。
[0007]S2：建模训练数据噪声服从混合高斯分布，所述的噪声包括目标中心点热图噪声和目标检测框宽高噪声。
[0008]在实际应用中，数据中存在的复杂噪声往往导致目标检测性能不佳。为了应对这一挑战，设计模型能够感知由噪声导致的数据不确定性，可以降低模型对于噪声的敏感度，提高模型的鲁棒性。但是现有方法大多建模噪声服从单一高斯分布，不能拟合现实场景中
的复杂噪声。因此，为了提高模型感知数据不确定性的能力，进而提高目标检测模型的鲁棒性，有必要建模数据噪声服从混合高斯分布，具体步骤如下：S2.1：本专利技术将CenterNet目标检测模型作为基线方法，在CenterNet中，分类任务本质为回归c个通道的标签热图矩阵对应各个像素点的数值，像素点数值为0到1之间的浮点数，c为目标检测总类别数。因此定义Y=[y1,y2,...,y
n
]T
为热图对应的列向量，为噪声向量，其中n为热图矩阵包含的像素个数。然后建模噪声服从均值为零，方差为的混合高斯分布：
[0009]式中，表示热图第c个通道中(x,y)坐标像素值对应的噪声，表示由第k个高斯分布生成的权重概率。则噪声向量的似然函数可以写为：
[0010]S2.2：建模目标p对应的检测框宽高噪声e
pw
,e
ph
分别服从均值为零方差为和的混合高斯分布，噪音e
pw
,e
ph
表达式分别如下：；；式中， 表示e
pw
由第k个均值为0方差为的高斯分布生成的权重概率，表示e
ph
由第k个均值为0方差为的高斯分布生成的权重概率。
[0011]因此图像中所有检测目标对应噪声e
w
、e
h
的似然函数为：
[0012]S3：构建特征提取器、不确定性感知的目标分类头、不确定性感知的检测框宽高回归头以及目标中心点偏置头。
[0013]S3.1：构建特征提取器r(X)获取输入图像X的多尺度表征Z。
[0014]S3.2：构建目标中心点分类头f
xyc
(Z)，包含多个2维卷积层、3维卷积层与Dropout层，其与标签热图像素y
xyc
满足，即标签热图y
xyc
服从如下混合高斯分布：
[0015]由于标签热图中各个像素的噪声不同，为了能够捕获依赖于各像素点的异质方差以及权重概率，设计目标分类头在输出预测均值f
xyc
的同时，输出预测方差
，以及预测权重概率，并在权重概率输出头添加softmax层，保证输出权重概率，此外，实际训练目标分类头预测对数方差，即，从而保证数值稳定。
[0016]S3.3：构建目标检测框宽高回归头g
p
(Z)，包含多个2维卷积层、3维卷积层与Dropout层，其与检测框宽高w
p
,h
p
满足，其中，，g
p
(Z)输出g
p
为预测的宽高列向量；假设目标检测框宽高之间相互独立，则：,
[0017]为了获取依赖于各目标中心点p的异质方差以及权重概率，与分类头类似，构建目标检测框宽高回归头输出预测宽高均值g
p
的同时，输出对数方差向量以及权重概率向量，其中，。
[0018]S3.4：构建目标中心点偏置头O(Z)，包含多个2维卷积层，用于预测热图中目标中心点p映射回原图中心点所对应的偏置误差，从而构造目标中心点偏置预测损失L
off
：；式中，，R为热图对应原图的下采样率，N为热图中目标个数。
[0019]S4：使用期望最大化算法构造融合数据不确定性的损失函数，所述的损失函数包括目标分类损失函数和检测框宽高损失函数。
[0020]由于假设数据噪声服从含有隐变量的混合高斯分布，相比于假设其服从单一高斯分布，无法直接使用极大似然估计对分布参数进行求解，因此本专利技术使用期望最大化算法对分布参数进行求解，并构造融合数据不确定性的损失函数，包含以下步骤：S4.1：求解分类任务中的数据不确定性，构造融合数据不确定性的目标中心点分类损失。首先，热图像素y
xyc
服从如下对数边际似然：
[0021]利用期望最大化算法，f
xyc
，分两步进行迭代优化：首先，计算后验分布，z
xyc
为参数为的多项分布。然后，令变分分布，计算分类任务的证据下界：
[0022]参考focal loss，构造如下分类损失函数L
point
：
；式中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合信息瓶颈和不确定性感知的可信目标检测方法，其特征在于，包括以下步骤：S1：获取训练样本集：收集带标注的图像数据，并构建目标中心点热图用于训练；S2：建模训练数据噪声服从混合高斯分布；S3：构建特征提取器、不确定性感知的目标分类头、不确定性感知的检测框宽高回归头以及目标中心点偏置头；S4：使用期望最大化算法构造融合数据不确定性的损失函数；S5：引入信息瓶颈理论，对损失函数添加信息瓶颈正则化项；S6：使用帕累托优化理论自适应加权各损失项，通过多梯度下降算法更新模型参数；S7：测试阶段，打开Dropout功能，对同一测试样本进行多次检测，输出检测结果、数据不确定性以及整体的模型不确定性作为检测结果的可信度量。2.根据权利要求1所述的一种融合信息瓶颈和不确定性感知的可信目标检测方法，其特征在于，步骤S2中所述的噪声包括目标中心点热图噪声和目标检测框宽高噪声。3.根据权利要求1所述的一种融合信息瓶颈和不确定性感知的可信目标检测方法，其特征在于，步骤S4中所述的损失函数包括目标分类损失函数和检测框宽高损失函数。4.根据权利要求1所述的一种融合信息瓶颈和不确定性感知的可信目标检测方法，其特征在于，所述步骤S2具体为：S2.1：建模标签热图Y中噪声服从均值为零方差为的混合高斯分布：；式中，表示热图第c个通道中(x,y)坐标像素值对应的噪声，表示由第k个均值为0方差为的高斯分布生成的权重概率；S2.2：建模目标p对应的检测框宽高噪声服从均值为零、方差分别为和的混合高斯分布：；；式中， 表示由第k个均值为0方差为的高斯分布生成的权重概率，表示由第k个均值为0方差为的高斯分布生成的权重概率。5.根据权利要求1所述的一种融合信息瓶颈和不确定性感知的可信目标检测方法，其特征在于，所述步骤S3具体为：S3.1：构建特征提取器r(X)获取输入图像X的多尺度表征Z；S3.2：构建目标中心点分类头f
xyc
(Z)，其与标签热图像素y
xyc
满足，即：；
设计目标分类头在输出预测均值f
xyc
的同时，输出预测方差，以及预测权重概率；S3.3：构建目标检测框宽高回归头，其与检测框宽高满足，其中，，输出为预测的宽高列向量；假设目标检测框宽高之间相互独立，则：,；构建目标检测框宽高回归头输出预测宽高均值的同时，输出方差向量以及权重概率向量，其中，；S3.4...

【专利技术属性】
技术研发人员：朱峰，孙华，朱江，张义武，赵红，韩东，乐意，陆中祥，孙镱诚，丁阳，肖志川，秦柳兰，孙浩，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：