基于因果干预的异常天气下目标检测方法、设备及介质技术

本发明专利技术提供一种基于因果干预的异常天气下目标检测方法、设备及介质，包括S1、计算实例特征与天气特征的注意力分数；S2、将注意力分数作为天气先验权重与实例特征融合得到融合特征并输出；S3、通过残差结构对实例特征与融合特征进行求和，并输出求和结果；S4、设定S1

【技术实现步骤摘要】
基于因果干预的异常天气下目标检测方法、设备及介质


[0001]本专利技术涉及计算机
，特别涉及一种基于因果干预的异常天气下目标检测方法、设备及介质。

技术介绍

[0002]目标检测旨在对重要目标定位并分类，近年来，在诸如计算机诊断、人脸识别、自动驾驶等计算机视觉任务中被广泛应用。近期工作虽然在多个基础测试上有着不错的表现，但在面对复杂的户外场景尤其是不同异常天气时(如：雪、雾、雨等)，使目标检测模型保持较高精度仍然具有很大挑战。例如：自动驾驶汽车需要能够适应各种不同的户外环境，而影响自动驾驶汽车走入我们日常生活的一个重要原因，便是目标检测模型在恶劣天气条件下表现不佳。因此改善目标检测鲁棒性和恶劣天气下的表现已经成为计算机视觉方向的一个活跃研究领域。当前学术界流行的方法包括但不限于数据增强，去噪，建立更广泛的数据集等。
[0003]现有的目标检测模型主要包括one
‑
stage和two
‑
stage两种策略，其中，two
‑
stage是指检测算法需要分两步完成，首先需要获取候选区域，然后进行分类，例如R
‑
CNN系列；与之相对的是one
‑
stage策略，这类方法不再需要单独寻找候选区域，例如YOLO和SSD系列。其中two
‑
stage方法通常包含三个部分，第一个是用于提取图片特征的主干模型，例如：VGG，ResNet，ResNeXt和DenseNet等；第二个是用于加强特征脖颈部分，例如Feature Pyramid Network(FPN)，Path Aggregation Network(PAN)；最后一个是用于微调候选框(bounding box，bbox)位置和分类的处理头。
[0004]模型的鲁棒性体现在验证集和测试集的表现差异，而这种差异是由于数据偏见导致的。数据偏见分为三个层次：(1)目标级别；研究中发现在COCO数据集中，马大多数情况与人共同出现，这使模型将马与人进行了目标级别的强关联，进而影响在弱监督语义分割中难以分割马的目标边界；(2)前后景级别；研究中发现，在ImageNet
‑
9中，87.5％的图片在背景更换后会被模型错误分类，这说明模型会将目标与背景进行强关联；(3)全局级别；研究中发现，数据集中一些人口统计学上的变量，例如性别、年龄和人种等会影响模型的表现。我们认为天气腐蚀是一种全局级别的数据偏见，并称为天气偏见，当目标均在某种天气下拍摄，会使模型将目标与该种天气相关联，并进一步影响在其他天气下的表现。
[0005]为了改善模型在异常天气下的表现，当前很多检测方法都致力于去除天气偏见对模型的影响：如数据增强、去腐蚀、建模天气环境、建立更广泛的人造数据集和建立更广泛的真实数据集，又或者是设计多尺度网络以及聚合特征。然而，现有的检测方法都存在计算复杂度高，且仅能针对单一腐蚀，难以拓展到其他腐蚀的问题，即缺少一种轻量级、泛化性好的检测方法。鉴于此，本案专利技术人对上述问题进行深入研究，遂有本案产生。

技术实现思路

[0006]本专利技术的目的，在于提供一种基于因果干预的异常天气下目标检测方法、设备及
介质，解决现有检测方法存在的计算复杂度高，仅能针对单一腐蚀，难以拓展到其他腐蚀的问题；能够实现在多种天气腐蚀下具有良好的泛化能力，且能够在无需增加额外训练数据和大量计算的情况下，提高模型在异常天气下的检测能力。
[0007]为了达成上述目的，本专利技术的解决方案是：
[0008]第一方面，本专利技术提供基于因果干预的异常天气下目标检测方法，方法包括如下步骤：
[0009]步骤S1、通过注意力编码部件计算实例特征与天气特征的注意力分数；
[0010]步骤S2、注意力编码部件将注意力分数作为天气先验权重与实例特征进行融合得到融合特征，并输出融合特征；
[0011]步骤S3、通过残差结构对实例特征与输出的融合特征进行求和，并输出求和结果；
[0012]步骤S4、设定步骤S1
‑
S3的执行次数k
D
，k
D
为正整数；根据执行次数k
D
重复执行步骤S1
‑
S3，并且将前一次执行输出的求和结果作为后一次执行输入的实例特征，将最后一次执行输出的求和结果作为最终输出结果，之后进入步骤S5；
[0013]步骤S5、设定步骤S1
‑
S4的训练轮数B，B为正整数；根据训练轮数B重复执行步骤S1
‑
S4，并在达到设定的训练轮数B后，进入步骤S6；
[0014]步骤S6、结束训练，获得因果干预后的目标检测模型。
[0015]进一步的，在所述步骤S1之前，还包括：
[0016]步骤S0、将目标训练图片输入到在ImageNet数据集上预训练的VGG网络模型中，并提取VGG网络模型中第一个max pooling层的输出作为目标训练图片的天气特征。
[0017]进一步的，所述步骤S0还包括：将提取的天气特征输入到RoIAlign中，并展平为一维向量，每种天气特征均是该天气对应的所有天气图片的一维向量的均值，最终得到N
W x W
的天气特征矩阵其中，w
i
表示第i种天气特征，N
W
表示天气种类的数量，d
W
表示天气向量的维度；
[0018]根据ImageNet数据集中各种天气图片的数量，确定第i种天气出现的概率P(w
i
)，得到天气先验概率向量其中，p
i
＝P(w
i
)，R表示自然数集。
[0019]进一步的，所述的通过注意力编码部件计算实例特征与天气特征的注意力分数具体包括：
[0020]给定实例特征X、天气特征W和天气先验概率p；其中，N
X
表示实例特征的数量，d
X
表示每个实例特征的维度；
[0021]通过注意力编码部件计算注意力分数矩阵其中，Q＝W1X，K＝W2W，σ表示放缩因子，d
v
表示注意力编码的维度，T表示矩阵转置，W1和W2是Linear Layer；将实例特征和天气特征映射到相同维度，求得用a
ij
表示注意力分数矩阵a的第i行第j列元素，即a
ij
表示第i个实例特征对应第j种天气特征的注意力分数。
[0022]进一步的，所述的注意力编码部件将注意力分数作为天气先验权重与实例特征进行融合得到融合特征具体包括：
[0023]注意力编码部件将得到的注意力分数作为一个软掩码，自动选择对于每个实例特征重要的天气特征；
[0024]将天气先验概率p复制扩展为与K相同维度的矩阵，表示为其中，且P
i
的每个元素相同，都为第i种天气的天气先验概率；然后将P和K进行点乘，表示在对应天气先验概率下的天气特征；最后将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于因果干预的异常天气下目标检测方法，其特征在于，方法包括如下步骤：步骤S1、通过注意力编码部件计算实例特征与天气特征的注意力分数；步骤S2、注意力编码部件将注意力分数作为天气先验权重与实例特征进行融合得到融合特征，并输出融合特征；步骤S3、通过残差结构对实例特征与输出的融合特征进行求和，并输出求和结果；步骤S4、设定步骤S1
‑
S3的执行次数k
D
，k
D
为正整数；根据执行次数k
D
重复执行步骤S1
‑
S3，并且将前一次执行输出的求和结果作为后一次执行输入的实例特征，将最后一次执行输出的求和结果作为最终输出结果，之后进入步骤S5；步骤S5、设定步骤S1
‑
S4的训练轮数B，B为正整数；根据训练轮数B重复执行步骤S1
‑
S4，并在达到设定的训练轮数B后，进入步骤S6；步骤S6、结束训练，获得因果干预后的目标检测模型。2.根据权利要求1所述的基于因果干预的异常天气下目标检测方法，其特征在于，在所述步骤S1之前，还包括：步骤S0、将目标训练图片输入到在ImageNet数据集上预训练的VGG网络模型中，并提取VGG网络模型中第一个max pooling层的输出作为目标训练图片的天气特征。3.根据权利要求2所述的基于因果干预的异常天气下目标检测方法，其特征在于，所述步骤S0还包括：将提取的天气特征输入到RoIAlign中，并展平为一维向量，每种天气特征均是该天气对应的所有天气图片的一维向量的均值，最终得到N
W x d
W
的天气特征矩阵其中，w
i
表示第i种天气特征，N
W
表示天气种类的数量，d
W
表示天气向量的维度；根据ImageNet数据集中各种天气图片的数量，确定第i种天气出现的概率P(w
i
)，得到天气先验概率向量其中，p
i
＝P(w
i
)，R表示自然数集。4.根据权利要求3所述的基于因果干预的异常天气下目标检测方法，其特征在于，所述的通过注意力编码部件计算实例特征与天气特征的注意力分数具体包括：给定实例特征X、天气特征W和天气先验概率p；其中，N
X
表示实例特征的数量，d
X
表示每个实例特征的维度；通过注意力编码部件计算注意力分数矩阵其中，Q＝W1X，K＝W2W，σ表示放缩因子，d
v
表示注意力编码的维度，T表示矩阵转置，W1和W2是Linear Layer；将实例特征和天气特征映射到相同维度，求得用a
ij
表示注意力分数矩阵a的第i行第j列元素，即a
ij
表示第i个实例特征对应第j种天气特征的注意力分数。5.根据权利要求4所述的基于因果干预的异常天气下目...

【专利技术属性】
技术研发人员：林志勇，汪燕青，李伟佳，陈龙，吴伟，林小敏，
申请(专利权)人：厦门路桥信息股份有限公司，
类型：发明
国别省市：