一种基于轻量级神经网络的显著性目标检测方法技术

本发明专利技术公开了一种基于轻量级神经网络的显著性目标检测方法，其搭建了一个轻量级神经网络，轻量级神经网络主要由高层轻量融合模块、低层轻量融合模块、二阶段解码器构成；轻量级神经网络由特征提取模块、高层轻量融合模块、低层轻量融合模块、二阶段解码器构成：特征提取模块采用MobileViT‑XS骨干网络，从彩色可见光图像、红外图像中提取特征；高层轻量融合模块和低层轻量融合模块，使用卷积来提取局部信息，并使用改进的交叉注意操作来缩小可见光和红外模态之间的差距；二阶段解码器，对三个高级特征进行密集连接，生成一个引导特征，引导两个低级特征融合产生最终结果。本发明专利技术能在低参数量和计算量下有效提高显著性目标检测准确度。

【技术实现步骤摘要】

本专利技术涉及显著目标检测，尤其涉及一种基于轻量级神经网络的显著性目标检测方法。

技术介绍

1、显著性目标检测旨在捕捉和分割图像或视频中的突出对象。显著性目标检测作为一个重要的预处理步骤，它已被广泛应用于计算机视觉和图像处理任务，如图像分割、对象跟踪、图像检索和图像质量评估等。近年来，卷积/深度神经网络因强大的学习能力和在特征提取方面的优秀表现，将显著性目标检测的性能推向了一个新的高度。然而，在一些极端场景下（如低照度和混乱场景），仅从彩色可见光图像中往往难以提取有价值的信息，这影响了显著性目标检测模型在复杂条件下的有效性。与彩色可见光图像不同，热红外摄像机可以捕捉到受黑暗、恶劣天气等环境因素影响较小的热信息，从而反映出温度差异、边界和几何形状。因此，部署热红外设备收集热信息，采用彩色可见光与红外图像显著性目标检测模型记录物体，可以提高模型在更多场景中的感知能力。

2、具有辅助深度图像的彩色可见光与深度图像显著性目标检测，具有红外图像的彩色可见光与红外图像显著性目标检测已被开发，使用广泛的深度传感器和红外相机作为附加模态信息。深度信息包含丰富的本文档来自技高网...

【技术保护点】

1.一种基于轻量级神经网络的显著性目标检测方法，首先构建一个包含数对彩色可见光图像和与其对应的红外图像的训练集，并搭建一个轻量级神经网络；其次将训练集中的数对彩色可见光图像和与其对应的红外图像输入到神经网络中进行若干次网络训练，网络训练结束后得到神经网络训练模型；再次使用神经网络训练模型对测试图像对进行预测，得到显著性目标图像，其特征在于：所述的轻量级神经网络由特征提取模块、高层轻量融合模块、低层轻量融合模块、二阶段解码器构成：

2.根据权利要求1所述的一种基于轻量级神经网络的显著性目标检测方法，其特征在于，

3.根据权利要求2所述的一种基于轻量级神经网络的显著性...

【技术特征摘要】

1.一种基于轻量级神经网络的显著性目标检测方法，首先构建一个包含数对彩色可见光图像和与其对应的红外图像的训练集，并搭建一个轻量级神经网络；其次将训练集中的数对彩色可见光图像和与其对应的红外图像输入到神经网络中进行若干次网络训练，网络训练结束后得到神经网络训练模型；再次使用神经网络训练模型对测试图像对进行预测，得到显著性目标图像，其特征在于：所述的轻量级神经网络由特征提取模块、高层轻量融合模块、低层轻量融合模块、二阶段解码器构成：

2.根据权利要求1所述的一种基于轻量级神经网络的显著性目标检测方法，其特征在于，

3.根据权利要求2所述的一种基于轻量级神经网络的显著性目标检测方法，其特征在于，训练集的构建过程为：选取至少1000对原始彩色可见光图像和与其对应的原始红外图像；然后对每幅原始彩色可见光图像和与其对应的原始红外图像进行降采样操作，降采样后的图像大小为；再将所有大小为的彩色可见光图像和与其对应的红外图像构成训练集；其中，；

4.根据权利要求2所述的一种基于轻量级神经网络的显著性目标检测方法，其特征在于，使用神经网络训练模型对测试图像对进行预测得到显著性目标图像的过程为：任意选取一对原始彩色可见光图像和与其对应的原始红外图像；然后对该对原始彩色可见光图像和原始红外图像进行降采样操作，降采样后的图像大小为，并作为测试图像对；再将测试图像对输入到训练后的神经网络模型中，预测得到对应的显著性目标图像。

5.根据权利要求2所述的一种基于轻量级神经网络的显著性目标检测方法，其特征在于，三个高层轻量融合块的结构相同，对于第个高层轻量融合块（），卷积层的输入端接收（），batch normalization层的输入端接收该卷积层的输出端输出的...

【专利技术属性】
技术研发人员：李晓儿，李卓，卫学彬，余镭，梅浩，邵枫，金东泽，
申请(专利权)人：数字宁波科技有限公司，
类型：发明
国别省市：