一种基于高斯交叉注意力网络的跨模态行人检测方法技术

本发明专利技术提供一种基于高斯交叉注意力网络的跨模态行人检测方法，包括：S1，获取多源行人图像；S2，对多源行人图像进行数据预处理得到多源行人图像训练集；S3，对多源行人图像进行人工标注得到真值行人位置边界框坐标；S4，构建基于高斯交叉注意力的检测网络；S5，利用多源行人图像训练集训练基于高斯交叉注意力的检测网络，得到训练好的基于高斯交叉注意力的检测网络；S6，利用训练好的基于高斯交叉注意力的检测网络进行行人检测。本发明专利技术采用基于高斯交叉注意力的检测网络提取多源行人图像的深层显著特征并融合，直接获得表示行人位置的边界框坐标，在网络训练和实用中更为便捷灵活，节省计算资源和降低时间消耗。节省计算资源和降低时间消耗。节省计算资源和降低时间消耗。

【技术实现步骤摘要】
一种基于高斯交叉注意力网络的跨模态行人检测方法


[0001]本专利技术涉及行人检测
，具体而言，涉及一种基于高斯交叉注意力网络的跨模态行人检测方法。

技术介绍

[0002]行人检测是一个重要的研究领域，广泛应用于无人驾驶、监控和机器人领域。近年来，依靠检测算法的发展，安全保障得到了提高。行人检测任务在检测可见图像和视频方面取得了很好的效果。然而，在可视图像中仍然存在一些挑战，如低分辨率、遮挡、功率对比度和恶劣的光照条件限制了行人检测的准确性。
[0003]热成像消除了可见光图像在光线不足、天气恶劣等条件下的局限性。热成像相机是基于红外辐射探测物体，而人与周围环境之间存在显著的热差异，因此可以很容易地识别出行人。然而，在白天，由于背景信息与热图像中行人的温度相似，很难区分人与干扰物体。由此得出热图像更适合夜间，而可见光图像更适合白天进行行人检测的结论。
[0004]现有的多源行人图像检测方法中，基于CNN的融合策略通过学习局部特征增强了图像中行人特征的表达，但它们缺乏从图像中提取远程依赖的能力，这会导致一些可能对行人检测有用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高斯交叉注意力网络的跨模态行人检测方法，其特征在于，包括如下步骤：S1，获取多源行人图像；S2，对步骤S1获取的多源行人图像进行数据预处理，得到多源行人图像训练集；S3，对步骤S1获取的多源行人图像进行人工标注，得到真值行人位置边界框坐标；S4，构建基于高斯交叉注意力的检测网络；S5，利用步骤S2得到的多源行人图像训练集对步骤S4构建的基于高斯交叉注意力的检测网络进行训练，训练过程中采用损失函数计算基于高斯交叉注意力的检测网络输出的预测行人位置边界框坐标与步骤S3得到的真值行人位置边界框坐标之间的差异，并通过反向传播算法优化检测网络的参数，从而得到训练好的基于高斯交叉注意力的检测网络；S6，利用训练好的基于高斯交叉注意力的检测网络进行行人检测。2.根据权利要求1所述的基于高斯交叉注意力网络的跨模态行人检测方法，其特征在于，所述多源行人图像包括可见光行人图像和红外光行人图像。3.根据权利要求2所述的基于高斯交叉注意力网络的跨模态行人检测方法，其特征在于，步骤S2中对步骤S1获取的多源行人图像进行数据预处理的方法为：将多源行人图像通过计算整体数据的均值和方差进行归一化处理，得到多源行人图像训练集。4.根据权利要求1所述的基于高斯交叉注意力网络的跨模态行人检测方法，其特征在于，步骤S4中构建的基于高斯交叉注意力的检测网络包括：特征提取网络、基于交叉注意力的特征融合网络、以及预测网络...

【专利技术属性】
技术研发人员：许廷发，彭沛然，李佳男，穆峰，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：