融合自监督语义学习的行人检测方法技术

技术编号:42870466 阅读:20 留言:0更新日期:2024-09-27 17:31
本发明专利技术一种融合自监督语义学习的行人检测方法,具体包括以下步骤:获取并预处理行人数据图像;获取并预处理行人数据图像;将预处理的图像输入特征提取网络,得到初始检测特征图;将初始检测特征图输入自监督学习网络,输出最终检测特征图和正负原型对比损失;将最终检测特征图和正负原型对比损失输入检测器得到最终预测的类别与检测框。本发明专利技术增强了模型的显式上下文建模能力,为模型添加了对行人语义的额外监督,在多个维度上提升了模型的感知能力,在保证精度的同时增加更多的正样本。

【技术实现步骤摘要】

本专利技术涉及行人检测,具体涉及一种融合自监督语义学习的行人检测方法


技术介绍

1、在现代智能车辆中,行人检测系统是不可或缺的一部分,它对于确保行车安全、降低事故风险具有至关重要的作用。由于行人在道路环境中的多样性和复杂性,以及对其安全的严格标准,行人检测比其他类型的目标检测更为复杂和关键。

2、深度学习技术的飞速进步和大规模数据集的不断涌现,使得行人检测技术已经进入了一个新的发展阶段,并在性能上取得了显著的提高。尽管行人检测技术取得了一定的进展,其性能仍然难以与人类的感知能力相媲美,现实世界中的复杂环境对行人检测提出了诸多挑战,这些挑战主要体现在行人密集、空间尺度、复杂环境和实时性方面。现实场景中严重遮挡与尺度问题的存在仍然是检测的难点。场景中的严重遮挡会减少特征的判别信息,严重影响模型精度。此外,复杂背景、特征模糊等问题也会影响模型的检测性能。因此,进一步提升行人检测技术的性能,对于推动智能驾驶技术的发展具有重要意义。


技术实现思路

1、为了解决上述问题,本专利技术提供一种融合自监督语义学习本文档来自技高网...

【技术保护点】

1.一种融合自监督语义学习的行人检测方法,其特征在于,具体包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,特征提取网络包括ResNet-50网络和动态注意力头;特征提取网络具体包括:将预处理的图像输入ResNet-50网络,将ResNet-50网络的输出进行反卷积操作,并输入动态注意力头,得到检测特征图。

3.根据权利要求2所述的方法,其特征在于,动态注意力头的计算公式为:

4.根据权利要求1所述的方法,其特征在于,自监督学习网络包括视觉语言语义分割模块和原型语义对比学习模块;

5.根据权利要求4所述的方法,其特征在于,跨模态交叉...

【技术特征摘要】

1.一种融合自监督语义学习的行人检测方法,其特征在于,具体包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,特征提取网络包括resnet-50网络和动态注意力头;特征提取网络具体包括:将预处理的图像输入resnet-50网络,将resnet-50网络的输出进行反卷积操作,并输入动态注意力头,得到检测特征图。

3.根据权利要求2所述的方法,其特征在于,动态注意力头的计算公式为:

4.根据权利要求1所述的方法,其特征在于,自监督学习网络包括视觉语言语义分割模块和原型语义对比学习模块;

5.根据权利要求4所述的方法,其特征在于,跨模态交叉促进结构,利用文本信息促进视觉特征的提取,使用残差连接来实现视觉特征的更新,具体包括:特征向量经过全局平均池化得到具体公式为:

6.根据权利要求4所述的方法,其特征在于,原型语义对比学习模块采用预测得分图作为除与行人重叠目标外的空间存在度的指标,将c表示为除行人类外的...

【专利技术属性】
技术研发人员:朱天龙詹智祺程艳云
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1