【技术实现步骤摘要】
本专利技术涉及一种结合红外图像和可见光图像的半监督域自适应的微弱光环境下行人检测方法，属于行人检测的。
技术介绍
1、行人检测是利用计算机视觉技术判断图像或视频序列中是否存在行人并给予精确定位，是自动驾驶技术的重要研究方向。随着自动驾驶技术的发展，无人驾驶车辆必须精确感知车辆周围的环境，特别是对行人的感知，以保证行车安全。因此，准确、低延时的行人检测已经成为自动驾驶领域的一个重要问题。
2、传统行人检测算法在微弱光环境下的检测效果差强人意，研究人员为提高微弱光环境下行人检测算法的性能做出了巨大的努力。目前，利用可见光和红外热成像的多光谱行人检测算法已经引起越来越多专家学者的研究关注，因为可见光和红外热成像可以提供更多有价值的轮廓信息，能够提高行人检测算法的准确性和鲁棒性。一些研究机构将多模态行人检测算法采用可见光和红外热成像并行双流模式。利用可见光和红外热成像信息的互补性，将它们在模型训练前进行图像融合的预训练，然后将融合后的图像输送到行人检测训练网络进行训练，可以获得性能较好的模型。曹红燕等人在yolov3算法中增加特征尺度，并将bn网络层与卷积神经网络层融合，提高红外图像检测精度。韩航迪等人通过引入mobilenet模型增强tiny-yolov3的特征提取网络，提升模型高级语义特征提取能力，提高红外图像缺陷检测的速度和准确率。谌海云等人设计了一种空间通道混合注意力模块，并在输出检测头处进行反卷积操作扩大输出特征图，提高了红外图像小物体检测的精度。fanglin bao等人从热成像方面入手，提出一种热辅助探测和测距
技术实现思路
1、针对现有技术存在的上述缺陷，本专利技术提出了一种结合红外图像和可见光图像的半监督域自适应的微弱光环境下行人检测方法。
2、本专利技术所述的半监督域自适应的微弱光环境下行人检测方法，包括如下步骤：
3、s1：提出微弱光环境下的行人检测方法，包括如下小步：
4、s11：建立伪图像生成网络结构：本专利技术提出了一种结合无暗部红外与可见光图像融合(darkness-free infrared and visible image fusion,简称：divfusion)和循环一致性生成对抗网络(cycle-consistent generative adversarial networks,简称：cyclegan)进行伪图像生成训练的方法，提取divfusion网络中的场景照明解缠网络(scene-illumination disentangled network,简称：sidnet)和纹理对比度增强融合网络(texture–contrast enhancement fusion network,简称：tcefnet)，将sidnet和tcefnet与cyclegan中的图像输入部分相结合，在图像输入之前经过sidnet和tcefnet进行图像融合的处理，然后将融合后的图像输入cyclegan中进行域迁移生成伪图像；
5、s12：建立mt-yolov8网络结构：以mean teacher网络作为基本框架，通过引入yolov8单级检测器，搭建半监督行人检测网络，并引入基于transformer的混合注意力模块，提升伪图像的分辨率，激活更多有用像素，进一步提升检测精度；
6、s13：引入基于transformer的混合注意力模块：结合了通道注意和基于窗口的自注意两种方案，利用了两者的互补优势。此外，为了更好地聚合交叉窗口信息，引入了重叠交叉关注模块，以增强相邻窗口特征之间的交互作用。将基于transformer的混合注意力模块扩展到更多的图像恢复应用领域，包括提高图像超分辨率，高斯图像去噪和减少图像压缩伪影；
7、s14：引入监督损失函数和蒸馏损失函数：本专利技术使用mean teacher半监督框架，引入yolov8为网络检测器，使用学生模型对源域红外图像进行监督训练，则相应的源域监督损失函数定义为：
8、lossdet＝lossbox(s；ls)+losscls(s；cs) (1)
9、式中：s表示源域图像集合；
10、ls表示源域图像边界框集合；
11、cs表示源域图像类别标签集合；
12、lossbox表示预测边界框回归损失，是分布聚焦损失和完全损失的结合；
13、losscls表示分类损失的二元交叉熵损失；
14、使用学生模型对源域伪红外图像进行监督训练，则相应的伪源域监督损失函数定义为：
15、
16、式中：sf表示伪源域图像集合；
17、表示伪源域图像边界框集合；
18、表示伪源域图像类别标签集合；
19、将目标域图像分别输入到学生模型和教师模型中进行训练，在知识蒸馏过程中，通过从教师模型预测中获得的高置信度边界框作为伪标签，使学生模型减少在目标域图像中产生的偏差并增强模型的鲁棒性。将输入教师模型的目标域图像和输入学生模型的目标域图像进行预测，两个模型预测之间的差别使用目标域蒸馏损失函数，定义为：
20、lossdis＝lossdet{ts,gbox[lbox(tt)],gcls[lcls(tt)]} (3)
21、式中：ts表示输入学生模型的目标域图像；
22、tt表示输入教师模型的目标域图像；
23、lbox(tt)表示来自教师模型的边界框预测分支；
24、lcls(tt)表示来自教师模型的类别预测分支；
25、gbox和gcls分别表示边界框过滤器和类别过滤器；
26、对于伪目标域图像使用教师模型进行训练。为了使其学习源域的全局图像特征，将伪目标域图像替换目标域图像，用于训练学生模型的部分为标记图像保持不变，则伪目标域蒸馏损失定义为：
27、
28、式中：表示输入教师模型的伪目标域图像；
29、s2：使用公开数据集进行模型评估，包括如下小步：
30、s21：将kaist数据集进行数据清洗：kaist数据集是取自视频连续帧图片，相邻图片较为接近，故进行一定程度的清洗。本专利技术主要研究微弱光环境下的行人检测，所以只清洗kaist的夜晚数据集来进行实验，清洗规则为：(1)训练集每隔2张图片取一张，即每3张取一张，并去掉所有不包含任何行人的图片，即选出来的图片中至少包含一个目标，且剔除数据集中只漏出半身或者小于50个像素等严重遮挡的图片。(2)测试集每隔19张取一张，即每20张取一张，保留负样本图片。经过上述操作，得到2846张训练集图片本文档来自技高网...
【技术保护点】
1.一种半监督域自适应的微弱光环境下行人检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的半监督域自适应的微弱光环境下行人检测方法，其特征在于，所述步骤S11中，将红外图像定义为源域，可见光图像定义为目标域，使用伪图像生成网络进行两个域之间的域迁移，生成伪红外图像和伪可见光图像，相应的将伪红外图像定义为伪源域，伪可见光图像定义为伪目标域，使用源域、目标域和伪源域、伪目标域进行伪交叉训练。
3.根据权利要求1所述的半监督域自适应的微弱光环境下行人检测方法，其特征在于，所述步骤S23中，所述步骤S23中，为了验证本专利技术比其它网络的优越性，选取SSDA-YOLO和Efficient Teacher网络，使用LLVIP和KAIST数据集做对比实验，验证了本专利技术在半监督域自适应的微弱光环境下行人检测领域取得了最优的检测性能。
【技术特征摘要】
1.一种半监督域自适应的微弱光环境下行人检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的半监督域自适应的微弱光环境下行人检测方法，其特征在于，所述步骤s11中，将红外图像定义为源域，可见光图像定义为目标域，使用伪图像生成网络进行两个域之间的域迁移，生成伪红外图像和伪可见光图像，相应的将伪红外图像定义为伪源域，伪可见光图像定义为伪目标域，使用源域、目标域...
【专利技术属性】
技术研发人员：王明甲，杜运亮，万可奕，马学科，李亚楠，陈爽，秦浩华，冯宇平，张现军，赵波，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。