一种基于显著性先验的交通注视目标检测方法技术

本发明专利技术提供了一种基于显著性先验的交通注视目标检测方法，应用于交通注视目标检测领域。针对当前研究人员把视觉显著性和目标检测作为两个独立的任务来对待，而驾驶场景中，经验丰富的驾驶员会在选择性注意机制的引导下密切关注和驾驶任务相关的物体，忽略掉大量和驾驶任务不相关的信息，从而实现安全驾驶。本发明专利技术模拟驾驶员对交通场景的感知，聚焦检测吸引驾驶员注意的物体。为此，本发明专利技术建立一个可用于注视目标检测的数据集。然后，显著区域引导模块预测的显著区域用来引导目标检测模块更多地关注注视目标，从而提高模型的检测准确度。本发明专利技术为交通注视目标检测提供了一个有效的方法，为智能驾驶或高级辅助驾驶系统提供了另一种策略。另一种策略。另一种策略。

【技术实现步骤摘要】
一种基于显著性先验的交通注视目标检测方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于显著性先验的交通注视目标检测方法。

技术介绍

[0002]随着汽车电子化、智能化的发展，智能驾驶已经成为未来汽车发展的主流趋势之一。视觉显著性和目标检测作为智能驾驶系统的重要组成部分，是安全驾驶的重要保障。
[0003]当前研究人员通常把交通场景中的视觉显著性和目标检测当作两个独立的任务。即视觉显著性能预测驾驶员关注的区域或目标，但没有提供目标类别；而目标检测尽可能检测场景中所有目标，但无法预测场景中哪些物体是吸引驾驶员关注的，这些吸引驾驶员关注的物体是和当前驾驶任务以及驾驶安全密切相关的。因此目前亟需一种将两者之间建立联系的方法从而提高检测的准确度和检测性能。

技术实现思路

[0004]针对现有技术中所存在的不足，本专利技术提供了一种基于显著性先验的交通注视目标检测方法，能够模拟驾驶员的选择性注意，结合视觉显著性和目标检测，聚焦驾驶员注视区域内的注视目标检测，提高模型检测准确度，为智能驾驶或高级辅助驾驶系统提供一种可参考的策略。
[0005]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0006]一种基于显著性先验的交通注视目标检测方法，包括以下步骤：
[0007]S1，基于驾驶员的眼动，建立注视目标检测数据集，所述注视目标检测数据集包括用于在交通场景中吸引驾驶员注意的显著性信息，以及吸引驾驶员注意的显著区域内的物体类别；
[0008]S2，基于YOLOv5
‑
L模型和轻量的注意力模块CBAM构建一个强基线检测模块；
[0009]S3，共享S2中建立的强基线检测模块的backbone和top
‑
down路径，建立显著区域引导模块用于预测交通场景中吸引驾驶员注意的显著区域，所述显著区域用于引导强基线检测模块关注驾驶员注意区域内的注视目标；
[0010]S4，通过模拟交通场景中驾驶员的选择性注意，提出显著性引导策略；
[0011]S5，基于S2中建立的强基线检测模块、S3中构建的显著区域引导模块以及S4中提出的显著性引导策略，建立注视目标检测模型；
[0012]S6，将训练集的图片缩放到给定的输入分辨率后输入S5中构建的注视目标检测模型，并对注视目标检测模型进行训练，从而提高注视目标检测模型的检测性能。
[0013]本专利技术进一步设置为：在S1中，基于驾驶员的眼动，建立注视目标检测数据集时，包括以下步骤：
[0014]步骤a，利用行车记录仪采集不同天气和不同驾驶场景下车辆行驶状态中的交通视频；
[0015]步骤b，让驾驶员在模拟驾驶任务时观看采集的交通视频，同时利用眼动仪记录驾驶员的眼动信息；
[0016]步骤c，将记录到的所有驾驶员的注视点映射到交通视频上；
[0017]步骤d，对注视目标进行标注，最终得到驾驶员注视目标检测数据集；
[0018]步骤e，基于已标注的注视目标检测训练集生成显著区域掩膜。
[0019]本专利技术进一步设置为：在步骤d中，对注视目标进行标注时，从交通视频的每五帧中提取一帧，用来标注注视目标。
[0020]本专利技术进一步设置为：在S2中，将一个由卷积操作，convolution(k＝3,s＝1)，批规范化处理和SILU激活构建的基本模块添加到backbone的第一层，并将轻量的注意力模块CBAM添加到第一次和第二次下采样层中，从而建立强基线检测模块以检测注视目标的具体位置和类别；
[0021]利用损失函数对强基线检测模块进行优化，如下式(1)所示：
[0022][0023]式中，表示CIOU损失，用来计算预测目标的位置和标注的目标位置之间的位置偏差；和是二值交叉熵损失，被用来计算预测的目标类别和标注的目标类别之间的差异；用来计算预测的目标和标注的目标之间的置信度差异。
[0024]本专利技术进一步设置为：在S3中，利用复合损失函数对显著区域引导模块进行优化，如下式(2)所示：
[0025][0026]式中，S
i
为权利要求2中生成的显著区掩模，S
i
的尺度为w和h分别表示输入图像的宽和高，S
i
′
表示显著区域引导模块预测的显著图，其尺度和S
i
的一致，表示二进制交叉熵损失，用于从细粒度的像素级层面优化显著区域引导模块，是从整体区域层面优化显著区域引导模块的IOU损失。
[0027]本专利技术进一步设置为：显著区域引导模块生成的显著图和目标检测模块的backbone的浅层特征融合，融合表达式如下式(3)所示：
[0028][0029]式中，表示逐元素相乘，表示逐元素相加，γ是一个可学习的参数，用来加权显著图，S
′
i
表示显著区域引导模块预测的显著图，f
i
是目标检测模块提取的浅层特征，其宽和高和S
′
i
的一致，F
i
表示融合后的特征，其包含了交通场景的全局信息和增强后的注视目标的特征。
[0030]本专利技术进一步设置为：在S6中，利用复合损失函数对注视目标检测模型进行优化，如下式(4)所示：
[0031][0032]式中，为公式(1)中定义的损失，是式(2)中定义的损失，δ为权重系数。
[0033]本专利技术进一步设置为：在S6中，利用步骤e中生成的显著区域掩膜和式(2)来预训练显著区域引导模块，预训练得到的权值用来初始化注视目标检测模型，利用步骤e中生成
的显著区域掩膜和标注的注视目标检测数据集以及式(4)来训练注视目标检测模型，当验证集的mAP值取得最大，保留模型参数用于测试。
[0034]本专利技术具有的有益效果为：本专利技术模拟驾驶员的选择性注意，检测和当前驾驶任务密切相关的注视目标。为此提出的注视目标检测数据集为从驾驶员的角度研究交通场景感知提供了一个基准。此外，提出的方法在视觉显著性和目标检测之间建立了联系，把预测的显著区域作为显著性先验来指导模型更多地关注注视目标，使得模型既能预测交通场景中哪些目标是和当前驾驶任务相关的，又能检测出这些目标的具体类别和位置。
附图说明
[0035]图1为本专利技术实施例中的注视目标检测数据集和显著区域掩膜样例；
[0036]图2为本专利技术实施例中提供的注视目标检测模型FOD
‑
Net结构图；
[0037]图3为本专利技术实施例中预测的显著区域和特征融合结构图；
[0038]图4为本专利技术实施例的检测效果图。
具体实施方式
[0039]下面结合附图及实施例对本专利技术中的技术方案进一步说明。
[0040]本专利技术的一个实施例的实现过程包括以下步骤：
[0041]S1，为了开展注视目标检测研究，基于30名驾驶员的眼动，建立了驾驶员注视目标检测数据集，具体为：
[0042]a，利用行车记录仪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于显著性先验的交通注视目标检测方法，其特征在于：包括以下步骤：S1，基于驾驶员的眼动，建立注视目标检测数据集，所述注视目标检测数据集包括用于在交通场景中吸引驾驶员注意的显著性信息，以及吸引驾驶员注意的显著区域内的物体类别；S2，基于YOLOv5
‑
L模型和轻量的注意力模块CBAM构建一个强基线检测模块；S3，共享S2中建立的强基线检测模块的backbone和top
‑
down路径，建立显著区域引导模块用于预测交通场景中吸引驾驶员注意的显著区域，所述显著区域用于引导强基线检测模块关注驾驶员注意区域内的注视目标；S4，通过模拟交通场景中驾驶员的选择性注意，提出显著性引导策略；S5，基于S2中建立的强基线检测模块、S3中构建的显著区域引导模块以及S4中提出的显著性引导策略，建立注视目标检测模型；S6，将训练集的图片缩放到给定的输入分辨率后输入S5中构建的注视目标检测模型，并对注视目标检测模型进行训练，从而提高注视目标检测模型的检测性能。2.如权利要求1所述的一种基于显著性先验的交通注视目标检测方法，其特征在于：在S1中，基于驾驶员的眼动，建立注视目标检测数据集时，包括以下步骤：步骤a，利用行车记录仪采集不同天气和不同驾驶场景下车辆行驶状态中的交通视频；步骤b，让驾驶员在模拟驾驶任务时观看采集的交通视频，同时利用眼动仪记录驾驶员的眼动信息；步骤c，将记录到的所有驾驶员的注视点映射到交通视频上；步骤d，对注视目标进行标注，最终得到驾驶员注视目标检测数据集；步骤e，基于已标注的注视目标检测训练集生成显著区域掩膜。3.如权利要求2所述的一种基于显著性先验的交通注视目标检测方法，其特征在于：在步骤d中，对注视目标进行标注时，从交通视频的每五帧中提取一帧，用来标注注视目标。4.如权利要求3所述的一种基于显著性先验的交通注视目标检测方法，其特征在于：在S2中，将一个由卷积操作，convolution(k＝3,s＝1)，批规范化处理和SILU激活构建的基本模块添加到backbone的第一层，并将轻量的注意力模块CBAM添加到第一次和第二次下采样层中，从而建立强基线检测模块以检测注视目标的具体位置和类别；利用损失函数对强基线检测模块进行优...

【专利技术属性】
技术研发人员：石一，颜红梅，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：