一种驾驶员注意视点快速预测方法、系统及其应用技术方案

本发明专利技术涉及一种驾驶员注意视点快速预测方法、系统及其应用，属于视点预测技术领域。先获取驾驶员视野图像，再利用特征提取模型对驾驶员视野图像进行特征提取，得到不同尺度的第一特征图和第二特征图，特征提取模型采用MobileNetV3网络，最后以第一特征图和第二特征图为输入，利用注意视点预测模型预测得到驾驶员注意视点，从而减少干扰信息，避免重复处理，解决驾驶员的注意视点识别准确性差、速度慢的问题。慢的问题。慢的问题。

【技术实现步骤摘要】
一种驾驶员注意视点快速预测方法、系统及其应用


[0001]本专利技术涉及视点预测
，特别是涉及一种驾驶员注意视点快速预测方法、系统及其应用。

技术介绍

[0002]从汽车诞生以来，提高车辆的安全性与舒适性便始终是车辆发展的重要目标之一。为提高车辆的安全性与舒适性，以高级辅助驾驶（ADAS）为代表的技术得到广泛应用，其中关键促进因素是车辆对周围环境的感知能力的提升。而感知能力的提升伴随着大量传感器的使用，为了实时地处理这些传感器产生的环境信息数据，车辆上需配备强大且耗能的计算单元。而人类驾驶员能够通过迅速选取视野中的关键部分，选择性的分配视觉处理资源，仅需少量能量消耗就能够实现对周围环境的感知，并安全地执行驾驶。因此，研究人类视觉注意力机制，并建立基于注意视点识别的驾驶行为预测模型，对节省计算能耗并提升机器视觉环境感知的效率，辅助车辆或驾驶员做出更快更精准的反应有着极其重要的作用。
[0003]现阶段，大部分关于人类视觉注意力机制的研究采用基于颜色、边缘和纹理等特征，对人类驾驶员的注意视点进行预测。这种方法的局限性在于，对图像的特征提取与信息表征的能力有限，干扰信息较多，且通常需要对视觉图像数据进行重复处理，数据量较大，计算复杂度增加，存在人类驾驶员的注意视点识别准确性差、速度慢的问题。

技术实现思路

[0004]本专利技术的目的是提供一种驾驶员注意视点快速预测方法、系统及其应用，能够快速、准确的预测驾驶员的注意视点。
[0005]为实现上述目的，本专利技术提供了如下方案：一种驾驶员注意视点快速预测方法，所述快速预测方法包括：获取驾驶员视野图像；利用特征提取模型对所述驾驶员视野图像进行特征提取，得到不同尺度的第一特征图和第二特征图；所述特征提取模型采用MobileNetV3网络；以所述第一特征图和所述第二特征图为输入，利用注意视点预测模型预测得到驾驶员注意视点。
[0006]一种驾驶员注意视点快速预测系统，所述快速预测系统包括：图像获取模块，用于获取驾驶员视野图像；特征提取模块，用于利用特征提取模型对所述驾驶员视野图像进行特征提取，得到不同尺度的第一特征图和第二特征图；所述特征提取模型采用MobileNetV3网络；注意视点预测模块，用于以所述第一特征图和所述第二特征图为输入，利用注意视点预测模型预测得到驾驶员注意视点。
[0007]一种驾驶员方向盘转角预测方法，所述转角预测方法包括：
获取驾驶员视野图像；利用特征提取模型对所述驾驶员视野图像进行特征提取，得到不同尺度的第一特征图和第二特征图；所述特征提取模型采用MobileNetV3网络；以所述第一特征图和所述第二特征图为输入，利用注意视点预测模型预测得到驾驶员注意视点；以所述第一特征图和所述第二特征图为输入，利用场景语义分割模型得到语义分割结果；所述语义分割结果包括背景、人、车辆、交通信号；生成所述驾驶员注意视点的第一权重掩码和所述语义分割结果的第二权重掩码；利用所述第一权重掩码、所述第二权重掩码对所述第一特征图和所述第二特征图进行加权融合，得到融合后特征图；以所述融合后特征图作为输入，利用转角预测模型预测得到方向盘转角。
[0008]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术用于提供一种驾驶员注意视点快速预测方法、系统及其应用，先获取驾驶员视野图像，再利用特征提取模型对驾驶员视野图像进行特征提取，得到不同尺度的第一特征图和第二特征图，特征提取模型采用MobileNetV3网络，最后以第一特征图和第二特征图为输入，利用注意视点预测模型预测得到驾驶员注意视点，从而减少干扰信息，避免重复处理，解决驾驶员的注意视点识别准确性差、速度慢的问题。
附图说明
[0009]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0010]图1为本专利技术实施例1所提供的快速预测方法的方法流程图；图2为本专利技术实施例1所提供的特征提取模型的结构示意图；图3为本专利技术实施例1所提供的注意视点预测模型的结构示意图；图4为本专利技术实施例1所提供的多任务模型框架的示意图；图5为本专利技术实施例2所提供的快速预测系统的系统框图；图6为本专利技术实施例3所提供的转角预测方法的方法流程图；图7为本专利技术实施例3所提供的转角预测方法的原理框图；图8为本专利技术实施例3所提供的转角预测模型的结构示意图。
具体实施方式
[0011]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0012]实施例1：
本实施例用于提供一种驾驶员注意视点快速预测方法，如图1所示，所述快速预测方法包括：S1：获取驾驶员视野图像；S2：利用特征提取模型对所述驾驶员视野图像进行特征提取，得到不同尺度的第一特征图和第二特征图；所述特征提取模型采用MobileNetV3网络；为了保证模型实时性与模型准确性，特征提取模型以轻量化的MobileNetV3网络为骨干网络，该骨干网络的结构通过先进的神经网络结构搜索（Network Architecture Search，NAS）得到，表征能力强，可以很好地提取RGB图像的特征。模型采用按深度卷积（Depth
‑
wise Convolution，DC）的方法构建卷积层，这表明在该卷积层中，每个卷积核只针对特定输入通道进行运算，可以提高模型快速性。模型采用h
‑
swish激活函数，为模型引入非线性特性，同时提高模型的运算速度，该激活函数的表达式如下：；
ꢀꢀꢀ
（1）式（1）中，x为模型隐藏层激活函数的输入，其根据激活函数层的上一层网络输出的变化而变化。
[0013]本实施例所构建的特征提取模型如图2所示，其网络结构说明如表1所示：表1输入运算输出层数激活函数步长288
×
512
×
3conv2d，3
×
316h
‑
swish2144
×
256
×
16bneck，3
×
316ReLU61144
×
256
×
16bneck，3
×
324ReLU6272
×
128
×
24bneck，3
×
324ReLU6172
×
128
×
24bneck，5
×
540ReLU6236
×本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶员注意视点快速预测方法，其特征在于，所述快速预测方法包括：获取驾驶员视野图像；利用特征提取模型对所述驾驶员视野图像进行特征提取，得到不同尺度的第一特征图和第二特征图；所述特征提取模型采用MobileNetV3网络；以所述第一特征图和所述第二特征图为输入，利用注意视点预测模型预测得到驾驶员注意视点。2.根据权利要求1所述的一种驾驶员注意视点快速预测方法，其特征在于，在以所述第一特征图和所述第二特征图为输入，利用注意视点预测模型预测得到驾驶员注意视点之前，所述快速预测方法还包括：训练得到注意视点预测模型，具体包括：获取数据集；所述数据集包括多个训练用驾驶员视野图像以及每一所述训练用驾驶员视野图像对应的训练用第一特征图、训练用第二特征图和训练用驾驶员注意视点；构建初始预测模型；利用所述数据集对所述初始预测模型进行训练，得到注意视点预测模型。3.根据权利要求2所述的一种驾驶员注意视点快速预测方法，其特征在于，所述利用所述数据集对所述初始预测模型进行训练，得到注意视点预测模型具体包括：将所述数据集分为训练集和验证集；以所述训练集作为所述初始预测模型的输入，利用二元交叉熵损失函数计算得到训练损失值；根据所述训练损失值，利用Adam优化器对所述初始预测模型的参数进行更新，得到更新后预测模型；以所述验证集作为所述更新后预测模型的输入，利用所述二元交叉熵损失函数计算得到验证损失值；判断当前迭代以前的连续N次迭代的所述验证损失值是否呈下降趋势，得到第一判断结果；若所述第一判断结果为否，则结束迭代，以所述更新后预测模型作为注意视点预测模型；若所述第一判断结果为是，则判断是否达到预设迭代终止条件；若是，则结束迭代，以所述更新后预测模型作为注意视点预测模型；若否，则以所述更新后预测模型作为下一迭代中的初始预测模型，返回“将所述数据集分为训练集和验证集”的步骤。4.根据权利要求3所述的一种驾驶员注意视点快速预测方法，其特征在于，在利用Adam优化器对所述初始预测模型的参数进行更新之前，所述快速预测方法还包括：设置所述Adam优化器的最大梯度值。5.根据权利要求3所述的一种驾驶员注意视点快速预测方法，其特征在于，在判断当前迭代以前的连续N次迭代的所述验证损失值是否呈下降趋势之前，所述快速预测方法还包括：判断当前迭代以前的连续M次迭代的所述验证损失值是否呈下降趋势；若否，则调低下一迭代中所述Adam优化器的学习率。6.根据权利要求1所述的一种驾驶员注意视点快速预测方法，其特征在于，在得到不同尺度的第一特征...

【专利技术属性】
技术研发人员：吕超，崔格格，孟相浩，龚建伟，冯悦，
申请(专利权)人：慧动星球北京科技有限公司，
类型：发明
国别省市：