一种驾驶员注意力区域预测系统技术方案

本发明专利技术公开了一种驾驶员注意力区域预测方法，包括以下步骤：S1：获取驾驶员注意力区域的原驾驶视频，并对所述原驾驶视频进行预处理，获得处理后的驾驶视频序列；S2：利用深度学习keras框架构建深度学习模型，并对深度学习模型进行训练S3：利用训练后的深度学习模型对预处理后的驾驶视频进行区域预测，获得驾驶员注意力区域预测结果；S4：输出驾驶员注意力区域预测结果；同时公开了一种驾驶员注意力区域预测系统，包括驾驶视频获取及预处理模块、模型训练模块、模型应用模块和结果输出模块；本发明专利技术具有在LHT和RHT场景下对驾驶注意力进行差异化训练，可以对驾驶注意力分场景、分情况进行精确的预测。进行精确的预测。进行精确的预测。

【技术实现步骤摘要】
一种驾驶员注意力区域预测系统


[0001]本专利技术涉及驾驶员注意力预测
，具体涉及一种驾驶员注意力区域预测系统。

技术介绍

[0002]长期以来，驾驶都是一项需要处理大量视觉信息的任务，人类的视觉在为车辆控制做出合适的决定方面起着最重要的作用。因此，全面了解驾驶员的视觉行为是提高驾驶安全性的一个重要组成部分。
[0003]事实上，在真实生活环境中，交通驾驶环境是一个复杂的，动态多变的场景，存在着许多主观和客观的因素结合在一起，影响着驾驶员的目光和注意力。其中，交通驾驶的环境不同包括LHT(Left
‑
handed Traffic，左驾右舵，简称为LHT)和RHTRight
‑
handed Traffic，右驾左舵，简称为RHT)的不同，以及驾驶环境的安全与危险。在人的主观因素中也包括着自下而上的视觉刺激，是指人通常会首先注意到视觉场景中最重要的和最显眼的区域；也有任务驱动的自顶向下的视觉注意力机制，结合先验知识、在意识的控制下对场景进行注意力的分配。在交通驾驶过程中，司机通常会将注意力分配到当前一秒钟内最重要和最突出的区域或目标，有时候司机应该关注的突出区域或者目标可能不止一个，会根据特定的场景、任务相关和物体层面的线索，对周围的物体(如车辆、行人、交通标志等视觉刺激)给予关注。
[0004]因此，需要一种驾驶员注意力区域预测方法来合理分配驾驶员的注意力以及对感兴趣区域信息的正确处理，提高驾驶员的驾驶安全性。

技术实现思路

[0005]有鉴于此，本专利技术提供一种驾驶员注意力区域预测系统，该系统能够准确预测出在左驾右舵安全情况、左驾右舵危险情况、右驾左舵安全情况和右驾左舵危险情况四种模式下的驾驶员注意力分布。
[0006]为实现上述目的，本专利技术提供如下技术方案：
[0007]一种驾驶员注意力区域预测方法，包括以下步骤：
[0008]S1：获取驾驶员注意力区域的原驾驶视频，并对所述原驾驶视频进行预处理，获得处理后的驾驶视频序列；
[0009]S2：利用深度学习keras框架构建深度学习模型，并对深度学习模型进行训练；
[0010]S3：利用训练后的深度学习模型对预处理后的驾驶视频序列进行区域预测，获得驾驶员注意力区域预测结果；
[0011]S4：输出驾驶员注意力区域预测结果。
[0012]进一步地，所述步骤S1中，对所述原驾驶视频预处理包括以下步骤：
[0013]对所述原驾驶视频预处理包括以下步骤：
[0014]S1.1：选择原驾驶视频输入的模式；
[0015]S1.2：根据原驾驶视频输入的模式，选择将要预测的原驾驶视频；
[0016]S1.3：基于选择结果，对将要预测的原驾驶视频进行预处理，并制作成数据集，获得处理后的驾驶视频序列。
[0017]更进一步地，所述步骤S1.1中，所述选择驾驶视频输入的模式包括左舵安全情况驾驶、左舵危险情况驾驶、右舵安全情况驾驶和右舵危险情况驾驶四种驾驶模式。
[0018]更进一步地，所述对将要预测的原驾驶视频进行预处理包括对获取的原驾驶视频进行预处理，异常视频过滤，异常视频修补，缺失视频补偿，重复视频删除，图像灰度处理，图像归一化处理。
[0019]进一步地，所述步骤S2中，利用深度学习keras框架构建深度学习模型训练模型，并对深度学习模型进行训练的步骤包括：
[0020]S2.1：color特征提取，基于C3D算法与CBMA的串行编码模块来对原始输入的视频序列进行RGB彩色信息的处理，并通过双线性进行采样，提取color特征；
[0021]S2.2：shape特征提取，采用空洞卷积对shape进行语义分割，并基于C3D的编码模块处理时序信息，通过双线性进行采样，提取shape特征；
[0022]S2.3：motion特征提取，采用稠密光流算法得到光流场来提取运动信息，并基于C3D的编码模块处理时序信息，通过双线性进行采样，提取motion特征；
[0023]S2.4：特征融合，采用多层深度特征融合算法对color特征、shape特征和motion特征进行融合，获得最终的FOA。
[0024]进一步地，所述输出驾驶员注意力区域预测结果包括对预测视频结果进行展示，并将视频存储在原驾驶视频的相同目录下，且直接跳转到已经预测完成的驾驶视频播放界面。
[0025]进一步地，一种驾驶员注意力区域预测系统，该所述系统包括：
[0026]视频获取及预处理模块，用于获取驾驶员注意力区域的原驾驶视频，并对所述原驾驶视频进行预处理，获得处理后的驾驶视频序列；
[0027]模型训练模块，用于构建深度学习模型，并对深度学习模型进行训练；
[0028]模型应用模块，利用训练后的深度学习模型对预处理后的驾驶视频序列进行区域预，获得驾驶员注意力区域预测结果；
[0029]结果展示模块，用于将预测完成的驾驶视频结果展示出来。
[0030]进一步地，所述视频获取及预处理模块包括视频获取模块和视频预处理模块，所述视频获取模块包括视频模式选择单元和视频选择单元，所述视频模式选择模块用于选择原驾驶视频的模式，并将模式结果发送至所述视频选择单元，所述视频选择单元用于选择需要预测的原驾驶视频；所述视频预处理模块用于对获取的原驾驶视频进行预处理，异常视频过滤，异常视频修补，缺失视频补偿，重复视频删除。
[0031]进一步地，所述模型训练模块包括color特征提取模块、shape特征提取模块、motion特征提取模块和融合模块，所述color特征提取模块用于基于C3D与CBMA的串行编码模块来对原始输入的视频序列进行RGB彩色信息的处理，所述shape特征提取模块用于采用空洞卷积对shape进行语义分割，所述motion特征提取模块用于采用稠密光流获得光流场来获取运动信息，所述融合模块用于采用多层融合算法对color特征、shape特征和motion特征进行融合获得最终的FOA。
[0032]从上述的技术方案可以看出，本专利技术的优点是：
[0033]现有技术相比，本专利技术具有在LHT和RHT场景下对驾驶注意力进行差异化训练，可以对驾驶注意力分场景、分情况进行精确的预测。
附图说明
[0034]构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0035]图1为本专利技术的一种驾驶员注意力区域预测方法的步骤图。
[0036]图2为本专利技术的一种驾驶员注意力区域预测系统的组成结构示意图。
[0037]图3为视频获取及预处理模块的组成结构示意图。
[0038]图4为视频获取及预处理方法的步骤图。
[0039]图5为深预测系统的组成结构示意图。
[0040]图6为本专利技术的一种UI界面模块的组成结构示意图。
[0041]图7为本专利技术的另一种UI界面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶员注意力区域预测方法，其特征在于，包括以下步骤：S1：获取驾驶员注意力区域的原驾驶视频，并对所述原驾驶视频进行预处理，获得处理后的驾驶视频序列；S2：利用深度学习keras框架构建深度学习模型，并对深度学习模型进行训练；S3：利用训练后的深度学习模型对预处理后的驾驶视频序列进行区域预测，获得驾驶员注意力区域预测结果；S4：输出驾驶员注意力区域预测结果。2.根据权利要求1所述的驾驶员注意力区域预测方法，其特征在于，所述步骤S1中，对所述原驾驶视频预处理包括以下步骤：S1.1：选择原驾驶视频输入的模式；S1.2：根据原驾驶视频输入的模式，选择将要预测的原驾驶视频；S1.3：基于选择结果，对将要预测的原驾驶视频进行预处理，并制作成数据集，获得处理后的驾驶视频序列。3.根据权利要求2所述的驾驶员注意力区域预测方法，其特征在于，所述步骤S1.1中，所述选择驾驶视频输入的模式包括左舵安全情况驾驶、左舵危险情况驾驶、右舵安全情况驾驶和右舵危险情况驾驶四种驾驶模式。4.根据权利要求2所述的驾驶员注意力区域预测方法，其特征在于，所述对将要预测的原驾驶视频进行预处理包括对获取的原驾驶视频进行预处理，异常视频过滤，异常视频修补，缺失视频补偿，重复视频删除，图像灰度处理，图像归一化处理。5.根据权利要求1所述的驾驶员注意力区域预测方法，其特征在于，所述步骤S2中，利用深度学习keras框架构建深度学习模型训练模型，并对深度学习模型进行训练的步骤包括：S2.1：color特征提取，基于C3D算法与CBMA的串行编码模块来对原始输入的视频序列进行RGB彩色信息的处理，并通过双线性进行采样，提取color特征；S2.2：shape特征提取，采用空洞卷积对shape进行语义分割，并基于C3D的编码模块处理时序信息，通过双线性进行采样，提取shape特征；S2.3：motion特征提取，采用稠密光流算法得到光流场来提取运动信息，并基于C3D的编码模块处理时序信息，通过双线性进行采样，提取m...

【专利技术属性】
技术研发人员：许佳炜，张笑钦，
申请(专利权)人：温州大学大数据与信息技术研究院，
类型：发明
国别省市：