一种考虑驾驶员情绪的增强现实抬头显示方法和系统技术方案

本发明专利技术公开了一种考虑驾驶员情绪的增强现实抬头显示方法和系统，包括TOF模块获取当前场景RGB格式的目标图像；图像识别模块识别所述目标图像中的眼球及人脸并生成识别结果；所述识别结果输入图像处理模块处理，包括获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；所述眼球位置信息传输至AR‑HUD系统中进行增强显示实时跟踪；根据传输至AR‑HUD系统中的驾驶员情绪感知数据，进行相应的内容结果显示调整。本发明专利技术的有益效果：通过使用TOF方案，集成ARHUD的眼球追踪模块加入情绪识别的算法，共用一套系统并能配合使用，降低成本，提高交互性能，情绪识别完成之后，更好的作用于ARHUD，并且做出相应的预警改善，从而减少事故的发生。

An augmented reality head up display method and system considering driver's emotion

【技术实现步骤摘要】
一种考虑驾驶员情绪的增强现实抬头显示方法和系统
本专利技术涉及智能座舱显示的
，尤其涉及一种考虑驾驶员情绪并作用于增强现实抬头显示的方法和考虑驾驶员情绪并作用于增强现实抬头显示的系统。
技术介绍
近年来，随着社会的发展和时代的进步以及汽车智能化的蓬勃发展，汽车的控制系统也日益复杂，驾驶人与汽车控制系统之间的矛盾也日益凸显。与此同时，“路怒症”、驾驶人的驾驶倾向性对驾驶安全有至关重要的影响。根据有关资料，大部分交通事故都可以归因于不正常的驾驶情绪以及过激的驾驶倾向性。如何及时的识别这种不正常的驾驶情绪以及过激的驾驶倾向性，是避免出现交通事故，保障车辆安全行驶的重要途径。现有的汽车安全预警方法很少会将驾驶情绪考虑在内，但是驾驶情绪在驾驶安全中发挥着重要的作用，是不可以被忽视的。情绪识别是分析驾驶情绪的一个重要手段，目前而言最有效的情绪识别是基于卷积神经网络的图像识别算法，通过对驾驶员的面部表情进行拍摄，进而对拍摄到的照片进行识别，进而判断此时驾驶员是一个什么样的情绪。所以，对汽车进行安全预警时，要考虑驾驶员的驾驶情绪
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术解决的一个技术问题是：提出考虑驾驶员情绪的增强现实抬头显示方法，结合驾驶情绪提高安全性能。为解决上述技术问题，本专利技术提供如下技术方案：一种考虑驾驶员情绪的增强现实抬头显示方法，包括TOF模块获取当前场景RGB格式的目标图像；图像识别模块识别所述目标图像中的眼球及人脸并生成识别结果；所述识别结果输入图像处理模块处理，包括获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；所述眼球位置信息传输至AR-HUD系统中进行增强显示实时跟踪；根据传输至AR-HUD系统中的驾驶员情绪感知数据，进行相应的内容结果显示调整。作为本专利技术所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述内容结果显示调整包括，根据驾驶员的情绪感知结果，进行AR-HUD内容显示的变化，包括愤怒情况下加粗预警的线条和颜色加深。作为本专利技术所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述TOF模块包括3D摄像模块和TOF传感器，包括，利用3D摄像模块获取目标图像的RGB图信息；通过TOF传感器并结合近红外光器阵列获得相应的深度信息；将获取的RGB图信息和深度信息传输发送至所述图像识别模块。作为本专利技术所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述图像处理模块包括，图像识别相应的眼球在图像中的位置；根据图像识别出来的位置及得到的深度信息，得到相应的深度信息；根据面部表情的图像，分析处理得到驾驶员的情绪状况。作为本专利技术所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述眼球位置信息获取包括，通过Haar特征在包含人眼的局部区域图像中确定瞳孔区域和位置；建立人眼图像的差分高斯金字塔模型计算区域极值点；在瞳孔区域图像中建立自适应瞳孔拟合模板，以区域极值点为模板中心拟合瞳孔边缘和中心。作为本专利技术所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述图像识别模块包括，根据人脸样本选择不同的Haar矩形特征，并针对每一个Haar特征模板训练一个弱分类器；根据人脸特征构造M个弱分类器；选出最优的N个弱分类器；设定误差率与阈值，生成M个级联的强分类器；输入所述目标图像，使用已经生成的所述M个强分类器，获得识别结果，并将相邻的子区域合并得到人脸区域。作为本专利技术所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述目标图像直方图均衡化处理，增加所述目标图像的局部对比度，包括直方图均衡化的步骤，统计直方图中每个灰度出现的次数，保存为一个数组；计算直方图中每个灰度的累计分布函数值，并保存为另一个数组；根据下式计算原图像直方图均衡化之后的灰度值；作为本专利技术所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述图像处理模块300采用卷积神经网络用来提取人脸表情的抽象特征，其包括，一个输入层、三个交替出现的卷积层和池化层、一个全连接层和一个输出层，网络的输入是100*100的人脸表情图片，卷积核的大小为3*3，卷积步长为1，激活函数采用线性整流函数，分类函数采用归一化指数函数的Softmax函数。作为本专利技术所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述卷积神经网络包括如下训练步骤，初始化i＝0，随机初始化卷积神经网络中的各个权值，参数值；根据设计的卷积神经网络结构计算各层的特征图；计算softmax层的损失项；计算网络参数矩阵W；选择相关的参数J；计算出整体的损失项L；更新损失参数，反向传播调整各个权值，偏置值的参数；直至L<s，或者达到最大迭代次数，跳出循环；采用Softmax激活函数，对整个人脸表情图像所属的类别进行判定。本专利技术解决的另一个技术问题是：提出考虑驾驶员情绪的增强现实抬头显示系统，结合驾驶情绪提高安全性能。为解决上述技术问题，本专利技术提供如下技术方案：一种考虑驾驶员情绪的增强现实抬头显示系统，包括TOF模块、图像识别模块、图像处理模块和AR-HUD模块；所述TOF模块用于获取当前场景RGB格式的目标图像；所述图像识别模块与所述TOF模块连接，用于识别所述目标图像中的眼球及人脸并生成识别结果；所述获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；所述图像处理模块与所述图像识别模块连接，用于分析获取眼球位置信息传输至AR-HUD模块中进行增强显示实时跟踪；所述AR-HUD模块用于根据驾驶员情绪感知数据进行相应的内容结果显示调整。本专利技术的有益效果：通过使用TOF方案，集成ARHUD的眼球追踪模块加入情绪识别的算法，共用一套系统并能配合使用，降低成本，提高交互性能，情绪识别完成之后，更好的作用于ARHUD，并且做出相应的预警改善，从而减少事故的发生。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术第一种实施例所述考虑驾驶员情绪的增强现实抬头显示方法的流程结构示意图；图2为本专利技术第一种实施例所述TOF系统结构原理示意图；图3为本专利技术第一种实施例所述瞳孔中心定位流程示意图；图4为本专利技术第一种实施例所述候选瞳孔中心定位示意图；图5为本专利技术第一种实施例所述有效候选瞳孔中心定位示意图；图6为本专利技术第一种实施例所述使用本文档来自技高网...

【技术保护点】
1.一种考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：包括，/nTOF模块(100)获取当前场景RGB格式的目标图像；/n图像识别模块(200)识别所述目标图像中的眼球及人脸并生成识别结果；/n所述识别结果输入图像处理模块(300)处理，包括获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；/n所述眼球位置信息传输至AR-HUD系统中进行增强显示实时跟踪；/n根据传输至AR-HUD系统中的驾驶员情绪感知数据，进行相应的内容结果显示调整。/n

【技术特征摘要】
1.一种考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：包括，
TOF模块(100)获取当前场景RGB格式的目标图像；
图像识别模块(200)识别所述目标图像中的眼球及人脸并生成识别结果；
所述识别结果输入图像处理模块(300)处理，包括获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；
所述眼球位置信息传输至AR-HUD系统中进行增强显示实时跟踪；
根据传输至AR-HUD系统中的驾驶员情绪感知数据，进行相应的内容结果显示调整。


2.如权利要求1所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述内容结果显示调整包括，
根据驾驶员的情绪感知结果，进行AR-HUD内容显示的变化，包括愤怒情况下加粗预警的线条和颜色加深。


3.如权利要求1或2所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述TOF模块(100)包括3D摄像模块(101)和TOF传感器(102)，包括，
利用3D摄像模块(101)获取目标图像的RGB图信息；
通过TOF传感器(102)并结合近红外光器阵列获得相应的深度信息；
将获取的RGB图信息和深度信息传输发送至所述图像识别模块(200)。


4.如权利要求3所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述图像处理模块(300)包括，
图像识别相应的眼球在图像中的位置；
根据图像识别出来的位置及得到的深度信息，得到相应的深度信息；
根据面部表情的图像，分析处理得到驾驶员的情绪状况。


5.如权利要求1～2或4任一所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述眼球位置信息获取包括，
通过Haar特征在包含人眼的局部区域图像中确定瞳孔区域和位置；
建立人眼图像的差分高斯金字塔模型计算区域极值点；
在瞳孔区域图像中建立自适应瞳孔拟合模板，以区域极值点为模板中心拟合瞳孔边缘和中心。


6.如权利要求5所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述图像识别模块(200)包括，
根据人脸样本选择不同的Haar矩形特征，并针对每一个Haar特征模板训练一个弱分类器；
根据人脸特征构造M个弱分类器；
选出最优的N个弱分类器；
设定误差率与阈值，生成M个级联的强分类器；
输入所述目标图...

【专利技术属性】
技术研发人员：林喜泓，
申请(专利权)人：的卢技术有限公司，
类型：发明
国别省市：江苏;32