一种驾驶员驾驶时人机交互的方法和系统技术方案

本发明专利技术涉及一种辅助驾驶领域，特别是涉及辅助驾驶中驾驶员与车辆的交互控制；本发明专利技术提供了一种辅助驾驶系统，所述系统包括人眼视线实时监测单元，抬头显示单元和人机交互单元；本发明专利技术以前挡风玻璃作为显示屏，以驾驶员的面部表情作为交互方式，提高了驾驶时的安全性。

A method and system of human-computer interaction for driver driving

【技术实现步骤摘要】
一种驾驶员驾驶时人机交互的方法和系统
本专利技术涉及辅助驾驶领域，特别是涉及辅助驾驶中驾驶员与车辆的交互控制。
技术介绍
现有技术中对于辅助驾驶领域中驾驶员与车辆的交互方式并不方便。例如CN104866106公开了HUD显示与红外识别手势的人机交互。CN106445104公开了HUD与人眼视线的交互。该交互用于提供最佳HUD显示视角。CN107054225公开了一种前景图像摄取以及视线捕捉装置，当注视位置位于车内控制用显示屏上时，将前景图像投射到显示屏上。然而这些交互方式存在如下缺点：捕捉手势或人眼的传感器并不精确，导致人机交互的体验并不好。驾驶员在进行人机交互时并没有把视线注意到驾驶的前视野，注意力都放在旁边的显示屏上，对安全驾驶是一种威胁。
技术实现思路
鉴于现有技术中存在的问题，本专利技术的目的之一在于提供一种驾驶员使用的人机交互方式，保障安全驾驶。为达此目的，本专利技术采用以下技术方案：一种驾驶员人机交互系统，其特征在于：所述系统包括人眼视线实时监测单元，抬头显示单元和人机交互单元；所述人眼视线实时监测单元用于输出人眼视线在前挡风玻璃上的位置坐标；所述抬头显示单元用于将人机交互的内容投影到所述前挡风玻璃上；所述人机交互单元用于接收所述人眼视线实时监测单元输出的位置坐标，并通过一显示单元显示所述前挡风玻璃上该坐标位置；还用于采集所述驾驶员的各种表情进行人机交互。该显示单元优选为激光器。优选的，所述实人眼视线实时监测单元包括：DMS图像采集单元和分类器单元。优选的，训练所述分类器单元为采用多台相机从不同的角度在同一时间拍摄图像，从不同角度同一时间拍摄的图像构成的图像集作为一个样本。优选的，训练所述分类器单元所使用的样本集包括人眼视线在所述前挡风玻璃上的各个位置。优选的，所述样本集还包括正样本和负样本。优选的，所述样本集还需要参考环境因素，所述环境因素包括：光照、雨雪和雾。优选的，所述人机交互单元还可通过采集所述驾驶员的手势进行人机交互。优选的，所述人机交互单元还可通过采集所述驾驶员的语音进行人机交互。优选的，所述各种表情包括人眼视线停留的时间。优选的，所述DMS图像采集单元为单一相机。一种驾驶员人机交互方法，使用了上述的驾驶员人机交互系统。优选的，其中训练所述分类器单元为采用多台相机从不同的角度在同一时间拍摄图像，从不同角度同一时间拍摄的图像构成的图像集作为训练样本。采用了上述技术方案，使其对现有技术做出了实质性的贡献，产生了意料之外的技术效果。这一突出的优势主要体现在如下几点，但本专利技术的专利技术点并不限于下述列举的几点。（1）分类器的训练采取了多台相机从不同角度在同一时候进行拍照，所得同一时刻图像集作为训练用数据。因收集了多角度人脸图像，由此对神经网络的训练更加全面准确。要做到驾驶员在驾驶过程中的人机交互，对于人眼视线的准确跟踪是实现人机交互的基础，而通过神经网络训练后输出的人眼位置坐标，能够满足精准的人机交互对视线位置准确度的要求。因此采集图像时，对分类器的训练采取了多台相机从不同角度在同一时刻进行拍照是本专利技术的一个专利技术点。（2）以前挡风玻璃作为显示屏，以驾驶员的视线作为交互方式，提高了驾驶时的安全性。而在现有技术中对于面部表情的识别停留并没有用于与显示屏的交互，对于面部表情况的识别只是用于对驾驶员驾驶状态的评估。而本专利技术将面部表情的感知用于人机交互体系，为本领域的首创，这也是本专利技术的一个专利技术点。附图说明图1是本专利技术人机交互系统预设的一级菜单示意图；图2是本专利技术人机交互系统选择操作示意图。下面对本专利技术进一步详细说明。但下述的实例仅仅是本专利技术的简易例子，并不代表或限制本专利技术的权利保护范围，本专利技术的保护范围以权利要求书为准。具体实施方式下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。为更好地说明本专利技术，便于理解本专利技术的技术方案，本专利技术的典型但非限制性的实施例如下：本专利技术采用人工智能的人眼位置监控技术，通过人眼注视位置的监控，实时得到驾驶员的人眼注视位置，同时将人机交互界面通过HUD等方式投影在前挡风玻璃上；人眼视线与前挡风玻璃的交点充当“视线鼠标”，借助人眼视线的精确定位功能，这样就可以完成驾驶员对显示界面各个选项的精确选择。同时这一交互方式因驾驶员没有将视线进行大角度的转移，从而保证了驾驶的安全性。本专利技术的驾驶辅助系统包括：人眼视线实时监测单元；抬头显示单元和人机交互单元三个单元。人眼视线实时监测单元；该单元包括：DMS图像采集单元，用于采集驾驶员实时人脸图像；分类器单元，DMS图像采集单元将采集的人脸图像输入到已经训练好的分类器单元，该分类器单元输出此时人眼注视的位置坐标。本申请在训练分类器单元的过程中，图像采集系统包括有多个相机，并且相机摆放在特定的位置以满足同一时刻拍摄图像的需要。该相机可以以阵列的方式排列在被试者的面前，以方便在同一时刻拍摄多张照片；该机相的拍摄角度选择是特定的，每一相机都是以特定的角度对准人脸，以保证同一时刻拍摄得到不同角度的人脸图像。当上述的排成阵列的相机在同一时刻拍摄人脸时，至少平行方向排列的两个相机在对准人脸的方向，即该相机的光轴方向间夹角为90度设置。当然，该光轴方向间夹角可大于90度,以方便得到更多的人脸照片信息。图像采集系统还包括：多个支架，该多个支架包括多个横向支架和多个纵向支架；多个相机固定在多个所述横向支架和纵向支架的交叉位置；一轨道结构，其包括横向轨道和纵向轨道，该轨道结构能够在支架上沿水平方向和竖直方向自由移动；一光源固定在横向轨道和纵向轨道的交叉位置；一相机与该光源固定，使相机能随光源移动而移动。优选的，所述固定的工业相机在对准人脸的方向，即该相机的光轴方向各不相同。优选的，该支架为滑轨形式，即各支架间的相互距离可以调整，通过支架间相互距离的调整从而可以改变相机间的相对位置，以适应不同测试场合的需要。实施例1分类器单元为经过训练可以实现人眼视线聚焦点位置判断的单元，分类器单元的完成需要经过样本采集和分类器训练两个步骤；步骤S1，样本采集，具体为人脸面部图像的采集，具体采用本系统的人脸面部图像采集装置，采集装置中所有的相机必须同时拍照，同时拍的照片的每个图像都必须盖有时间戳，作为一个样本，以图像采集装置有9个相机为例，在时间A1拍的照片，可以依次编号为A1P11，A1P12，A1P13，A1P21，A1P22，A1P23，A1P31，A1P32，A1P33，分别代表左上、中上，右上、中左、正中、中右、左下、中下、右下的图片，并且以这9张图像作为一个整体样本进行判断；采样的图像都采用统一的格式及大小，为后续的比较评估单元的对比带来便利。由于本申请的图像采集装置采用了多个相机同时拍摄，大大提高了人眼视线聚焦点的识别精度，相应的在样本采集阶本文档来自技高网...

【技术保护点】
1.一种驾驶员人机交互系统，其特征在于：所述系统包括人眼视线实时监测单元，抬头显示单元和人机交互单元；/n所述人眼视线实时监测单元用于输出人眼视线在前挡风玻璃上的位置坐标；/n所述抬头显示单元用于将人机交互的内容投影到所述前挡风玻璃上；/n所述人机交互单元用于接收所述人眼视线实时监测单元输出的所述位置坐标，并通过一显示单元显示所述前挡风玻璃上该坐标位置；所述人机交互单元还用于采集所述驾驶员的各种表情进行人机交互。/n

【技术特征摘要】
1.一种驾驶员人机交互系统，其特征在于：所述系统包括人眼视线实时监测单元，抬头显示单元和人机交互单元；
所述人眼视线实时监测单元用于输出人眼视线在前挡风玻璃上的位置坐标；
所述抬头显示单元用于将人机交互的内容投影到所述前挡风玻璃上；
所述人机交互单元用于接收所述人眼视线实时监测单元输出的所述位置坐标，并通过一显示单元显示所述前挡风玻璃上该坐标位置；所述人机交互单元还用于采集所述驾驶员的各种表情进行人机交互。


2.根据权利要求1所述的系统，其特征在于：所述人眼视线实时监测单元包括：DMS图像采集单元和分类器单元。


3.根据权利要求2所述的系统，其特征在于：训练所述分类器单元为采用多台相机从不同的角度在同一时间拍摄图像，从不同角度同一时间拍摄的图像构成的图像集作为训练样本。


4.根据权利要求3所述的系统，其特征在于：训练所述分类器单元所使用的样本...

【专利技术属性】
技术研发人员：侯喆，
申请(专利权)人：北京魔门塔科技有限公司，
类型：发明
国别省市：北京;11