一种基于人眼视线的人车交互方法、装置和存储介质制造方法及图纸

本申请公开了一种基于人眼视线的人车交互方法、装置和存储介质，该方法和装置应用于车辆，具体为获取车辆的驾驶员的人脸图像；利用神经网络算法对人脸图像进行处理，得到驾驶员的当前视线方向和眼部动作；根据当前视线方向与眼部动对车辆内的车内设备执行操作。这样一来，就无需驾驶员用手去对相应车内设备进行操作，从而避免驾驶员执行需要放开方向盘的操控动作而对汽车的安全行驶造成的不利影响。

【技术实现步骤摘要】
一种基于人眼视线的人车交互方法、装置和存储介质
本申请涉及车辆
，更具体地说，涉及一种基于人眼视线的人车交互方法、装置和存储介质。
技术介绍
我们知道，在汽车正常行驶过程中，为了保证安全驾驶，驾驶员的手最好仅限于方向盘及其附件，对其他部件最好不要动。但是，在汽车实际行驶时，往往需要驾驶员执行开启并设定导航、开关音视频播放、开关车窗等实际的需要手眼配合的动作。本申请的专利技术人在实践中发现，这些需要手眼配合的操控动作由于影响到了驾驶员对方向盘及其附件的有效掌握，从而对汽车的安全行驶造成了不利的影响。
技术实现思路
有鉴于此，本申请提供一种基于人眼视线的人车交互方法、装置和存储介质，用于避免驾驶员执行需要放开方向盘的操控动作而对汽车的安全行驶造成的不利影响。为了实现上述目的，现提出的方案如下：一种基于人眼视线的人车交互方法，应用于车辆，所述人车交互方法包括步骤：获取所述车辆的驾驶员的人脸图像；利用神经网络算法对所述人脸图像进行处理，得到所述驾驶员的当前视线方向和眼部动作；根据本文档来自技高网...

【技术保护点】
1.一种基于人眼视线的人车交互方法，应用于车辆，其特征在于，所述人车交互方法包括步骤：/n获取所述车辆的驾驶员的人脸图像；/n利用神经网络算法对所述人脸图像进行处理，得到所述驾驶员的当前视线方向和眼部动作；/n根据所述当前视线方向与所述眼部动对车辆内的车内设备执行操作。/n

【技术特征摘要】
1.一种基于人眼视线的人车交互方法，应用于车辆，其特征在于，所述人车交互方法包括步骤：
获取所述车辆的驾驶员的人脸图像；
利用神经网络算法对所述人脸图像进行处理，得到所述驾驶员的当前视线方向和眼部动作；
根据所述当前视线方向与所述眼部动对车辆内的车内设备执行操作。


2.如权利要求1所述的人车交互方法，其特征在于，所述获取所述车辆的驾驶员的人脸图像，包括步骤：
利用所述车辆内的至少一个摄像设备采集所述驾驶员的影像；
对所述影像进行处理，得到所述人脸图像。


3.如权利要求2所述的人车交互方法，其特征在于，所述影像为可见光影像和/或红外影像。


4.如权利要求1所述的人车交互方法，其特征在于，所述利用神经网络算法对所述人脸图像进行处理，包括步骤：
利用三个级联的Hourglass模块对所述人脸图像进行处理，得到人脸信息；
利用一个卷积层模块对所述人脸信息进行处理，得到包括多个眼睛关键点的特征图，所述特征图包含每个所述眼睛关键点的坐标；
利用Resnet网络采用直接回归算法对所述特征图进行处理，得到所述当前视线方向；
利用Lenet两分类网络对所述特征图进行处理，得到所述眼部动作。


5.如权利要求1所述的人车交互方法，其特征在于，所述根据所述当前视线方向与所述眼部动对车辆内的车内设备执行操作，包括步骤：
根据所述当前视线方向从所述车辆内多个车内设备中选定目标车内设备；
控制所述目标车内设备执行与所述眼部动作匹配的操作。


6.如权利要求5所述的人车交互方法，其特征在于，所述控制所述目标车内设备执行与所述眼部动作匹配的操作，包括步骤：
检测所述当前视线方向位于所述目标车内设备的焦点位置；
对所述眼部动作进行检测；
当所述眼部动作符合预设标准时，控制所述目标车内设备执行与所述焦点位置相匹配的操作。


7.如权利要求1～6任一项所述的人车交互方法，其特征在于，所述人车交互方法还包括步骤：
利用二分类的支持向量机对所述当前视线方向进行处理，得到所述驾驶员是否分分心的结论，当发现驾驶员分心时，向驾驶员发出警示信息。


8.一种基于人眼视线的人车交互装置，应用于车辆，其特征在于，所述人车交互装置包括...

【专利技术属性】
技术研发人员：边靖伟，金忠孝，
申请(专利权)人：上海汽车集团股份有限公司，上海汽车工业集团总公司，
类型：发明
国别省市：上海;31