基于Soli和Tobii的汽车HUD眼动辅助手势交互装置制造方法及图纸

基于Soli和Tobii的汽车HUD眼动辅助手势交互装置，安装于车内，实现辅助驾驶员在驾驶时对车载电子设备的显示和输入的交互。整个装置设计成一体式的盒壳体结构，安装于放置于仪表盘上方区域，包括底壳、外壳顶部、采集和发射面、投影反射面、主板；采集和发射面位于盒体外，面向驾驶员；投影发射面面向挡风玻璃；主板安装于盒体内部，盒内部件以及与主板相连接的外围功能模块有Tobii眼动追踪器、雷达天线、Soli微型雷达芯片、镜面反光板、图像处理和微型投影单元、处理器。有效效果：实现辅助驾驶员对车载电子设备的显示和输入的交互。通过眼动和手势交互配合，模仿人类自然手势交流方式，使汽车人机交互更直觉化，驾驶员的认知负荷因此降低，用户体验更良好。

Vehicle HUD eye movement auxiliary gesture interaction device based on Soli and Tobii

The HUD eye movement assistant gesture interaction device based on Soli and Tobii is installed in the vehicle to realize the interaction between the display and input of the vehicle electronic device when the driver is driving. The whole device is designed into the box shell integral structure, mounted on the dashboard placed over the area, including the top and bottom shell, shell collection and emission surface, projection reflector, motherboard; acquisition and emission in the box body, driver oriented; projection emitting surface oriented windshield; main board is installed on the inside of the box body. The box parts and peripheral modules connected with the motherboard Tobii eye tracking, radar antenna, Soli Mini radar chip, mirror plate, image processing and projection unit, micro processor. The effective effect is to realize the interaction between the display and input of the on-board electronic device by the assistant driver. Through the interaction of eye movements and gestures, and imitating the human natural gesture communication mode, it makes the human-computer interaction more intuitive, reduces the cognitive load of drivers, and leads to better user experience.

【技术实现步骤摘要】
基于Soli和Tobii的汽车HUD眼动辅助手势交互装置
本技术涉及汽车人机交互领域。
技术介绍
传统车载人机交互方案的用户体验不良。随着汽车智能化和车联网服务的发展，车内的设备和信息都较以往大幅增加，车载系统越来越复杂化，同时人车交互的需求也随之增加，因此驾驶员的认知负荷较高，传统的人机交互界面(实体按键、旋钮、触控屏)无法解决新形势下的问题，导致车载人机交互用户体验不良。新兴的车载人机交互方案存在不足：“新兴的车载人机交互方案”指与本专利技术相关的两项技术：手势交互和汽车平视现实(HUD)。1、手势交互：目前市场上有部分厂商(如宝马7系)推出支持手势交互的车载系统，但其方案有三方面的缺点：(1)一种手势只能支持单一的操作指令，为了不使交互方式过于复杂，手势交互只能进行非常有限的操作；(2)现有手势识别的技术采用了计算机视觉的方案，通过摄像头捕捉手部动作容易受到遮挡，因此对手势发生的位置有较严格的要求(例如在中控面板正前方)，操作时手部不得不离开方向盘。这样使的驾驶员的认知负荷提升，造成驾驶分心；(3)计算机视觉的识别方案可靠性较差，容易带来误操作、识别错误、操作延迟等问题，而这些问题十分影响驾驶来安全。2、汽车HUD：汽车HUD是一种将车载系统信息投影在挡风玻璃上的装置，传统的HUD一般仅具有呈现速度等信息的很有限的功能，少数新出现的HUD产品具备手势或语音操作的功能(如Navdy)，但没有考虑HUD的应用特点，依然沿用了屏幕显示的交互逻辑，容易造成驾驶员的分心，导致交通事故。
技术实现思路
本技术首次公开一种盒式结构的车内交互装置，安装于车内，实现辅助驾驶员在驾驶时对车载电子设备的显示和输入的交互。本技术给出的技术方案：一种基于Soli和Tobii的汽车HUD眼动辅助手势交互装置，其特征在于，整个装置设计成一体式的盒壳体结构，安装于放置于仪表盘上方区域，包括底壳、外壳顶部6、采集和发射面、投影反射面、主板；所述采集和发射面位于盒体外，面向驾驶员；所述投影发射面面向挡风玻璃；所述主板安装于盒体内部，盒内部件以及与主板相连接的外围功能模块有Tobii眼动追踪器1、雷达天线4、Soli微型雷达芯片8、镜面反光板7、图像处理和微型投影单元5、处理器12，所述Tobii眼动追踪器1位于采集和发射面上，对准驾驶员的眼睛，捕捉驾驶员眼球的运动；所述雷达天线4位于采集和发射面上，用于发射和接收雷达信号；所述Soli微型雷达芯片8与雷达天线4连接，用于识别驾驶员手部动作；所述镜面反光板7安装于盒体的投影反射面上，将HUD图形折射到挡风玻璃上；所述图像处理和微型投影单元5安装于主板上，生成和渲染HUD界面图像，并经镜面反光板7投影到汽车挡风玻璃上，通过镜面反光板7的折射增加虚像成象距离；所述处理器12通过主板分别与Tobii眼动追踪器1、Soli微型雷达芯片8、图像处理和微型投影单元5连接集成交互数据，产生交互指令。本技术的有益效果：实现辅助驾驶员在驾驶时对车载电子设备的显示和输入的交互。通过眼动和手势交互的配合，模仿了人类自然手势交流的方式，使汽车人机交互更直觉化，驾驶员的认知负荷因此降低，用户体验更良好。附图说明图1.本技术装置的透视图和爆炸图(A)图2.本技术装置的透视图和爆炸图(B)图3.本技术装置的透视图和爆炸图(C)图4.本技术使用场景图具体实施方式(一)本技术技术方案由以下技术支持产生：1.Tobii是一款可以嵌入到产品内部的视觉运动追踪器(eyetracker)，可以获取人眼注视位置的数据，并转化为数字信号，供眼动交互系统使用。2.Soli是一款利用微芯片雷达识别出细微的手指活动的产品，由谷歌公司研发。相比利用计算机视觉技术识别手势的方法，识别动作更准确、及时，对手部动作的位置、幅度具有更大包容性。3.汽车HUD(heads-updisplay)是指将车载系统界面通过投影设备，经过镜面折射投影到挡风玻璃或外设的玻璃板上形成虚像的设备。能使驾驶员操作车载系统无需将视线移动到行驶道路视野之外。4.眼动辅助手势交互是指利用眼动追踪设备，将人眼运动信息作为交互系统的一部分输入数据，结合手势识别设备获取到的手势信息，提升手势交互的准确度、降低复杂度，建立更好的用户体验。(二)、以下结合附图对本技术技术方案做进一步介绍。本技术系统由Tobi眼动追踪器、Soli手势识别雷达输入交互数据，通过CAN总线与车载设备通信，并通过图像处理和微型投影单元输出HUD界面。如图1、图2、图3所示，本技术系统：Soli手势识别雷达和Tobii眼动追踪器的数据传输到交互数据集成处理器中，经处理器处理后生成操作指令，将操作指令经CAN总线发送到各车载设备的电子控制单元。另，将车载设备的状态数据经CAN总线返回到处理器，发送到HUD图像处理和微型投影单元。利用微型投影仪(5)将HUD界面图像经一块镜面(7)反射投影到汽车挡风玻璃上，虚像显示在挡风玻璃外约2米位置。HUD界面包含代表车内可操控设备的图标.操作过程中HUD界面起到操作效果反馈的作用。利用TobiiIS4(1)获取驾驶员的视觉注视的位置数据，系统根据驾驶员视线注视位置判断驾驶员此时的需求和意图。利用Soli(8)获取驾驶员手部动作，驾驶员通过手势与车载系统交互，以控制车内设备。手势和眼动数据在交互数据集成处理器(12)中生成操作指令，经过CAN总线发送到各车载设备电子控制单元，执行交互指令，同时，车载设备的状态数据经CAN总线返回到处理器，HUD界面产生响应。本技术公开了实施例，整个装置设计成一体式的盒壳体结构，安装于放置于仪表盘上方区域，包括支架体、采集和发射面、投影反射面、主板，所述支架体用于固着整个盒体；所述采集和发射面位于盒体外，面向驾驶员；所述投影发射面面向挡风玻璃；所述主板安装于盒体内部，盒内部件以及与主板相连接的外围功能模块有：Tobii眼动追踪器1：传感器位于采集和发射面上，对准驾驶员的眼睛，捕捉驾驶员眼球的运动。开机后需按照HUD界面校准。雷达天线4：为Soli的雷达的组成部分，该Soli的雷达天线位于采集和发射面上，用于发射和接受驾驶员手部动作信号。Soli微型雷达芯片8：为Soli的雷达的组成部分，与雷达天线4连接，用于识别驾驶员手部动作。图像处理和微型投影单元5：安装于主板上，生成和渲染HUD界面图像，并经镜面反光板7投影到汽车挡风玻璃上。镜面反光板7：安装于盒体的投影反射面上，将HUD图形折射到挡风玻璃上，通过折射增加虚像成象距离。交互数据集成处理器12：通过主板分别与Tobii眼动追踪器1、Soli微型雷达芯片8、图像处理和微型投影单元5连接，用于数据处理和产生交互指令。该交互数据集成处理器12，完成数据的交互以及产生交互指令，采用现有技术，不是本技术技术方案的创新点。开关按钮2：连接于主板上。按钮边缘有环形指示灯，当本设备关闭时，短按一次按钮开启本设备，指示灯亮起3秒；当设备开启时，短按按钮一次指示灯亮起三秒，长按3秒按钮设备关闭。USB插孔9：连接于主板上，用于设备的开发、维护和拓展。数据线10：限制布置在主板上，用于实现整个系统的数据传输和供电。散热电扇11：连接于主板上，获本文档来自技高网...

【技术保护点】
一种基于Soli和Tobii的汽车HUD眼动辅助手势交互装置，其特征在于，整个装置设计成一体式的盒壳体结构，安装于放置于仪表盘上方区域，包括底壳、外壳顶部(6)、采集和发射面、投影反射面、主板；所述采集和发射面位于盒体外，面向驾驶员；所述投影发射面面向挡风玻璃；所述主板安装于盒体内部，盒内部件以及与主板相连接的外围功能模块有Tobii眼动追踪器(1)、雷达天线(4)、Soli微型雷达芯片(8)、镜面反光板(7)、图像处理和微型投影单元(5)、处理器(12)，所述Tobii眼动追踪器(1)位于采集和发射面上，对准驾驶员的眼睛，捕捉驾驶员眼球的运动；所述雷达天线(4)位于采集和发射面上，用于发射和接收雷达信号；所述Soli微型雷达芯片(8)与雷达天线(4)连接，用于识别驾驶员手部动作；所述镜面反光板(7)安装于盒体的投影反射面上，将HUD图形折射到挡风玻璃上；所述图像处理和微型投影单元(5)安装于主板上，生成和渲染HUD界面图像，并经镜面反光板(7)投影到汽车挡风玻璃上，通过镜面反光板(7)的折射增加虚像成象距离；所述处理器(12)通过主板分别与Tobii眼动追踪器(1)、Soli微型雷达芯片(8)、图像处理和微型投影单元(5)连接集成交互数据，产生交互指令。...

【技术特征摘要】
1.一种基于Soli和Tobii的汽车HUD眼动辅助手势交互装置，其特征在于，整个装置设计成一体式的盒壳体结构，安装于放置于仪表盘上方区域，包括底壳、外壳顶部(6)、采集和发射面、投影反射面、主板；所述采集和发射面位于盒体外，面向驾驶员；所述投影发射面面向挡风玻璃；所述主板安装于盒体内部，盒内部件以及与主板相连接的外围功能模块有Tobii眼动追踪器(1)、雷达天线(4)、Soli微型雷达芯片(8)、镜面反光板(7)、图像处理和微型投影单元(5)、处理器(12)，所述Tobii眼动追踪器(1)位于采集和发射面上，对准驾驶员的眼睛，捕捉驾驶员眼球的运动；所述雷达天线(4)位于采集和发射面上，用于发射和接收雷达信号；所述Soli微型雷达芯片(8)与雷达天线(4)连接，用于识别驾驶员手部动作；所述镜面反光板(7)安装于盒体的投影反射面上，将HUD图形折射到挡风玻璃上；所述图像处理和微型投影单元(5)安装于主板上，生成和渲染HUD界面图像，并经镜面反光板(7)投影到汽车挡风玻璃上，通过镜面反光板(7)的折射增加虚像成象距离；所述处理器(12)通过主板分别与Tobii眼动追踪器(1)、Soli微型雷达...

【专利技术属性】
技术研发人员：周博，孙效华，
申请(专利权)人：同济大学，
类型：新型
国别省市：上海,31