一种多模态人机交互系统及车辆技术方案

本发明专利技术公开了一种多模态人机交互系统及车辆，涉及智能控制领域，通过智能座舱主机获取当前车辆的车辆环境信息和车辆状态信息和/或报警信息并传递给HUD主机，HUD主机用于接收所述车辆环境信息和车辆状态信息和/或报警信息，HUD光学投影设备与所述HUD主机连接，HUD光学投影设备将所述车辆环境信息和车辆状态信息和/或报警信息投影至可触摸显示屏，用户可以通过手势指令、语音控制指令、触摸指令调整车辆环境信息的显示情况和/或将所述指令发送至所述智能座舱主机，实现可触摸显示屏显示与车内设备运行同时执行，从而实现多模态人机交互从而使驾驶员操作改变HUD投影信息更加方便快捷。快捷。快捷。

【技术实现步骤摘要】
一种多模态人机交互系统及车辆


[0001]本专利技术涉及智能控制领域，特别是涉及一种多模态人机交互系统及车辆。

技术介绍

[0002]随着科技的发展，抬头显示器(head up display，HUD)在越来越多的车辆上使用，而且随着技术的进步，以及成本的下降，增强现实
‑
抬头显示器(Augmented Reality
‑
head up display，AR
‑
HUD)也逐步在量产车型中批量推广，通过AR
‑
HUD其特殊的光学成像原理，结合某些光源，能够很大程度地提高成像亮度，使得驾驶员在高亮的环境光下能够看清图像，同时，AR
‑
HUD成像尺寸达到了30寸以上使得显示信息更加丰富多彩。
[0003]在普遍状况下HUD所投影信息需要驾驶员自行更改，驾驶员需要不时低头查看仪表盘，驾驶员频繁的视线聚焦会造成视觉反应速度变慢、视觉疲劳且操作不便的效果，同时因为注意力分散，疲劳驾驶可能导致发生交通事故。

技术实现思路

[0004]本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态人机交互系统，其特征在于，所述多模态人机交互系统与智能座舱主机连接，所述智能座舱主机用于获取当前车辆的车辆环境信息和车辆状态信息和/或报警信息；其中，所述多模态人机交互系统包括：抬头显示器HUD主机，与所述智能座舱主机连接，用于接收所述车辆环境信息和车辆状态信息和/或报警信息；HUD光学投影设备，与所述HUD主机连接，用于投影所述车辆环境信息和车辆状态信息和/或报警信息；可触摸显示屏，与所述智能座舱主机、HUD光学投影设备连接，用于显示所述车辆环境信息和车辆状态信息和/或报警信息，以及接收用户的触摸指令，并根据所述触摸指令调整车辆环境信息的显示情况和/或将所述触摸指令发送至所述智能座舱主机。2.根据权利要求1所述的多模态人机交互系统，其特征在于，所述多模态人机交互系统还包括：手势识别传感器，与所述智能座舱主机连接，用于识别当前车辆内人员的手势，并发送至所述智能座舱主机；所述智能座舱主机根据所述手势，生成手势指令以控制对应的车内设备，同步将所述手势指令发送至所述可触摸显示屏，使得所述可触摸显示屏根据所述手指指令调整车辆环境信息的显示情况。3.根据权利要求1所述的多模态人机交互系统，其特征在于，所述多模态人机交互系统还包括：麦克风，与所述智能座舱主机连接，用于将声音信号转换为电信号，将电信号传输至所述智能座舱主机；所述智能座舱主机根据所述电信号，生成语音控制指令以控制对应的车内设备，同步将所述语音控制指令发送至所述可触摸显示...

【专利技术属性】
技术研发人员：林燕丹，孙小冬，陈文芳，
申请(专利权)人：复旦大学，
类型：发明
国别省市：