一种面向自动驾驶智能座舱的多模态人机交互系统技术方案

本发明专利技术涉及智能座舱技术领域，公开了一种面向自动驾驶智能座舱的多模态人机交互系统，其技术方案要点是包括座舱，座舱内包括座椅组件、显示屏、音响模块和控制模块，显示屏上设置有摄像模块，通过配置的识别驾驶人员策略，能够根据驾驶人员来调取对应偏好数据中设定的歌单来提高驾驶人员的驾驶体验，通过配置的目标状态识别策略，能够判定驾驶人员是否处于休息状态，若驾驶人员正在休息则关闭显示屏，减少能源的损耗，通过配置的距离提醒策略能够判断驾驶人员观影距离是否距离显示屏过近，若距离过近则通过扬声器来发出提醒保持距离语音，避免驾驶人员和乘客在观影时导致的近视，从而提升驾驶人员在座舱中的使用体验。提升驾驶人员在座舱中的使用体验。提升驾驶人员在座舱中的使用体验。

【技术实现步骤摘要】
一种面向自动驾驶智能座舱的多模态人机交互系统


[0001]本专利技术涉及智能座舱
，更具体的说是涉及一种面向自动驾驶智能座舱的多模态人机交互系统。

技术介绍

[0002]随着汽车的发展，自动驾驶汽车逐渐成为汽车产业发展的重要发展方向之一。而在现有具备自动驾驶的汽车中其驾驶座舱仍然较为传统，驾驶人员通常通过语音或触控的方式来实现控制车内的影音娱乐或驾驶座椅组件的按摩功能，智能化程度仍然有待提升。

技术实现思路

[0003]针对现有技术存在的不足，本专利技术的目的在于提供一种面向自动驾驶智能座舱的多模态人机交互系统，用于提升驾驶人员在座舱中的使用体验。
[0004]为实现上述目的，本专利技术提供了如下技术方案：
[0005]一种面向自动驾驶智能座舱的多模态人机交互系统，包括座舱，所述座舱内包括座椅组件、显示屏、音响模块和控制模块，所述显示屏上设置有摄像模块，所述座椅组件用以为驾驶人员和乘客提供座位；
[0006]所述音响模块包括扬声器单元，所述扬声器单元用以播放音乐或提示语音；
[0007]所述控制模块包括用户数据库和调取单元，所述用户数据库用以存储预设的驾驶人员面部数据以及预设的偏好数据，预设的驾驶人员面部数据与预设的偏好数据一一对应，预设的偏好数据包括歌单，所述调取单元用以调取所述用户数据库中的预设的偏好数据的歌单；
[0008]所述摄像模块包括人脸识别单元、目标状态识别单元和人体距离计算单元，当驾驶人员坐在所述座椅组件上时，所述人脸识别单元识别驾驶人员面部，并生成实际驾驶人员面部数据，所述人体距离计算单元用以分别计算驾驶人员面部和乘客面部至所述显示屏之间距离并分别生成对应的距离数值；
[0009]所述控制模块配置有识别驾驶人员策略，所述识别驾驶人员策略：所述人脸识别单元将实际驾驶人员面部数据和预设的驾驶人员面部数据作比对，若实际驾驶人员的面部数据与所述用户数据库中预设的驾驶人员面部数据相匹配则生成调取指令，所述调取单元根据调取指令调取对应的预设的偏好数据中的歌单显示在显示屏上；
[0010]所述控制模块配置有目标状态识别策略，所述目标状态识别策略：所述目标识别单元识别驾驶人员面部状态并与预设驾驶人员休息时的面部状态做比对，并生成面部状态重合度，若面部状态重合度大于预设驾驶人员休息时的面部状态重合阈值时则判定驾驶人员正在休息，关闭所述显示屏；
[0011]所述控制模块配置有距离提醒策略，所述距离提醒策略：所述距离计算单元将距离数值与预设的距离阈值做比对，若距离数值小于预设的距离阈值生成提醒保持距离指令，所述扬声器单元根据提醒保持距离指令发出提醒保持距离语音。
[0012]在本专利技术中，优选的，所述摄像模块还包括手部姿势估计单元，所述手部姿势估计单元包括若干个预设的手势，且每个预设的手势对应一个手势指令，所述手部姿势估计单元用以识别驾驶人员的手势对应的预设的手势，并调取对应的手势指令，通过手势指令来控制所述扬声器单元进行播放操作，所述播放操作包括有，增大播放音量、减小播放音量、播放上一首歌曲、播放下一首歌曲或视频播放进度。
[0013]在本专利技术中，优选的，所述音响模块包括语音唤醒单元、语音转写单元、语音交互单元和语音控制单元，所述语音唤醒单元用以根据预设的唤醒关键词来启动所述语音转写单元，所述语音转写单元用以识别驾驶人员说的话作为指令话语，并将所述指令话语转化成文字指令显示在所述显示屏上，所述语音交互单元根据所述文字指令通过所述扬声器单元发出预设的反馈语音；
[0014]所述语音控制单元用以根据文字指令生成控制指令，所述控制指令包括播放视频指令和播放音乐指令，所述显示屏根据播放视频指令在所述显示屏上播放视频，所述显示屏根据播放音乐指令播放所述显示屏上显示的歌单，并通过扬声器单元播放。
[0015]在本专利技术中，优选的，一种面向自动驾驶智能座舱的多模态人机交互系统还包括冷藏模块，所述冷藏模块包括冰箱和动力单元，所述冰箱用以存储饮品，所述控制指令包括打打开冰箱指令，所述冷藏模块配置有语音打开冰箱饮水策略和提醒饮水策略；
[0016]所述语音打开冰箱饮水策略：当所述动力单元接收到所述打打开冰箱指令后打开冰箱，当操作人员关闭冰箱后执行提醒饮水策略，
[0017]所述提醒饮水策略：所述控制模块包括饮水提醒单元，所述饮水提醒单元包括预设的饮水时间，所述饮水提醒单元用以在间隔预设的饮水时间后生成询问指令，所述询问指令用以通过所述扬声器单元发出预设的询问语音，且同时启动所述语音转写单元，通过所述语音转写单元将驾驶人员说的话转化成回应文字指令，若回应文字指令与预设的回应文字指令相同则重新发送打打开冰箱指令至所述动力单元，所述动力单元根据所述打打开冰箱指令重新打开冰箱，若回应文字指令与预设的回应文字指令不同则在预设的二次提醒时间后重新通过所述扬声器单元发出预设的询问语音。
[0018]在本专利技术中，优选的，所述冰箱内配置有空箱检测模块，所述空箱检测模块包括重力检测单元，所述重力检测单元用以检测所述冰箱内放置饮品的重量，并生成重量值，当所述重力检测单元检测到的所述重量值小于预设的重量阈值时，通过所述扬声器单元发出补箱提醒。
[0019]在本专利技术中，优选的，所述座椅组件上配置有按摩单元，所述按摩单元用以按摩驾驶人员和乘客的背部和腿部，所述摄像模块包括摄像计时单元，当所述人脸识别单元初次识别到驾驶人员面部时，所述摄像计时单元开始摄录驾驶人员或乘客坐在所述座椅组件上的时长，生成进入时间；
[0020]所述按摩单元配置有按摩策略：若进入时间大于预设的进入时间阈值时，所述按摩单元开始根据预设的按摩时间为驾驶人员或乘客进行按摩。
[0021]在本专利技术中，优选的，该一种面向自动驾驶智能座舱的多模态人机交互系统还包括用户终端APP，所述用户终端APP用以接收车辆发出的信息，所述摄像模块还包括拍摄单元，所述拍摄单元用以拍摄座椅组件，所述控制模块还包括图像比对单元；
[0022]所述摄像模块配置有拍摄策略，所述拍摄策略：当驾驶人员离开座椅组件后所述
拍摄单元拍摄座椅组件照片作为比对照片；
[0023]所述控制模块还配置有遗漏物品提醒策略，遗漏物品提醒策略：所述控制模块包括图像比对单元，所述图像比对单元将比对照片与预设的座椅组件照片作比对，若所述比对照片中出现与预设的座椅组件照片区别的特征，则判定出现遗漏物品，生成遗漏物品提醒文字信息，并将比对照片和遗漏物品提醒文字信息同时发送到所述用户终端APP上提醒车主有物品遗漏。
[0024]在本专利技术中，优选的，所述控制模块还包括钥匙检测单元、存储单元、报警单元和强制锁车单元，所述钥匙检测单元用以检测钥匙是否在车内，所述强制锁车单元用以锁住车门，以使驾驶人员无法从车内打开车门，所述拍摄单元还用以拍摄驾驶人员面部；
[0025]所述控制模块还配置有驾驶人员面部数据分析策略，
[0026]所述驾驶人员面部数据分析策略包括识别钥匙步骤、检索存储驾驶人员面部数据步骤和报本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向自动驾驶智能座舱的多模态人机交互系统，包括座舱，其特征在于：所述座舱内包括座椅组件、显示屏(1)、音响模块和控制模块，所述显示屏(1)上设置有摄像模块，所述座椅组件用以为驾驶人员和乘客提供座位；所述音响模块包括扬声器单元(21)，所述扬声器单元(21)用以播放音乐或提示语音；所述控制模块包括用户数据库(31)和调取单元(32)，所述用户数据库(31)用以存储预设的驾驶人员面部数据以及预设的偏好数据，预设的驾驶人员面部数据与预设的偏好数据一一对应，预设的偏好数据包括歌单，所述调取单元(32)用以调取所述用户数据库(31)中的预设的偏好数据的歌单；所述摄像模块包括人脸识别单元(41)、目标状态识别单元(42)和人体距离计算单元(43)，当驾驶人员坐在所述座椅组件上时，所述人脸识别单元(41)识别驾驶人员面部，并生成实际驾驶人员面部数据，所述人体距离计算单元(43)用以分别计算驾驶人员面部和乘客面部至所述显示屏(1)之间距离并分别生成对应的距离数值；所述控制模块配置有识别驾驶人员策略，所述识别驾驶人员策略：所述人脸识别单元(41)将实际驾驶人员面部数据和预设的驾驶人员面部数据作比对，若实际驾驶人员的面部数据与所述用户数据库(31)中预设的驾驶人员面部数据相匹配则生成调取指令，所述调取单元(32)根据调取指令调取对应的预设的偏好数据中的歌单显示在显示屏(1)上；所述控制模块配置有目标状态识别策略，所述目标状态识别策略：所述目标识别单元识别驾驶人员面部状态并与预设的驾驶人休息时的面部状态做比对，并生成面部状态重合度，若面部状态重合度大于预设驾驶人员休息时的面部状态重合阈值时则判定驾驶人员正在休息，关闭所述显示屏(1)；所述控制模块配置有距离提醒策略，所述距离提醒策略：所述距离计算单元将距离数值与预设的距离阈值做比对，若距离数值小于预设的距离阈值生成提醒保持距离指令，所述扬声器单元(21)根据提醒保持距离指令发出提醒保持距离语音。2.根据权利要求1所述的一种面向自动驾驶智能座舱的多模态人机交互系统，其特征在于：所述摄像模块还包括手部姿势估计单元(44)，所述手部姿势估计单元(44)包括若干个预设的手势，且每个预设的手势对应一个手势指令，所述手部姿势估计单元(44)用以识别驾驶人员的手势对应的预设的手势，并调取对应的手势指令，通过手势指令来控制所述扬声器单元(21)进行播放操作，所述播放操作包括有，增大播放音量、减小播放音量、播放上一首歌曲、播放下一首歌曲或视频播放进度。3.根据权利要求1所述的一种面向自动驾驶智能座舱的多模态人机交互系统，其特征在于：所述音响模块包括语音唤醒单元(22)、语音转写单元(23)、语音交互单元(24)和语音控制单元(25)，所述语音唤醒单元(22)用以根据预设的唤醒关键词来启动所述语音转写单元(23)，所述语音转写单元(23)用以识别驾驶人员说的话作为指令话语，并将所述指令话语转化成文字指令显示在所述显示屏(1)上，所述语音交互单元(24)根据所述文字指令通过所述扬声器单元(21)发出预设的反馈语音；所述语音控制单元(25)用以根据文字指令生成控制指令，所述控制指令包括播放视频指令和播放音乐指令，所述显示屏(1)根据播放视频指令在所述显示屏(1)上播放视频，所述显示屏(1)根据播放音乐指令播放所述显示屏(1)上显示的歌单，并通过扬声器单元(21)播放。
4.根据权利要求3所述的一种面向自动驾驶智能座舱的多模态人机交互系统，其特征在于：一种面向自动驾驶智能座舱的多模态人机交互系统还包括冷藏模块，所述冷藏模块包括冰箱和动力单元(51)，所述冰箱用以存储饮品，所述控制指令包括打打开冰箱指令，所述冷藏模块配置有语音打开冰箱饮水策略和提醒饮水策略；所述语音打开冰箱饮水策略：当所述动力单元(51)接收到所述打打开冰箱指令后打开冰箱，当操作人员关闭冰箱后执行提醒饮水策略，所述提醒饮水策略：所述控制模块包括饮水提醒单元，所述饮水提醒单元包括预设的饮水时间，所述饮水提醒单元用以在间隔预设的饮水...

【专利技术属性】
技术研发人员：罗马思阳，范晟华，郭健，
申请(专利权)人：苏州安智汽车零部件有限公司，
类型：发明
国别省市：