一种基于人脸微表情识别的车载语音交互方法及系统技术方案

本发明专利技术涉及车载智能座舱及车载语音交互技术领域，特别涉及一种基于人脸微表情识别的车载语音交互方法及系统。本发明专利技术通过车内摄像头实时捕捉驾驶员脸上的微表情，并上传到云端，与云端数据进行对比，判断此时驾驶员的心情，并让智能语音助手与驾驶员进行沟通交流，如遇到驾驶员情绪不佳，及时对其进行疏导，使其安全驾驶，提高驾驶员行车的安全性。提高驾驶员行车的安全性。提高驾驶员行车的安全性。

【技术实现步骤摘要】
一种基于人脸微表情识别的车载语音交互方法及系统


[0001]本专利技术涉及车载智能座舱及车载语音交互
，特别涉及一种基于人脸微表情识别的车载语音交互方法及系统。

技术介绍

[0002]随着时代的发展以及智能科技的发展，家家户户几乎都有了汽车，为了给客户带来良好的驾车体验，车载语音交互也已经开始出现在各大车厂的汽车上，相关的专利有CN115188375A一种车载语音交互的回复方法、装置及车辆、CN114627850A一种车载语音交互方法及系统等。《CN115188375A一种车载语音交互的回复方法、装置及车辆》提到，通过识别与应用服务语音指令对应的第一应用，并对第一应用与其他应用的关联性进行计算，结合第一应用对应的标准回复语和关联应用对应的个性化提示语，对应用服务语音指令进行回复，根据用户的语音指令，为用户播报更多个性化关联信息，从复杂的驾驶场景中进行个性化、组合化的回答，对车内可见即可说语音指令方式进行操作交互。
[0003]现有技术中，这些传统意义上的语音交互，提高了用户的体验感以及交互感，但是并不能判断此时驾驶员的实时心情，无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸微表情识别的车载语音交互方法，其特征在于，所述方法包括：通过车内摄像头实时捕捉驾驶员脸上的微表情，识别微表情后上传到云端，把摄像头采集的人脸微表情特征与云端数据进行对比，判断此时驾驶员的心情，车载语音控制模块接收云端下发的指令与驾驶员进行沟通交流。2.根据权利要求1所述的一种基于人脸微表情识别的车载语音交互方法，其特征在于，所述通过车内摄像头实时捕捉驾驶员脸上的微表情，识别微表情后上传到云端，具体包括：通过OMS系统中的摄像头采集驾驶员人脸表情特征，采集的表情特征传送给OMS系统中的控制模块，控制模块对驾驶员表情特征进行处理并从中提取出微表情特征后，通过车载局域网上传到云端。3.根据权利要求1所述的一种基于人脸微表情识别的车载语音交互方法，其特征在于，所述控制模块对驾驶员表情特征进行处理并从中提取出微表情特征，具体包括：控制模块分别获取人脸微表情图像序列的每个像素的hltp特征，hltp特征为在haar特征的基础上结合ltp特征得到的图像特征；基于每个像素的hltp特征，确定人脸微表情图像序列在时空三维平面的每一平面上的特征直方图，对人脸微表情图像序列进行分类，确定人脸微表情图像序列对应的表情类别。4.根据权利要求1所述的一种基于人脸微表情识别的车载语音交互方法，其特征在于，所述把摄像头采集的人脸微表情特征与云端数据进行对比，判断此时驾驶员的心情，具体包括：云端模块把摄像头采集的人脸微表情特征与云端数据库中的微表情进行对比，判断出驾驶员此时的心情，再通过车载局域网传达相关信号给到车载语音控制模块。5.根据权利要求1所述的一种基于人脸微表情识别的车载语音交互方法，其特征在于，所述车载语音控制模块接收云端下发的指令与驾驶员进行沟通交流，具体包括：车载语音控制模块根据车载局域网接收到的信号对智能语音助手下达命令，使语音助手与驾驶员进行交互，若遇到驾驶员情绪不佳，及时与其沟通，若检测到驾驶员有较长时间的痛苦微表情，语音助手会反馈给云端...

【专利技术属性】
技术研发人员：陈倩阁，武楚云，柳牮丰，王文杰，
申请(专利权)人：奇瑞新能源汽车股份有限公司，
类型：发明
国别省市：