基于情绪感知和语音交互的车载交互系统技术方案

本发明专利技术提供基于情绪感知和语音交互的车载交互系统。所述系统应用于车载终端，包括信息采集模块、情绪分析模块以及执行模块。由摄像头收集乘客信息传输至分析模块，通过面部情绪分析方法获得乘客情绪状态，执行模块启动相匹配的预设操作。预设操作包括智能语音交互，开启自动驾驶系统，RGB氛围灯调节，音乐调节，车内香氛调节等方式。本发明专利技术可实时的捕捉和分析乘客的情绪和意图，通过语音的方式进行交互，满足用户对智能语音和情绪化感知的期待，对于乘客而言，情绪的改变可以影响车内环境的改变，这种改变是自然和舒适的，能够提升乘客在车内的体验，实现人与车的自然交互。实现人与车的自然交互。实现人与车的自然交互。

【技术实现步骤摘要】
基于情绪感知和语音交互的车载交互系统


[0001]本专利技术涉及车内智能交互领域，特别是涉及基于情绪感知和语音交互的车载交互系统。

技术介绍

[0002]随着家用车数量的不断增加，汽车已经成为了中国家庭出行的常用工具。同时汽车已不再是简单的交通工具，人们对汽车功能性、安全性以及智能化的需求越来越强烈。
[0003]随着科技的发展，车辆内的功能配置越来越多。RGB氛围灯、高质量车载音箱、车联网、交互大屏、语音交互以及自动驾驶等功能已逐渐被添加至车辆内，这些功能既能提升娱乐性也能提高用户驾驶的安全性。然而车辆功能越来越丰富，也会带来一些问题，现阶段车内诸多功能都是被动式的交互方式，任何操作都需要用户自行启动关闭，无法主动的感知迎合用户的需求，缺乏智能化的人车交互，也无法实现人与车的自然交互。

技术实现思路

[0004]鉴于以上所述现有交互系统的缺点，本专利技术的目的在于提供基于情绪感知和语音交互的车载交互系统，以实现主动式交互。
[0005]本专利技术的技术方案如下：
[0006]基于情绪感知和语音交互的车载交互系统包括信息采集模块、情绪分析模块以及执行模块，各模块通过汽车CAN总线相连，应用于车载终端。
[0007]车载终端采用汽车专用SOC，搭载智能车机系统，基于汽车CAN总线集中控制车辆各项功能，同时依托移动数据服务可实现车与外界的信息通讯，目前车载终端配合车辆功能部件能实现丰富的娱乐驾驶功能，具体可包括360度全景导航、实时路况、自动驾驶系统、车身控制、在线音乐视频播放等功能。
[0008]所述汽车专用SOC：本交互系统需要搭配L3级别以上的自动驾驶功能，对汽车专用SOC提出了较高要求。算力强大的SOC提供处理多个传感器数据所必需的冗余和兼容性，以满足安全标准和法规要求。本系统可采用任意满足L3及以上级别的自动驾驶功能的SOC方案，例如Nvida Drive Xaiver芯片、PX2平台以及知行科技的iMo DCU3.0平台等；
[0009]信息采集模块具体功能如下：
[0010]车辆启动后，利用摄像头对驾驶位乘客进行视频采集，并将采集到的信息发送到情绪分析模块以判断乘客当前情绪状况。
[0011]一般安装于中控仪表盘对主驾驶位进行信息采集，也可根据用户需求决定是否在副驾驶位及后排座位安装摄像头，以采集除驾驶员外的车内其他乘客的信息；
[0012]可采用任意型号的车载摄像头，考虑到夜间行车需求以及汽车车内空间有限，为获得质量较好的乘客影像信息，可采用红外摄像头。
[0013]情绪分析模块具体功能如下：
[0014]采用一种结合面部表情特征及生理特征的方法判断乘客面部类型。对采集到的原
视频预处理后，分别提取面部外观特征和生理特征送入分类器，得到上述两个分类器的结果后，结合两种模态的分类结果进行最终的情绪分类。
[0015]具体原理步骤如下：
[0016]S1.视频预处理
[0017]裁切原视频去除干扰信息保留人脸部分并进行分帧，对提取的人脸图像做数据增强操作，便于提取面部外观特征。对数据增强后的人脸视频采用欧拉颜色放大算法进行颜色放大处理，增强因面部血液流动及其他生理因素所带来的微弱的颜色变化，便于提取面部生理特征。
[0018]S2.特征提取
[0019]本方法中特征提取步骤采用三维卷积网络，其与二维卷积网络相比添加了一个额外的时间维度，可以在时空上进行卷积和池化。三维卷积将多张图像叠加成一个立方体作为一个通道输入，输出多张图像的特征可以保留输入信号的时间信息，从而提取序列的时间特征。
[0020]本方法中采用两个已经训练好的三维卷积网络，分别用于提取面部表情特征以及面部生理特征；
[0021]S3.决策级融合
[0022]特征提取后，送入softmax分类器。得到上述两个分类器的结果后，结合两种模态的分类结果进行最终的情绪分类。决策级融合是一种高层次融合，具有很强的容错性，很好的开放性，处理时间短、数据要求低、分析能力强，因此采用决策级融合方法得到最终的识别结果；
[0023]使用如下公式融合表情特征识别结果与生理特征识别结果：
[0024]p＝argmax(a＊prea+b＊preb)
[0025]其中，p表示预测结果。a(优选0.485)与b(优选0.515)分别为表情特征识别结果与生理特征识别结果的权重。prea表示表情特征预测结果的类别概率，preb表示生理特征预测结果的类别概率。。
[0026]执行模块通过汽车CAN总线控制RGB氛围灯、车载音响、智能语音、香氛系统以及车辆自动驾驶系统，具体功能如下：
[0027]根据情绪分类结果，执行模块选择与当前情绪相匹配的预设情况，按照对应RGB氛围灯配置调节灯光，播放符合当前情绪的音乐，控制车内香氛系统的开关，启动相对应的语音交互内容，并在乘客出现严重影响驾驶安全状态的情绪时按预设情况启动自动驾驶系统。
[0028]本系统中已预设不同情况下音乐、香氛、语音交互内容以及RGB氛围灯配置，同时所有配置均支持用户根据自身需求重新设置。
[0029]RGB氛围灯预设配置如下：
[0030]RGB氛围灯的配置包括显示色彩、亮度、色温及律动效果等。
[0031]具体的，在乘客出现烦躁、焦虑情绪时，调节RGB氛围灯为淡蓝色、低亮度、色温3300k、色彩律动效果缓慢以帮助用户平静思绪。
[0032]在乘客出现紧张情绪时，调节RGB氛围灯为绿色、低亮度、色温3300k、色彩律动效果缓慢以帮助用户缓解焦虑。
[0033]在乘客出现瞌睡情绪时，调节RGB氛围灯为红色、高亮度、色温5300k、色彩律动效果快速以帮助乘客尽快清醒。
[0034]在乘客出现沮丧情绪时，调节RGB氛围灯位橘色、低亮度、色温3300k、色彩律动效果缓慢以缓解乘客情绪。
[0035]智能语音交互功能如下：
[0036]在情绪分析模块识别出驾驶员处于瞌睡、过度焦虑、烦躁等严重影响驾驶安全状态时，启动语音交互向驾驶员发出语音提示警告。
[0037]同时语音交互包含智能聊天功能，在沮丧等情绪低落的情况下智能车载语音可以直接和乘客沟通，例如询问是否打电话给亲密的人，是否想去某个地方独处等。
[0038]智能车载语音还可提供更加人性化的体验。根据实时情况智能化的为乘客提供目的地推荐及导航，例如乘客在高速公路上处于瞌睡状态，智能推荐最近的休息点，乘客处于兴致高昂的状态时为乘客推荐附件的娱乐场所乘客因饥饿露出痛苦的情绪时根据乘客喜好先后顺序推荐附件餐厅。
[0039]特别地，由于乘客某些情绪会严重影响车辆行驶安全，此时智能语音会结合自动驾驶系统保证乘客安全。
[0040]搭载本交互系统的车辆具备L3及以上级别的自动驾驶功能，相较于L2及以下级别驾驶辅助功能，采用的仍是人工控制方式，驾驶操作的主体还是人，而L3系统控制的主体是汽车，此时人无需进行加减速和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于情绪感知和语音交互的车载交互系统，其特征在于，所述的车载交互系统包括：信息采集模块、情绪分析模块以及执行模块，各模块通过汽车CAN总线相连，应用于车载终端；所述信息采集模块：车辆启动后，利用摄像头对驾驶位乘客进行视频采集，并将采集到的信息发送到情绪分析模块以判断乘客当前情绪状况；所述情绪分析模块：采用结合面部表情特征及生理特征的方法判断乘客面部类型，对采集到的原视频预处理后，分别提取面部外观特征和生理特征送入分类器，得到面部外观特征和生理特征两个分类器的结果后，结合分类结果进行最终的情绪分类；所述执行模块：根据情绪分类结果，通过汽车CAN总线控制车内配置选择与当前情绪相匹配的预设情况并执行。2.根据权利要求1所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述车载终端：采用汽车专用SOC，搭载智能车机系统；基于汽车CAN总线集中控制车辆各项功能，同时依托移动数据服务实现车与外界的信息通讯；车载终端配合车辆功能部件能实现娱乐驾驶功能，具体包括360度全景导航、实时路况、自动驾驶系统、车身控制、在线音乐视频播放功能。3.根据权利要求2所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述汽车专用SOC：车载交互系统采用任意满足L3及以上级别的自动驾驶功能的SOC方案。4.根据权利要求1所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述摄像头：安装于中控仪表盘对主驾驶位进行信息采集，也根据用户需求决定是否在副驾驶位及后排座位安装摄像头，以采集除驾驶员外的车内其他乘客的信息；采用普通车载摄像头或采用红外摄像头。5.根据权利要求1所述的基于情绪感知和语音交互的车载交互系统，其特征在于：所述情绪分析模块的结合面部表情特征及生理特征的情绪分析方法，具体步骤如下：S1.视频预处理；裁切原视频去除干扰信息保留人脸部分并进行分帧，对提取的人脸图像做数据增强操作，便于提取面部外观特征，对数据增强后的人脸视频采用欧拉颜色放大算法进行颜色放大处理，增强因面部血液流动及其他生理因素所带来的微弱的颜色变化，便于提取面部生理特征；S2.特征提取；特征提取采用三维卷积网络，其与二维卷积网络相比添加了一个时间维度，能够在时空上进行卷积和池化；三维卷积将多张图像叠加成一个立方体作为一个通道输入，输出多张图像的特征可以保留输入信号的时间信息，从而提取序列的时间特征；采用两个已经训练好的三维卷积网络，分别用于提取面部表情特征以及面部生理特征；S3.决策级融合；
特征提取后，送入softmax分类器；得到两个分类器的结果后，结合两种模态的分类结果进行最终的情绪分类；采用决策级融合方法得到最终的识别结果；使用如下公式融合表情特征识别结果与生理特征识别结果：p＝argmax(...

【专利技术属性】
技术研发人员：苏昊，杨长春，贺津，魏星，王子垚，杨晋苏，
申请(专利权)人：常州大学，
类型：发明
国别省市：