【技术实现步骤摘要】
基于情绪感知和语音交互的车载交互系统
[0001]本专利技术涉及车内智能交互领域，特别是涉及基于情绪感知和语音交互的车载交互系统。
技术介绍
[0002]随着家用车数量的不断增加，汽车已经成为了中国家庭出行的常用工具。同时汽车已不再是简单的交通工具，人们对汽车功能性、安全性以及智能化的需求越来越强烈。
[0003]随着科技的发展，车辆内的功能配置越来越多。RGB氛围灯、高质量车载音箱、车联网、交互大屏、语音交互以及自动驾驶等功能已逐渐被添加至车辆内，这些功能既能提升娱乐性也能提高用户驾驶的安全性。然而车辆功能越来越丰富，也会带来一些问题，现阶段车内诸多功能都是被动式的交互方式，任何操作都需要用户自行启动关闭，无法主动的感知迎合用户的需求，缺乏智能化的人车交互，也无法实现人与车的自然交互。
技术实现思路
[0004]鉴于以上所述现有交互系统的缺点，本专利技术的目的在于提供基于情绪感知和语音交互的车载交互系统，以实现主动式交互。
[0005]本专利技术的技术方案如下：
[0006]基于情绪...
【技术保护点】
【技术特征摘要】
1.基于情绪感知和语音交互的车载交互系统，其特征在于，所述的车载交互系统包括：信息采集模块、情绪分析模块以及执行模块，各模块通过汽车CAN总线相连，应用于车载终端；所述信息采集模块：车辆启动后，利用摄像头对驾驶位乘客进行视频采集，并将采集到的信息发送到情绪分析模块以判断乘客当前情绪状况；所述情绪分析模块：采用结合面部表情特征及生理特征的方法判断乘客面部类型，对采集到的原视频预处理后，分别提取面部外观特征和生理特征送入分类器，得到面部外观特征和生理特征两个分类器的结果后，结合分类结果进行最终的情绪分类；所述执行模块：根据情绪分类结果，通过汽车CAN总线控制车内配置选择与当前情绪相匹配的预设情况并执行。2.根据权利要求1所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述车载终端：采用汽车专用SOC，搭载智能车机系统；基于汽车CAN总线集中控制车辆各项功能，同时依托移动数据服务实现车与外界的信息通讯；车载终端配合车辆功能部件能实现娱乐驾驶功能，具体包括360度全景导航、实时路况、自动驾驶系统、车身控制、在线音乐视频播放功能。3.根据权利要求2所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述汽车专用SOC：车载交互系统采用任意满足L3及以上级别的自动驾驶功能的SOC方案。4.根据权利要求1所述的基于情绪感知和语音交互的车载交互系统，其特征在于，所述摄像头：安装于中控仪表盘对主驾驶位进行信息采集，也根据用户需求决定是否在副驾驶位及后排座位安装摄像头，以采集除驾驶员外的车内其他乘客的信息；采用普通车载摄像头或采用红外摄像头。5.根据权利要求1所述的基于情绪感知和语音交互的车载交互系统，其特征在于：所述情绪分析模块的结合面部表情特征及生理特征的情绪分析方法，具体步骤如下：S1.视频预处理；裁切原视频去除干扰信息保留人脸部分并进行分帧，对提取的人脸图像做数据增强操作，便于提取面部外观特征，对数据增强后的人脸视频采用欧拉颜色放大算法进行颜色放大处理，增强因面部血液流动及其他生理因素所带来的微弱的颜色变化，便于提取面部生理特征；S2.特征提取；特征提取采用三维卷积网络，其与二维卷积网络相比添加了一个时间维度，能够在时空上进行卷积和池化；三维卷积将多张图像叠加成一个立方体作为一个通道输入，输出多张图像的特征可以保留输入信号的时间信息，从而提取序列的时间特征；采用两个已经训练好的三维卷积网络，分别用于提取面部表情特征以及面部生理特征；S3.决策级融合；
特征提取后，送入softmax分类器；得到两个分类器的结果后，结合两种模态的分类结果进行最终的情绪分类；采用决策级融合方法得到最终的识别结果；使用如下公式融合表情特征识别结果与生理特征识别结果：p＝argmax(...
【专利技术属性】
技术研发人员：苏昊，杨长春，贺津，魏星，王子垚，杨晋苏，
申请(专利权)人：常州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。