【技术实现步骤摘要】
本公开涉及车辆，具体地，涉及一种车辆用户的情绪识别方法、装置、系统、车辆与介质。
技术介绍
1、在驾驶过程中，驾驶员与乘客的极端情绪都会影响到驾驶员的正常操作和判断，如果遇到突发情况，可能导致驾驶员无法及时地作出判断，无法及时地采取措施，从而增加交通事故发生的风险。
2、相关技术中，存在驾驶员情绪检测功能（drivers emotion detection），用于对驾驶员的情绪状态进行检测识别，并判断该情绪状态是否会影响到车辆的正常驾驶，但是该驾驶员情绪检测功能通常是根据驾驶员图像进行单一维度的检测，导致检测出的驾驶员的用户情绪的准确性和可靠性较低。此外，相关技术中对车内用户情绪识别的全面性较低。
技术实现思路
1、本公开的目的是提供一种车辆用户的情绪识别方法、装置、系统、车辆与介质置，以更加准确地计算出用户情绪，并为用户提供有效的情绪安抚策略。
2、为了实现上述目的，本公开提供一种车辆用户的情绪识别方法，包括：
3、根据车辆对应的多模态情绪相关信息，确...
【技术保护点】
1.一种车辆用户的情绪识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述多模态情绪相关信息包括所述用户的语音信息、所述用户的人脸图像信息、所述车辆的行车信息中的至少两种。
3.根据权利要求2所述的方法，其特征在于，所述语音信息是所述用户所在区域对应的情绪相关信息，和/或，所述人脸图像信息是所述用户所在区域对应的情绪相关信息。
4.根据权利要求2所述的方法，其特征在于，所述用户情绪是基于根据所述多模态情绪相关信息得到的多种情绪特征确定的，所述多种情绪特征包括语言情绪特征、疲劳检测特征、面部情绪特征以及行车情绪...
【技术特征摘要】
1.一种车辆用户的情绪识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述多模态情绪相关信息包括所述用户的语音信息、所述用户的人脸图像信息、所述车辆的行车信息中的至少两种。
3.根据权利要求2所述的方法，其特征在于，所述语音信息是所述用户所在区域对应的情绪相关信息，和/或，所述人脸图像信息是所述用户所在区域对应的情绪相关信息。
4.根据权利要求2所述的方法，其特征在于，所述用户情绪是基于根据所述多模态情绪相关信息得到的多种情绪特征确定的，所述多种情绪特征包括语言情绪特征、疲劳检测特征、面部情绪特征以及行车情绪特征中的至少两种；
5.根据权利要求4所述的方法，其特征在于，所述疲劳检测特征包括用于表征所述用户的眼睛开合程度的特征。
6.根据权利要求4所述的方法，其特征在于，所述用户情绪基于多个融合特征确定，所述多个融合特征是将所述多种情绪特征分别与隐特征基于交叉注意力机制融合后得到的，所述隐特征是将所述多种情绪特征通过低轶融合后得到的。
7.根据权利要求6所述的方法，其特征在于，所述用户情绪是基于由所述多个融合特征拼接得到的多模态特征确定的。
8.根据权利要求7所述的方法，其特征在于，所述用户情绪是由第一卷积层对所述多模态特征进行处理后得到的；其中，所述第一卷积层通过相关联的多模态特征样本和用户情绪样本训练得到。
9.根据权利要求2所述的方法，其特征在于，所述语音信息是从所述用户所在区域采集的第一语音信息中确定出的，所述用户所在区域是基于所述人脸图像信息确定的。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
11.根据权利要求10所述的方法，其特征在于，所述车载设备包括所述用户所在区域对应的车载设备。
12.根据权利要求10所述的方法，其特征在于，所述情绪安抚策略是基于所述用户情绪、所述用户的用户身份信息以及所述用户所在区域中的一种或多种确定的，所述用户身份信息是基于语音信息中的第一声纹信息和/或人脸图像信息的第一人脸信息确定的。
13.根据权利要求12所述的方法，其特征在于，所述用户身份信息为预先存储的多个第二声纹信息中与所述第一声纹信息相匹配的目标声纹信息所对应的身份信息...
【专利技术属性】
技术研发人员：许晓冬，王毅飞，李兵，徐鹏飞，欧海英，
申请(专利权)人：比亚迪股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。