一种车载环境下多模态情感数据采集方法及装置制造方法及图纸

本申请公开了一种车载环境下多模态情感数据采集方法及装置，包括：首先确定目标车辆上的待测车载人员；然后，当目标车辆在预设时间段采用预设范围内的车速，行驶在预设类型的行驶路况时，采集每一待测车载人员的产生的第一语音数据、第一视觉数据和第一生理数据，同时，当目标车辆处于停驶环境时，采集每一待测车载人员携带不同预设道具在执行预设流程时产生的第二语音数据、第二视觉数据和第二生理数据；进而可以将采集到的语音数据、视觉数据和生理数据与待测车载人员的身份信息进行关联并存储，用以进行多模态情感识别。由于本申请采集到了待测车载人员的生理数据，从而在将其作为情感识别依据后，能够提高对待测车载人员情感识别的准确率。员情感识别的准确率。员情感识别的准确率。

【技术实现步骤摘要】
一种车载环境下多模态情感数据采集方法及装置


[0001]本申请涉及人工智能
，尤其涉及一种车载环境下多模态情感数据采集方法及装置。

技术介绍

[0002]随着经济的高速发展，汽车的使用率越来越高。而情感识别也一直是模式识别领域的热门话题，它有利于人们的社会沟通和活动。虽然当前针对车载环境下表情的单模态情感识别技术已经相对成熟，但因其信息的单一性使得识别效果往往不够理想。鉴于此，多模态情感识别方案应运而生。
[0003]但是，现有的在多模态情感识别方案采用的数据主要来源于公开的数据集，其中，有些数据集并不适用于车载环境。同时，现有的多模态情感识别方面的数据主要是针对语音、视觉的数据输入模型，并未考虑到车载人员的个人情感因素，数据不够全面和准确，导致识别的准确率较低。
[0004]因此，如何提升基于语音、视频的多模态交互情感识别模型的识别准确率，已成为亟待解决的问题。

技术实现思路

[0005]本申请实施例的主要目的在于提供一种车载环境下多模态情感数据采集方法及装置，能够采集到车载环境下用户语音、视觉(脸像、姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载环境下多模态情感数据采集方法，其特征在于，包括：确定目标车辆上的待测车载人员；当所述目标车辆在预设时间段采用预设范围内的车速，行驶在预设类型的行驶路况时，采集每一所述待测车载人员的产生的第一语音数据、第一视觉数据和第一生理数据；当所述目标车辆处于停驶环境时，采集每一所述待测车载人员携带不同预设道具在执行预设流程时产生的第二语音数据、第二视觉数据和第二生理数据；将所述第一语音数据、所述第一视觉数据、所述第一生理数据、所述第二语音数据、所述第二视觉数据和所述第二生理数据与所述待测车载人员的身份信息进行关联并存储。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当模拟所述目标车辆在预设时间段采用预设范围内的车速，行驶在预设类型的行驶路况时，采集每一所述待测车载人员的产生的第三语音数据、第三视觉数据和第三生理数据；所述将所述第一语音数据、所述第一视觉数据、所述第一生理数据、所述第二语音数据、所述第二视觉数据和所述第二生理数据与所述待测车载人员的身份信息进行关联并存储，包括：将所述第一语音数据、所述第一视觉数据、所述第一生理数据、所述第二语音数据、所述第二视觉数据、所述第二生理数据、所述第三语音数据、所述第三视觉数据和所述第三生理数据与所述待测车载人员的身份信息进行关联并存储。3.根据权利要求1-2任意一项所述的方法，其特征在于，所述预设时间段包括白天、黑夜、黑夜但有强光照射的时间段；所述预设范围内的车速包括80-100公里/小时的中高速、60-80公里/小时的中速、30-50公里/小时的低速；所述预设类型的行驶路况包括城市道路、城际道路、乡村道路、海边道路、高原道路。4.根据权利要求1-2任意一项所述的方法，其特征在于，所述方法还包括：对存储的每一所述待测车载人员的语音数据、视觉数据和生理数据进行标注，得到标注结果；根据所述标注结果，识别所述待测车载人员的情感状态。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：将所述待测车载人员的情感状态进行提示。6.一...

【专利技术属性】
技术研发人员：胡志飞，谢嘉悦，韩美龙，王立成，
申请(专利权)人：上海汽车集团股份有限公司，
类型：发明
国别省市：