基于多模态特征自适应的抑郁定量方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种基于多模态特征自适应的抑郁定量方法、装置及电子设备，其中方法包括：获取至少两个模态的待识别数据；基于所述待识别数据与低维特征之间的相关性，对所述待识别数据进行降维，并对降维所得的数据进行特征提取，得到所述待识别数据的情绪特征；所述低维特征的维度低于所述待识别数据的特征维度；基于所述至少两个模态的待识别数据的情绪特征，进行抑郁情绪定量分析。本发明专利技术提供的方法、装置、电子设备及存储介质，避免了直接针对高维数据进行特征提取导致的显存压力，可以直接基于完整的、未经分割截取的待识别数据进行抑郁情绪定量分析，由此确保抑郁情绪定量分析的可靠性和准确性。靠性和准确性。靠性和准确性。

【技术实现步骤摘要】
基于多模态特征自适应的抑郁定量方法、装置及电子设备


[0001]本专利技术涉及抑郁定量检测
，尤其涉及一种基于多模态特征自适应的抑郁定量方法、装置及电子设备。

技术介绍

[0002]情绪分析的主要目的是分析公众对某些产品、事件、人或想法的看法。
[0003]现有技术中，虽然一些方法在进行情绪分析时进行了多模态的融合，但是这些方法都是基于模态特有的提取器分别提取特征，再显式地进行融合。如此操作，受限于一些模态的特征提取器本身结构特点的限制以及模态本身维度较高的音视频数据，模型的输入只能以访谈的片段进行输入，丢失了整体的信息。
[0004]然而，由于显存的限制，现有的方法在高维数据上均需要提取人工特征进行使用，尤其是在基于情绪识别进行抑郁情绪定量分析时，面对面咨询产生的大量数据无法直接应用，导致定量分析无法得到完整的信息，分析结果不准确。

技术实现思路

[0005]本专利技术提供一种基于多模态特征自适应的抑郁定量方法、装置及电子设备，用以解决现有技术中在基于情绪识别进行抑郁情绪定量分析时，面对面咨询产生的大量数据无法直接应用，导致定量分析无法得到完整的信息，分析结果不准确的缺陷。
[0006]本专利技术提供一种基于多模态特征自适应的抑郁定量方法，包括：
[0007]获取至少两个模态的待识别数据；
[0008]基于所述待识别数据与低维特征之间的相关性，对所述待识别数据进行降维，并对降维所得的数据进行特征提取，得到所述待识别数据的情绪特征；所述低维特征的维度低于所述待识别数据的特征维度；
[0009]基于所述至少两个模态的待识别数据的情绪特征，进行抑郁情绪定量分析。
[0010]根据本专利技术提供的一种基于多模态特征自适应的抑郁定量方法，所述基于所述待识别数据与低维特征之间的相关性，对所述待识别数据进行降维，并对降维所得的数据进行特征提取，得到所述待识别数据的情绪特征，包括：
[0011]基于通用模态特征提取框架，提取所述待识别数据的情绪特征；
[0012]所述通用模态特征提取框架，是基于至少两个模态的样本数据，以及所述样本数据对应的情绪标签，联合情绪识别框架训练得到的，所述通用模态特征提取框架用于基于所述待识别数据与训练得到的低维特征之间的相关性，对所述待识别数据进行降维，并对降维所得的数据进行特征提取。
[0013]根据本专利技术提供的一种基于多模态特征自适应的抑郁定量方法，所述基于通用模态特征提取框架，提取所述待识别数据的情绪特征，包括：
[0014]基于同一所述通用模态特征提取框架，提取所述至少两个模态的待识别数据的情绪特征；
[0015]或，
[0016]基于所述至少两个模态分别对应的通用模态特征提取框架，提取所述至少两个模态的待识别数据的情绪特征。
[0017]根据本专利技术提供的一种基于多模态特征自适应的抑郁定量方法，所述通用模态特征提取框架包括至少两个提取层；
[0018]所述基于通用模态特征提取框架，提取所述待识别数据的情绪特征，包括：
[0019]基于所述至少两个提取层中的当前提取层，应用所述待识别数据与所述当前提取层的低维特征之间的相关性，对所述待识别数据进行降维，并对降维所得的数据进行特征提取，得到当前特征；
[0020]基于所述当前特征，确定所述当前提取层的下一提取层的低维特征，并将所述下一提取层作为所述当前提取层，返回基于所述当前提取层进行特征提取，直至所述当前提取层为所述至少两个提取层中的最尾提取层，将所述当前特征作为所述情绪特征。
[0021]根据本专利技术提供的一种基于多模态特征自适应的抑郁定量方法，在所述基于同一所述通用模态特征提取框架，提取所述至少两个模态的待识别数据的情绪特征的情况下，所述通用模态特征提取框架的确定步骤包括：
[0022]确定样本数据集，所述样本数据集中包括至少两个模态的样本数据，以及所述样本数据对应的情绪标签；
[0023]对所述样本数据集进行模态数据丢弃，得到模态残缺数据集；
[0024]基于所述模态残缺数据集，联合情绪识别框架进行训练，得到所述通用模态特征提取框架。
[0025]根据本专利技术提供的一种基于多模态特征自适应的抑郁定量方法，所述基于所述至少两个模态的待识别数据的情绪特征，进行抑郁情绪定量分析，包括：
[0026]对所述至少两个模态的待识别数据的情绪特征进行特征融合，得到融合特征；
[0027]基于所述融合特征，对所述至少两个模态的待识别数据进行情绪分类，和/或，确定所述至少两个模态的待识别数据对应预设情绪的情绪强度。
[0028]根据本专利技术提供的一种基于多模态特征自适应的抑郁定量方法，所述至少两个模态包括视频、语音、文本、行为、表情、身体指标、生理数据中的至少两种。
[0029]本专利技术还提供一种基于多模态特征自适应的抑郁定量装置，包括：
[0030]获取单元，用于获取至少两个模态的待识别数据；
[0031]确定情绪特征单元，用于基于所述待识别数据与低维特征之间的相关性，对所述待识别数据进行降维，并对降维所得的数据进行特征提取，得到所述待识别数据的情绪特征；所述低维特征的维度低于所述待识别数据的特征维度；
[0032]抑郁情绪定量分析单元，用于基于所述至少两个模态的待识别数据的情绪特征，进行抑郁情绪定量分析。
[0033]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多模态特征自适应的抑郁定量方法。
[0034]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多模态特征自适应的抑郁定量方法。
[0035]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多模态特征自适应的抑郁定量方法。
[0036]本专利技术提供的基于多模态特征自适应的抑郁定量方法、装置及电子设备，基于待识别数据与低维特征之间的相关性，对待识别数据进行降维，并对降维所得的数据进行特征提取和情绪识别，由此避免了直接针对高维数据进行特征提取导致的显存压力，可以直接基于完整的、未经分割截取的待识别数据进行抑郁情绪定量分析，从而保证抑郁情绪定量分析过程中能够参考到完整、全面的待识别数据提供的情绪信息，由此确保抑郁情绪定量分析的可靠性和准确性。
附图说明
[0037]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本专利技术提供的基于多模态特征自适应的抑郁定量方法的流程示意图；
[0039]图2是本专利技术提供的提取待识别数据的情绪特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征自适应的抑郁定量方法，其特征在于，包括：获取至少两个模态的待识别数据；基于所述待识别数据与低维特征之间的相关性，对所述待识别数据进行降维，并对降维所得的数据进行特征提取，得到所述待识别数据的情绪特征；所述低维特征的维度低于所述待识别数据的特征维度；基于所述至少两个模态的待识别数据的情绪特征，进行抑郁情绪定量分析。2.根据权利要求1所述的基于多模态特征自适应的抑郁定量方法，其特征在于，所述基于所述待识别数据与低维特征之间的相关性，对所述待识别数据进行降维，并对降维所得的数据进行特征提取，得到所述待识别数据的情绪特征，包括：基于通用模态特征提取框架，提取所述待识别数据的情绪特征；所述通用模态特征提取框架，是基于至少两个模态的样本数据，以及所述样本数据对应的情绪标签，联合情绪识别框架训练得到的，所述通用模态特征提取框架用于基于所述待识别数据与训练得到的低维特征之间的相关性，对所述待识别数据进行降维，并对降维所得的数据进行特征提取。3.根据权利要求2所述的基于多模态特征自适应的抑郁定量方法，其特征在于，所述基于通用模态特征提取框架，提取所述待识别数据的情绪特征，包括：基于同一所述通用模态特征提取框架，提取所述至少两个模态的待识别数据的情绪特征；或，基于所述至少两个模态分别对应的通用模态特征提取框架，提取所述至少两个模态的待识别数据的情绪特征。4.根据权利要求2所述的基于多模态特征自适应的抑郁定量方法，其特征在于，所述通用模态特征提取框架包括至少两个提取层；所述基于通用模态特征提取框架，提取所述待识别数据的情绪特征，包括：基于所述至少两个提取层中的当前提取层，应用所述待识别数据与所述当前提取层的低维特征之间的相关性，对所述待识别数据进行降维，并对降维所得的数据进行特征提取，得到当前特征；基于所述当前特征，确定所述当前提取层的下一提取层的低维特征，并将所述下一提取层作为所述当前提取层，返回基于所述当前提取层进行特征提取，直至所述当前提取层为所述至少两个提取层中的最尾提取层，将所述当前特征作为所述情绪...

【专利技术属性】
技术研发人员：刘蓬博，王静，胡加学，赵景鹤，贺志阳，鹿晓亮，魏思，胡国平，赵志伟，
申请(专利权)人：安徽讯飞医疗股份有限公司，
类型：发明
国别省市：