一种基于多源信息融合的抑郁障碍相关因素识别方法技术

一种基于多源信息融合的抑郁障碍相关因素识别方法，现有的多源信息融合方法存在诸多不足，例如错误识别、识别速度慢等。一种基于多源信息融合的抑郁障碍相关因素识别方法。语音信号预处理及特征提取；视频帧预处理及特征提取；情感文本特征预处理及特征提取；采集上述步骤中的反应时长，包括语言交流过程中的涉及的问答之间时长，受试者与对方对视时长，梳理自我意见所需时长；将上述不同模态的情感特征进行融合；将融合后的情感特征进行分类；其中，分类所用的情感识别分类器采用机器学习分类器或利用人工神经网络直接进行分类识别；输出抑郁症相关因素识别结果。本发明专利技术具有识别准确性高的优点。性高的优点。性高的优点。

【技术实现步骤摘要】
一种基于多源信息融合的抑郁障碍相关因素识别方法


[0001]本专利技术涉及一种基于多源信息融合的抑郁障碍相关因素识别方法。

技术介绍

[0002]情感识别一直是一个备受关注的研究领域。人类情感的表达是通过多种形式同时进行的，如通过脉搏、心率等难以观测到的内在信息和语音、语义、面部表情等易于自然观测到的外在信息。情感计算理论的提出就是赋予计算机感知理解和表达情感的能力，以推动人机交互技术的进一步发展。情感识别算法作为情感识别系统中的关键一环，在整个系统中起着举足轻重的作用。
[0003]抑郁障碍也常被称为忧郁症或抑郁症，抑郁障碍以持续显著的悲伤为主要的临床表现，同时表现为对于日常活动的参与积极性或是对参与活动的愉快感反馈下降。长时间持续的抑郁情绪会严重影响患者的社交能力，如缺乏自信，主动避开人群，甚至会产生罪恶感，同时也会导致患者的躯体功能失调，如睡眠紊乱，暴饮暴食等。伴随着社会的不断发展，人们工作和生活节奏明显加快，日常生活的竞争压力不断加剧，人们的精神高度紧张，人群中抑郁障碍的发病率随之上升。
[0004]专业的临床医生根据临床常见症状做出前期诊断，同时临床医师或精神科医生也可以通过一些专业的标准化问卷来诊断患者的抑郁症并对其严重程度做评定。与癌症，传染病等生理疾病的检测方式不同，结构化问卷无法通过明确的生理指标数据或者医学图像来精确量化患者的病情，相反通过观察和问卷对临床医师和心理咨询师的专业水平依赖度较高，所需的确诊时间也相对较久。此外国内专业的精神医疗卫生服务机构不足两千家。整个行业仍处于严重的供不应求阶段。并且由于抑郁症诊断方式的差异，导致诊断过程中无法避免临床医生带来的主观影响。同一患者在不同时间诊断时表现的差异也会造成医生的诊断结果不同。此外社会对精神疾病患者的偏见，导致患者刻意隐瞒病情，这一现象造成了医生不能对病患的精神状态做出及时准确的评估进而错过最佳的治疗时期。因此寻找一个客观，高效的抑郁障碍诊断新方法便成了当今世界上抑郁障碍早期检测的研究热点。
[0005]近些年来，国内外许多研究人员通过研究发现，抑郁症患者持续性的情绪状态会明显影响患者的语音、语义表达以及面部表情，其中相比于别的临床表现，语音、语义和表情上的改变有比较明显的特征，比如说话时语速会减缓，消极词汇频繁出现，表情有明显的单调和呆板等特点。临床医生也常常结合患者的声音、语言和表情变化做出判断。
[0006]正是由于抑郁障碍的复杂性和表现的多样性，单独从任何一个角度考虑，都存在一定的局限性，比如，患者由于社交压力会刻意掩饰自己的真实情感状态，或故意给出一些与真实情感不同的表情，声音或回答。这使得依据于这些模态所得到的模型也存在天然性的缺陷，也就意味着依靠单模态生理信号构建的模型可靠性不足。随着相关研究的发展，研究者们意识到多模态生理信号数据能够从不同角度反映人体的情绪变化的情况，通过融合多模态生理数据可以获得更加客观和有效的抑郁障碍识别模型。
[0007]虽然多模态情感识别在理论上是可以克服单模态情感识别的信息单一、情感特征
片面的缺点，但是如何将多模态信息进行有效的融合是多模态情感识别的一个核心问题。只有将所有模态的信息进行有效的融合才能更好的提升多模态情感识别的效果，否则是无法发挥多模态信息的作用的。传统的多模态信息的融合方式主要分为数据层融合、特征层融合和决策层融合，其中用的最多的是特征层融合和决策层融合两种。在多模态情感识别任务中，基于特征层的融合方式是大家使用比较普遍的方式。因为这种融合方式才真正的将不同模态的信息融合在一起，使不同模态的信息相互影响，互相补充。但是基于特征层融合的方式也会存在很多问题。例如，在将不同模态的特征进行特征组合的时候，大家普遍用的也是最直接的方式就是将不同模态的特征向量进行级联，形成一个更长的特征向量。所以，直接进行级联，会造成形成的特征维度非常高，存在维度灾难问题。
[0008]在多模态情感识别任务中，基于决策层融合的方式最初得到了大家的普遍应用。在将不同模态的分类结果融合在一起的时候，通常采用求和的方式或者投票的方式。虽然这种方式取得了一定的效果，但是并没有真正的将不同模态的数据进行融合，而只是将不同模态的结果进行了组合。所以，这种融合方式受单个模态的结果影响较大，容易导致错的识别结果。
[0009]综合以上介绍的三种融合方式，每一种融合方式都存在一定的优点，但同时也存在一定的缺点。在实际任务中，要综合考虑各方面的因素，才能选取合适的融合方式。

技术实现思路

[0010]本专利技术的目的是为了解决现有的多源信息融合方法存在诸多不足，例如错误识别、识别速度慢等，而提出一种基于多源信息融合的抑郁障碍相关因素识别方法。
[0011]一种基于多源信息融合的抑郁障碍相关因素识别方法，所述方法通过以下步骤实现：
[0012]步骤一、语音信号预处理及特征提取；
[0013]首先，将以模拟信号形式的采集到的语音信号转化为数字信号；
[0014]其次，对以数字信号形式的语音信号进行预处理操作，之后，提取和分析预处理后的语音信号中的抑郁障碍相关因素的特征参数，得到语音信号特征；其中，通过open SMILE进行全特征提取；
[0015]步骤二、视频帧预处理及特征提取；
[0016]首先，对视频帧进行预处理操作；
[0017]其次，提取预处理之后的视频帧的面部表情特征中的抑郁障碍相关因素；其中，提取预处理之后的视频帧的面部表情特征的步骤中，是采用深度卷积神经网络VGGNet提取图像特征，并进行设置较小的卷积核操作和增加网络深度的操作；
[0018]步骤三、情感文本特征预处理及特征提取；
[0019]情感文本预处理操作包括文档切分、文本分词、去停用词、词频统计、文本向量化操作；
[0020]针对预处理后的情感文本进行抑郁障碍相关因素的特征提取，所述的特征提取方法采用词频－逆向文件频率、Word2Vec或Countvectorizer中的一种；
[0021]步骤四、采集上述步骤中的反应时长，包括语言交流过程中的涉及的问答之间时长，受试者与对方对视时长，梳理自我意见所需时长；
[0022]步骤五、将上述不同模态的情感特征进行融合；
[0023]步骤六、将融合后的情感特征进行分类；其中，分类所用的情感识别分类器采用机器学习分类器或利用人工神经网络直接进行分类识别；
[0024]步骤七、输出抑郁症相关因素识别结果。
[0025]优选地，所述的机器学习分类器包括支持向量机、随机森林。
[0026]优选地，步骤五所述的将融合后的情感特征进行分类的步骤，采用基于统计的K近邻分类器进行分类，其计算步骤包括如下步骤：
[0027]算距离：给定测试对象，计算它与训练集中每个对象的距离；
[0028]找邻居：圈定距离最近的k个对象，作为测试对象的近邻；
[0029]做分类：根据这k个近邻归属的主要类别，来对测试对象分类；
[0030]其中，K近本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源信息融合的抑郁障碍相关因素识别方法，其特征在于：所述方法通过以下步骤实现：步骤一、语音信号预处理及特征提取；首先，将以模拟信号形式的采集到的语音信号转化为数字信号；其次，对以数字信号形式的语音信号进行预处理操作，之后，提取和分析预处理后的语音信号中的抑郁障碍相关因素的特征参数，得到语音信号特征；其中，通过open SMILE进行全特征提取；步骤二、视频帧预处理及特征提取；首先，对视频帧进行预处理操作；其次，提取预处理之后的视频帧的面部表情特征中的抑郁障碍相关因素；其中，提取预处理之后的视频帧的面部表情特征的步骤中，是采用深度卷积神经网络VGGNet提取图像特征，并进行设置较小的卷积核操作和增加网络深度的操作；步骤三、情感文本特征预处理及特征提取；情感文本预处理操作包括文档切分、文本分词、去停用词、词频统计、文本向量化操作；针对预处理后的情感文本进行抑郁障碍相关因素的特征提取，所述的特征提取方法采用词频－逆向文件频率、Word2Vec或Countvectorizer中的一种；步骤四、采集上述步骤中的反应时长，包括语言交流过程中的涉及的问答之间时长，受试者与对方对视时长，梳理自我意见所需时长；步骤五、将上述不同模态的情感特征进行融合；步骤六、将融合后的情感特征进行分类；其中，分类所用的情感识别分类器采用机器学习分类器或利用人工神经网络直接进行分类识别；步骤七、输出抑郁症相关因素识别结果。2.根据权利要求1所...

【专利技术属性】
技术研发人员：许静，韩天，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：