一种基于多模态人工智能技术的儿童抑郁情绪识别方法技术

本发明专利技术涉及情绪识别，具体涉及一种基于多模态人工智能技术的儿童抑郁情绪识别方法，获取被测儿童在人机智能语音交互环境下的语音数据及面部视频数据；将语音数据转换为文本信息，提取文本信息、语音数据对应的文本特征向量、语音特征向量，并基于文本特征向量、语音特征向量分别得到抑郁情绪识别结果；在面部视频数据中提取微表情区域，并在面部视频数据中对微表情进行定位，根据定位结果得到基于微表情分析的抑郁情绪识别结果；通过对基于文本特征向量、语音特征向量、微表情分析得到的抑郁情绪识别结果进行综合评价；本发明专利技术提供的技术方案能够有效克服现有技术所存在的需要耗费大量人力物力资源、识别过程复杂且准确率较低的缺陷。缺陷。缺陷。

【技术实现步骤摘要】
一种基于多模态人工智能技术的儿童抑郁情绪识别方法


[0001]本专利技术涉及情绪识别，具体涉及一种基于多模态人工智能技术的儿童抑郁情绪识别方法。

技术介绍

[0002]抑郁症被形象地称为“心灵感冒”，意思是说抑郁症像伤风感冒一样，是一种常见的心境障碍。目前，抑郁症的诊断主要包括自我认知识别、医院或心理咨询机构的诊断两个部分。
[0003]抑郁症自我认知识别的关键是患者是否存在明显情绪低落，终日忧心忡忡、抑郁寡欢、愁眉苦脸、长吁短叹；是否有兴趣的缺乏，对任何事情都提不起劲，心里有压抑感，高兴不起来；是否有精力不济、疲劳，无论是做脑力劳动还是体力劳动都觉得疲劳，即使充分休息都不能恢复；是否有明显的睡眠障碍，特别是早醒；典型的抑郁患者，其抑郁心境有晨重夜轻的变化特点，即在早晨时情绪低落严重，而傍晚时有所减轻。同时，可以借助自评表，如《贝克抑郁问卷》和《Zung自评量表》等，进行自我评估，而在临床研究中常使用他评表，如汉密尔顿抑郁量表(HAMD)及蒙哥马利抑郁量表(MADS)评定疾病严重程度。
[0004]造成抑郁症识别率低的原因有多种，包括患者自身的“病耻感”、抑郁症伴发症状多样且复杂、医师的诊断能力等，随着社会对精神卫生服务的需求大量增加，精神科医务人员匮乏的问题将变得更加突出。当前，传统的儿童抑郁情绪识别需要投入大量人力、物力资源，并且识别的过程较为复杂，同时识别准确率较低，所以需要一种基于多模态人工智能技术的儿童抑郁情绪识别方法。

技术实现思路

[0005](一)解决的技术问题
>[0006]针对现有技术所存在的上述缺点，本专利技术提供了一种基于多模态人工智能技术的儿童抑郁情绪识别方法，能够有效克服现有技术所存在的需要耗费大量人力物力资源、识别过程复杂且准确率较低的缺陷。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]一种基于多模态人工智能技术的儿童抑郁情绪识别方法，包括以下步骤：
[0010]S1、获取被测儿童在人机智能语音交互环境下的语音数据及面部视频数据；
[0011]S2、将语音数据转换为文本信息，提取文本信息、语音数据对应的文本特征向量、语音特征向量，并基于文本特征向量、语音特征向量分别得到抑郁情绪识别结果；
[0012]S3、在面部视频数据中提取微表情区域，并在面部视频数据中对微表情进行定位，根据定位结果得到基于微表情分析的抑郁情绪识别结果；
[0013]S4、通过对基于文本特征向量、语音特征向量、微表情分析得到的抑郁情绪识别结果进行综合评价，得到被测儿童的最终抑郁情绪识别结果。
[0014]优选地，S2中将语音数据转换为文本信息，提取文本信息对应的文本特征向量，包括：
[0015]利用Bert模型，将按照时间顺序排列的若干个被测儿童回答语句转换为文本嵌入模型，得到按照时间顺序排列的若干个文本特征向量。
[0016]优选地，S2中基于文本特征向量得到抑郁情绪识别结果，包括：
[0017]利用训练集对长短期记忆神经网络LSTM进行模型训练，得到关于文本的抑郁情绪识别模型；
[0018]将文本特征向量输入关于文本的抑郁情绪识别模型，得到基于文本特征向量的抑郁情绪识别结果。
[0019]优选地，S2中提取语音数据对应的语音特征向量，并基于语音特征向量得到抑郁情绪识别结果，包括：
[0020]对语音数据进行特征提取、特征选择，并对选择后的特征进行重新组合，得到语音数据对应的语音特征向量；
[0021]利用随机森林算法对语音特征向量进行识别，得到基于语音特征向量的抑郁情绪识别结果。
[0022]优选地，所述对语音数据进行特征提取、特征选择，并对选择后的特征进行重新组合，得到语音数据对应的语音特征向量，包括：
[0023]通过分帧加窗处理对语音数据进行特征提取，根据决策树对提取的特征进行特征选择；
[0024]对时域特征进行离散化处理，对离散化后的时域特征以共同出现的方式进行重新组合，统计一帧语音数据内特征出现的频数来生成对应的语音特征向量。
[0025]优选地，所述通过分帧加窗处理对语音数据进行特征提取后，得到时域特征和频域特征，所述时域特征包括短时能量、能量熵和过零率，所述频域特征包括谱熵和基频。
[0026]优选地，S3中在面部视频数据中提取微表情区域，并在面部视频数据中对微表情进行定位，包括：
[0027]利用人脸识别模型对面部视频数据进行人脸识别，并对人脸区域进行划分，得到微表情区域；
[0028]利用训练集对双流神经网络进行模型训练，得到微表情定位模型；
[0029]对微表情区域提取光流信息，将光流信息与微表情区域一同输入微表情定位模型，对微表情的开始帧、中间帧、结束帧进行定位。
[0030]优选地，所述对人脸区域进行划分，得到微表情区域，包括：
[0031]将人脸区域划分为眉毛、眼睛、鼻子、嘴巴、下巴、左面颊和右面颊，得到七个微表情区域。
[0032]优选地，所述双流神经网络为时空级联的双流神经网络，所述双流神经网络采用三个基于注意力机制的CNN+BLSTM模型提取微表情区域和光流信息的时间特征、空间特征，其中两个模型提取流的帧特征，另一个模型确定帧特征的权重。
[0033]优选地，S3中根据定位结果得到基于微表情分析的抑郁情绪识别结果，包括：
[0034]将定位到的微表情的开始帧、中间帧、结束帧输入关于微表情的抑郁情绪识别模型，结合对应的人机智能语音交互情境得到基于微表情分析的抑郁情绪识别结果。
[0035](三)有益效果
[0036]与现有技术相比，本专利技术所提供的一种基于多模态人工智能技术的儿童抑郁情绪识别方法，在被测儿童面对摄像头进行人机智能语音交互的过程中，通过被测儿童在交流过程中所表达的意思、使用的语音以及显露的微表情，来对儿童出现的抑郁情绪进行准确捕捉，整个识别过程非常简单，并且无需投入大量的人力物力资源。
附图说明
[0037]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1为本专利技术的流程示意图；
[0039]图2为本专利技术中得到基于文本特征向量的抑郁情绪识别结果的流程示意图；
[0040]图3为本专利技术中得到基于语音特征向量的抑郁情绪识别结果的流程示意图；
[0041]图4为本专利技术中得到基于微表情分析的抑郁情绪识别结果的流程示意图。
具体实施方式
[0042]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态人工智能技术的儿童抑郁情绪识别方法，其特征在于：包括以下步骤：S1、获取被测儿童在人机智能语音交互环境下的语音数据及面部视频数据；S2、将语音数据转换为文本信息，提取文本信息、语音数据对应的文本特征向量、语音特征向量，并基于文本特征向量、语音特征向量分别得到抑郁情绪识别结果；S3、在面部视频数据中提取微表情区域，并在面部视频数据中对微表情进行定位，根据定位结果得到基于微表情分析的抑郁情绪识别结果；S4、通过对基于文本特征向量、语音特征向量、微表情分析得到的抑郁情绪识别结果进行综合评价，得到被测儿童的最终抑郁情绪识别结果。2.根据权利要求1所述的基于多模态人工智能技术的儿童抑郁情绪识别方法，其特征在于：S2中将语音数据转换为文本信息，提取文本信息对应的文本特征向量，包括：利用Bert模型，将按照时间顺序排列的若干个被测儿童回答语句转换为文本嵌入模型，得到按照时间顺序排列的若干个文本特征向量。3.根据权利要求2所述的基于多模态人工智能技术的儿童抑郁情绪识别方法，其特征在于：S2中基于文本特征向量得到抑郁情绪识别结果，包括：利用训练集对长短期记忆神经网络LSTM进行模型训练，得到关于文本的抑郁情绪识别模型；将文本特征向量输入关于文本的抑郁情绪识别模型，得到基于文本特征向量的抑郁情绪识别结果。4.根据权利要求1所述的基于多模态人工智能技术的儿童抑郁情绪识别方法，其特征在于：S2中提取语音数据对应的语音特征向量，并基于语音特征向量得到抑郁情绪识别结果，包括：对语音数据进行特征提取、特征选择，并对选择后的特征进行重新组合，得到语音数据对应的语音特征向量；利用随机森林算法对语音特征向量进行识别，得到基于语音特征向量的抑郁情绪识别结果。5.根据权利要求4所述的基于多模态人工智能技术的儿童抑郁情绪识别方法，其特征在于：所述对语音数据进行特征提取、特征选择，并对选择后的特征进行重新组合，得到语音数据对应的语音特征向量，包括：通过分...

【专利技术属性】
技术研发人员：张云龙，
申请(专利权)人：安徽兰臣信息科技有限公司，
类型：发明
国别省市：