基于语音预训练模型的抑郁症检测方法及系统技术方案

本发明专利技术涉及一种基于语音预训练模型的抑郁症检测方法及系统，包括建立语音数据库；用于语音特征有效性分析、分类器训练优化的相关数据；进行语音预处理；包括预加重、加窗以及快速傅里叶变化；基于预训练模型的语音特征提取；对表征抑郁程度的语音特征进行提取；基于机器学习进行分类；得到的模型测试语音信号，并输出其对应的抑郁症状态作为判断被试者的抑郁检测依据。本发明专利技术基于语音预训练模型的抑郁症检测方法及系统，基于语音预训练模型的语音特征提取、时延神经网络与门控循环单元算法等机器学习技术，通过寻找语音特征与抑郁症之间的关系，通过语音读取的方式客观评估被试人员是否患有抑郁症；提高了抑郁症识别的准确率和精度。和精度。和精度。

【技术实现步骤摘要】
基于语音预训练模型的抑郁症检测方法及系统


[0001]本专利技术涉及生物特征提取、模式识别
，具体的说，是涉及一种基于语音预训练模型的抑郁症检测方法及系统。

技术介绍

[0002]根据世界卫生组织(World Health Organization,WHO)调查显示，全世界约有10亿人存在着精神障碍类困扰。
[0003]我国抑郁症诊断通常依靠医患交流及临床观察，面临着专科医师严重缺乏、初步筛查保健医生水平不一的困境，受限于当地医疗水平以及医生专业技能水平。而语音是人的生理状态的综合反映，随着语音信号分析处理技术的高速发展，基频、共振峰特征、线性预测系数、梅尔倒谱系数等语音特征参数可作为一个评估抑郁症相对客观并且可量化的指标，同时具有着容易采集及成本低的特点。因此，可以通过对用户语音特征的分析，为抑郁症的临床诊断提供一种基于用户实际表现的客观参考。
[0004]申请号为CN202011466471.3的中国专利提供了一种语音及文本转录的抑郁症辅助诊断方法、系统及介质,利用预设的标准化问题对应的语音问题与目标用户进行交互，确定对应的问诊信息；基于所述问诊信息通过预设算法进行预测；根据预测结果判定所述目标用户为抑郁症患者，实现辅助识别可能存在的抑郁症患者，减轻医疗工作人员的工作量，提高抑郁症诊断效率。
[0005]实际使用中依然存在弊端：用户采用语音和文本的形式答复虚拟医生的问题时，通过语音转文本软件将目标用户的语音答复信息转换为文本信息，然后将转换的文本信息和用户输入的其他问题的文本信息一并转换为文本嵌入向量，基于得到的文本嵌入向量，采用深度神经网络模型对文本嵌入向量进行建模，获得预测结果，对比文件对抑郁症识别的准确率和精度不够。

技术实现思路

[0006]针对上述现有技术中的不足，本专利技术提供一种提高抑郁症识别的准确率和精度的基于语音预训练模型的抑郁症检测方法及系统。
[0007]本专利技术所采取的技术方案是：
[0008]一种基于语音预训练模型的抑郁症检测方法，包括：
[0009]建立语音数据库；用于语音特征有效性分析、分类器训练优化的相关数据；
[0010]进行语音预处理；包括预加重、加窗以及快速傅里叶变化；用于提高语音质量，使得所需处理的信号更加平滑；
[0011]基于预训练模型的语音特征提取；基于语音预训练模型实现，例如使用HuBERT、Wav2Vec 2.0、WavLM等预训练模型实现，包括MFCC与Fbank特征提取以及Transformer编码结构对特征序列进行建模，从而实现对预处理后的语音中预训练模型高层次表征的提取；
[0012]基于机器学习进行分类；利用时延神经网络与门控制单元算法对训练集进行学
习，并使用交叉熵损失函数来度量模型预测结果与真实标签的差距，通过反向传播算法更新网络参数进行训练及优化，得到的模型测试语音信号，并输出其对应的抑郁症状态作为判断被试者的抑郁检测依据。
[0013]优选的，进行语音预处理，具体包括：
[0014]所述预加重，是对语音信号进行预加重；
[0015]所述加窗，将语音信号划分为一个个大小为N的帧；使用汉明窗对每一帧进行加窗；使用重叠
‑
添加法将加窗后的帧重叠后相加，得到处理后的语音信号；
[0016]所述快速傅里叶变换，是将信号从时域映射到频域。
[0017]优选的，基于预训练模型的语音特征提取，基于语音预训练模型实现，例如使用HuBERT、Wav2Vec 2.0、WavLM等预训练模型实现，具体包括：
[0018]帧级特征提取，对MFCC、Fbank等特征进行提取；
[0019]频谱特征编码，将特征提取后的序列输入至卷积神经网络中，学习局部时序信息，捕获语音信号的局部特征；
[0020]预训练特征，将卷积神经网络的输出序列输入至Transformer Encoder中，利用自注意力机制对序列进行编码，学习全局时序信息，捕获语音信号的全局特征；引入时域门卷积神经网络(MCNN)来增加时间维度的特征表示能力；得到编码后的语音特征表示形式。
[0021]优选的，基于机器学习的分类，具体包括：
[0022]建立时延神经网络，使用时间延迟神经网络对特征向量序列进行处理，其在时间维度上进行卷积操作；可以有效地捕捉时间序列数据的特征。即通过卷积和非线性激活函数操作对输入的特征序列进行处理。
[0023]建立门循环单元模型，使用门循环单元模型对经过时延神经网络处理得到的特征向量序列进行分类；门循环单元模型对输入序列进行建模并维护一个内部状态；以便于对序列信息进行编码和解码，更好地捕捉序列的长期依赖性。
[0024]训练及优化模型，首先使用交叉熵损失函数来度量模型预测结果与真实标签的差距；通过反向传播算法更新网络参数，通过网络输入数据并计算每一层的加权和，并将其馈送到激活函数中；
[0025]计算误差，计算输出误差在各个层上的梯度，最后，通过更新参数的方式使误差降低；
[0026]抑郁症的检测，使用训练好的模型对新的语音特征向量序列进行预测，并输出被试人是否患有抑郁症。
[0027]优选的，语音数据库在本系统的计算机中运行，用MySQL进行实现；
[0028]包含的数据有：语音文件的语音特征、受试人的抑郁状态(即人工诊断标签)、分类标签，该数据库中只保存经过专业医师检测的被试数据。
[0029]一种基于语音预训练模型的抑郁症检测系统，包括：
[0030]语音数据库模块，用于语音特征有效性分析、分类器训练优化的相关数据；
[0031]语音预处理模块，用于对语音数据库中的语音数据进行预处理，便于后续表征抑郁程度或情感特征的语音特征提取；
[0032]基于预训练模型的语音特征提取模块，基于例如HuBERT、Wav2Vec2.0、WavLM等语音预训练模型实现，对能够表征被试人抑郁程度或情感特征的提取；
[0033]分类评估模块，利用时延神经网络与门控制单元算法对训练集进行学习，并使用交叉熵损失函数来度量模型预测结果与真实标签的差距，通过反向传播算法更新网络参数进行训练及优化，得到的模型测试语音信号，并输出其对应的抑郁症状态作为判断被试者的抑郁检测依据。
[0034]本专利技术相对现有技术的有益效果：
[0035]本专利技术基于语音预训练模型的抑郁症检测方法及系统，基于语音预训练模型的语音特征提取、时延神经网络与门控循环单元算法等机器学习技术，通过寻找语音特征与抑郁症之间的关系，从而仅以通过语音读取的方式客观评估被试人员是否患有抑郁症。
[0036]本专利技术基于语音预训练模型的抑郁症检测方法及系统，通过例如HuBERT、Wav2Vec 2.0、WavLM等语音预训练模型对语音信号进行有效的预处理，提取出丰富的语音特征；与传统的基于梅尔倒谱系数的特征提取方法相比，语音预训练模型可以更好地保留语音信号中的上下文信息，从而提高了特征表达的质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语音预训练模型的抑郁症检测方法，其特征在于，包括:建立语音数据库；用于语音特征有效性分析、分类器训练优化的相关数据；进行语音预处理；包括预加重、加窗以及快速傅里叶变化；基于预训练模型的语音特征提取；基于语音预训练模型提取语音特征，包括MFCC与Fbank特征提取以及Transformer编码结构对特征序列进行建模，从而实现对预处理后的语音中预训练模型高层次表征的提取；基于机器学习进行分类；利用时延神经网络与门控制单元算法对训练集进行学习，并使用交叉熵损失函数来度量模型预测结果与真实标签的差距，通过反向传播算法更新网络参数进行训练及优化，得到的模型测试语音信号，并输出其对应的抑郁症状态作为判断被试者的抑郁检测依据。2.根据权利要求1所述基于语音预训练模型的抑郁症检测方法，其特征在于：语音数据库用MySQL进行实现；包含的数据有：语音文件的语音特征、受试人的抑郁状态、分类标签，该数据库中只保存经过专业医师检测的被试数据。3.根据权利要求1所述基于语音预训练模型的抑郁症检测方法，其特征在于：所述进行语音预处理，具体包括：所述预加重，是对语音信号进行预加重；所述加窗，将语音信号划分为一个个大小为N的帧；使用汉明窗对每一帧进行加窗；使用重叠
‑
添加法将加窗后的帧重叠后相加，得到处理后的语音信号；所述快速傅里叶变换，是将信号从时域映射到频域。4.根据权利要求1所述基于语音预训练模型的抑郁症检测方法，其特征在于：基于预训练模型的语音特征提取，基于语音预训练模型实现，具体包括：帧级特征提取，对MFCC、Fbank等特征进行提取；频谱特征编码，将特征提取后的序列输入至卷积神经网络中，学习局部时序信息，捕...

【专利技术属性】
技术研发人员：叶子豪，何亮，
申请(专利权)人：新疆大学，
类型：发明
国别省市：