一种基于心理访谈的多模态心理问题检测系统技术方案

本发明专利技术提出一种基于心理访谈的多模态心理问题检测系统，属于人机交互领域。所述系统包括数字医生交互模块、多模态情感分析模块、结构化概率模型、语义分析模块、额外医学信息提供模块；数字医生交互模块采集音频信息及视频信息，发送给多模态情感分析模块；多模态情感分析模块计算最终预测结果发送给语义分析模块；额外医学信息提供模块收集额外医学信息注入语义分析模块；语义分析模块通过计算得出患病概率输入到结构化概率模型；结构化概率模型通过马尔科夫决策过程进行建模，结合语义分析模块输入的患病概率，通过状态转移概率来决定下一步问题的选择。本发明专利技术将开放式的医患问答过程抽象为模型，通过这一模型对心理面诊流程进行定量化描述。

【技术实现步骤摘要】

本专利技术属于医疗健康、心理学、计算机科学、人机交互等领域，尤其涉及一种基于心理访谈的多模态心理问题检测系统。

技术介绍

1、随着社会压力的增加和生活节奏的加快，心理健康问题日益成为全球关注的焦点。传统的心理问题检测方法主要依赖于心理医生的面对面访谈和问卷调查，这些方法虽然有效，但存在以下局限性：

2、时间和空间限制：面对面访谈需要预约和到场，对于地理位置偏远或时间紧张的用户来说，访问心理医生的机会有限。

3、主观性强：传统的心理评估依赖于患者的主观描述和心理医生的经验判断，可能存在偏差。

4、数据单一：仅通过语言和文字信息进行评估，忽略了非语言信息(如面部表情、语音语调、肢体语言等)对心理状态的影响。

5、实时性差：传统方法难以实时监测心理状态的变化，无法及时提供干预措施。

6、近年来，随着人工智能和多模态数据分析技术的发展，基于多模态数据的心理问题检测系统逐渐成为研究热点。这些系统通过整合多种数据源(如语音、视频、文本、生理信号等)，能够更全面地评估个体的心理状态。然而，现有技术仍存在以下问题本文档来自技高网...

【技术保护点】

1.一种基于心理访谈的多模态心理问题检测系统，其特征在于，所述系统包括数字医生交互模块、多模态情感分析模块、结构化概率模型、语义分析模块、额外医学信息提供模块；

2.根据权利要求1所述的基于心理访谈的多模态心理问题检测系统，其特征在于，多模态情感分析模块利用Librosa作为音频特征提取器实现对音频信息的特征提取，得到音频特征；利用OpenFace对视频信息进行人脸关键点检测、头部姿态估计、视线估计、面部动作单元识别，提取得到视频特征；使用Whisper语音识别工具将音频信息转录出文本信息；采用BERT对文本信息进行特征提取，得到文本特征；多模态情感分析模块通过对视频特征、音...

【技术特征摘要】

1.一种基于心理访谈的多模态心理问题检测系统，其特征在于，所述系统包括数字医生交互模块、多模态情感分析模块、结构化概率模型、语义分析模块、额外医学信息提供模块；

2.根据权利要求1所述的基于心理访谈的多模态心理问题检测系统，其特征在于，多模态情感分析模块利用librosa作为音频特征提取器实现对音频信息的特征提取，得到音频特征；利用openface对视频信息进行人脸关键点检测、头部姿态估计、视线估计、面部动作单元识别，提取得到视频特征；使用whisper语音识别工具将音频信息转录出文本信息；采用bert对文本信息...

【专利技术属性】
技术研发人员：王文一，吴伟杰，王泓伊，赖安宇，周震霆，向思科，陈建文，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：