【技术实现步骤摘要】
基于沙盘图像、文本和视频的多模态心理健康分析方法
[0001]本专利技术属于心理健康分析
，具体是指一种基于沙盘图像、文本和视频的多模态心理健康分析方法。
技术介绍
[0002]初始沙盘是指沙盘游戏者所做的第一个沙盘，可以反应沙盘游戏者的心理问题本质所在。沙盘游戏已被作为诊断工具而研究，通过对比病人与正常人沙盘之间的差异。现有的沙盘理论基于初始沙盘的沙具使用情况、描述性特征、以及沙盘主题特征等维度来找出心理症状阳性者在沙盘游戏中的特征表现，来达到初始沙盘在临床诊断上的应用。
[0003]随着互联网设计媒体爆炸式的增长，越来越多的用户通过社交网络发布自己的所见所闻，所感所想。在海量的社交网络文本中，有很多蕴藏着个人情感，基于此，人们开始尝试利用社交网络中的对话文本频度、语言风格等特征进行抑郁症等心理症状的预测，并取得了一定程度的进展。
[0004]利用视频中人的面部表情来识别抑郁症等心理症状在近年来受到了广泛关注。抑郁症等心理疾病可以通过各种面部表情信号表现出来。研究人员利用这些特征作为输入来建立有效的抑
【技术保护点】
【技术特征摘要】
1.基于沙盘图像、文本和视频的多模态心理健康分析方法，其特征在于：包括多模态心理健康分析系统，所述多模态心理健康分析系统包括沙盘心理投射测量单元、视频识别单元、文本识别单元和诊断评测单元，所述沙盘心理投射测量单元用于被测试者创作沙画使用，而视频识别单元用于识别被测试者测试时的面部表情信号，所述文本识别单元用于对被测试者测试的心理文本数据进行采集和分析，所述诊断评测单元用于对沙盘心理投射测量单元、视频识别单元、文本识别单元三种信息采用加权平均的方式进行融合，再经过LSTM网络的推理计算，最后输入到分类器，进行心理健康状态的预测。2.根据权利要求1所述的基于沙盘图像、文本和视频的多模态心理健康分析方法，其特征在于，包括以下步骤：步骤一：通过沙盘心理投射测量单元测试获得沙盘图像，通过视频识别单元获得人脸图像，通过文本识别单元获得文本测试结果；步骤二：通过将步骤一获得的沙盘图像、人脸图像、文本测试结果后，经过对其特征提取，在卷积、激活、池化操作后，获得不同长度的特征向量，分别获得沙画图像特征向量、面部表情特征向量、文本特征向量；步骤三：将沙画图像特征向量、面部表情特征向量、文本特征向量通过诊断评测单元进行融合，采用注意力机制，动态的调整每个模态的权重系数，采用加权平均的方式进行融合，再经过LSTM网络的推理计算，最后输入到分类器，进行多模态的心理健康状态的预测结果。3.根据权利要求2所述的基于沙盘图像、文本和视频的多模态心理健康分析方法，其特征在于：所述沙盘心理投射测量单元包括心理沙盘测试装置和心理沙盘特征提取模块，所述心理沙盘测试装置包括可旋转折叠式电子心理沙盘、常规沙盘模型、踏板、座椅、沙盘支撑柱和电子心理沙盘旋转连接组件，所述座椅设于沙盘支撑柱的一侧上，所述踏板连接设于座椅与沙盘支撑柱之间，所述沙盘支撑柱的顶部设有沙盘围挡件，所述电子心理沙盘旋转连接组件设于沙盘围挡件的中心处，且电子心理沙盘旋转连接组件于沙盘围挡件内延伸向上设置，所述常规沙盘模型设于沙盘围挡件内，所述可旋转折叠式电子心理沙盘设于电子心理沙盘旋转连接组件上，且可旋转折叠式电子心理沙盘设于沙盘围挡件顶部的上方。4.根据权利要求3所述的基于沙盘图像、文本和视频的多模态心理健康分析方法，其特征在于：所述电子心理沙盘旋转连接组件包括转轴、固定磁铁、转动磁铁、三角显示器、显示调整系统和处理器，所述转轴垂直设于沙盘围挡件的中心处，所述固定磁铁设于转轴的外底部，且固定磁铁设于常规沙盘模型的上方，所述转动磁铁旋转设于转轴的外部，且转动磁铁转动设于固定磁铁的上方，所述转动磁铁设有若干组，若干组转动磁铁依次旋转叠加设于固定磁铁的上方，所述固定磁铁的侧端开设有横向固定插槽，横向固定插槽设有一组，所述固定磁铁的外部还开设有固定滑动槽，所述固定滑动槽设有若干组，且一组横向固定插槽与若干组固定滑动槽关于固定磁铁的圆周间隔均匀设置，所述转动磁铁与固定磁铁相对应设置，其余所述三角显示器可沿叠加的转动磁铁的固定滑动槽上下滑动设置，所述处理器与显示调整系统设于转轴内，且处理器与显示调整系统、三角显示器连接；所述沙盘支撑柱与沙盘围挡件之间为转动连接，所述沙盘围挡件的底部均匀分布设有转珠。5.根据权利要求4所述的基于沙盘图像、文本和视频的多模态心理健康分析方法，其特征在于：所述显示调整系统包括图像信息获取模块、参数计算模块和缩放与调整模块，所述
图像信息获取模块用于获取三角...
【专利技术属性】
技术研发人员：韩易静，张岩，
申请(专利权)人：智恩陪心北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。