多模态数据分析方法技术

本发明专利技术属于计算机技术领域，其公开了多模态数据分析方法

【技术实现步骤摘要】
多模态数据分析方法、装置、存储介质和设备


[0001]本专利技术属于计算机
，特别涉及一种多模态数据分析方法
、
装置
、
存储介质和设备
。

技术介绍

[0002]帕金森是一种常见的神经退行性疾病，且约
40
％的患者有抑郁情况
。
但由于其独特的生理及心理特征，现有技术中的抑郁症诊断模型对其适用性较差
。

技术实现思路

[0003]为了解决现有技术中存在的问题，本专利技术一方面提供了一种多模态数据分析方法，其包括：
[0004]获取待测试用户的多模态数据，所述多模态数据包含：行走时的步态数据和就诊时的音频数据与视频数据；对所述步态数据
、
所述音频数据和所述视频数据分别进行频谱分析处理，得到步态频谱图
、
音频频谱图和视频频谱图；基于完成训练的机器学习模型，对所述步态频谱图
、
所述音频频谱图和所述视频频谱图进行处理，得到多模态数据分析结果
。
[0005]本专利技术另本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多模态数据分析方法，其特征在于，所述多模态数据分析方法包括：获取待测试用户的多模态数据，所述多模态数据包含：行走时的步态数据和就诊时的音频数据与视频数据；对所述步态数据
、
所述音频数据和所述视频数据分别进行频谱分析处理，得到步态频谱图
、
音频频谱图和视频频谱图；基于完成训练的机器学习模型，对所述步态频谱图
、
所述音频频谱图和所述视频频谱图进行处理，得到多模态数据分析结果
。2.
根据权利要求1所述的多模态数据分析方法，其特征在于，所述对所述步态数据
、
所述音频数据和所述视频数据分别进行频谱分析处理，得到步态频谱图
、
音频频谱图和视频频谱图之前，还包括：对所述步态数据进行预处理操作，所述预处理操作包括：拉依达准则去异常操作
、
小波阈值滤波操作
、
去趋势项操作和滑动平均滤波操作；对所述视频数据中的人脸特征进行提取
。3.
根据权利要求1所述的多模态数据分析方法，其特征在于，对所述步态数据
、
所述音频数据和所述视频数据分别进行频谱分析处理，得到步态频谱图
、
音频频谱图和视频频谱图包括：基于所述步态数据，得到
x、y、z
轴的加速度模长与角速度模长；对所述
x、y、z
轴的加速度模长与角速度模长进行归一化处理，得到归一化步态数据；按照第一预设划分规则，对所述归一化步态数据进行划分
、
傅里叶变换，得到多张所述步态频谱图；按照第二预设划分规则，对所述音频数据进行划分
、
傅里叶变换，得到多张所述音频频谱图；按照第三预设划分规则，对所述视频数据进行划分
、
傅里叶变换，得到多张所述视频频谱图
。4.
根据权利要求1所述的多模态数据分析方法，其特征在于，所述基于完成训练的机器学习模型，对所述步态频谱图
、
所述音频频谱图和所述视频频谱图进行处理，得到多模态数据分析结果之前，还包括：构建数据集和机器学习模型，所述数据集包括多个标...

【专利技术属性】
技术研发人员：邹智恺，张华伟，赵银凇，杨刚，赵玉良，吕晓永，
申请(专利权)人：东北大学秦皇岛分校，
类型：发明
国别省市：