【技术实现步骤摘要】
本专利技术涉及数据处理，特别涉及一种基于音视频文本预测阿尔兹海默病的处理方法和装置。
技术介绍
1、阿尔兹海默病是老年人群中一种常见的神经系统退行性疾病，主要的临床表现为认知功能障碍、记忆力衰退等。阿尔兹海默病患者因为记忆力减退、智力下降直接影响个人健康和家人正常生活，同时也给社会卫生工作和经济带来负担。目前还没有科学医疗技术可以完全治愈该疾病，主要以早期诊断和预防该疾病为主。在阿尔兹海默病发病前有个早期阶段，这个阶段被称为轻度认知障碍。轻度认知障碍同样是一种认知功能衰退疾病，是介于正常衰老和阿尔兹海默病之间的中间状态，表现为轻度的认知功能衰退，但日常生活能力暂未受到明显影响。轻度认知障碍很大概率会转化为阿尔兹海默病，所以轻度认知障碍可能是一个最适合治疗的阶段。因此，若能对被试者进行正常-轻度认知障碍-阿尔兹海默病的三阶段预测，就能对阿尔兹海默病的早期预防和治疗起到积极的辅助作用。而如何对被试者进行正常-轻度认知障碍-阿尔兹海默病的三阶段预测就是本专利技术需要解决的技术问题。
技术实现思路
1、本专利技术的目的，就是针对现有技术的缺陷，提供一种基于音视频文本预测阿尔兹海默病的处理方法、装置和电子设备；本专利技术预先准备多组带有三类情感类型(积极、消极、中性)视频/图像/文章物料组构成物料库；再基于物料库对多个任意类型的被试者进行音视频数据采集并基于采集数据构建出对应的自监督图像/语音/文本数据集；再基于物料库对多个指定类型的被试者(患有阿尔兹海默病的被试者、患有轻度认知障碍的被试者
2、为实现上述目的，本专利技术实施例第一方面提供了一种基于音视频文本预测阿尔兹海默病的处理方法，所述方法包括：
3、预先准备多组带有三类情感类型视频的视频物料组；并准备多组带有三类情感类型图像的图像物料组；并准备多组带有三类情感类型文章的文章物料组；并由准备的所有所述视频物料组、所述图像物料组和所述文章物料组组成对应的第一物料库；
4、根据所述第一物料库对多个任意类型的被试者进行音视频数据采集并基于采集数据构建出对应的自监督图像数据集、自监督语音数据集和自监督文本数据集；并根据所述第一物料库对多个指定类型的被试者进行音视频数据采集并基于采集数据构建出对应的模型数据集；所述指定类型的被试者包括患有阿尔兹海默病的被试者、患有轻度认知障碍的被试者和正常被试者；
5、构建多模态阿尔兹海默病预测模型记为对应的第一预测模型；所述第一预测模型包括第一图像预训练模型、第一语音预训练模型、第一文本预训练模型、第一特征融合模块和第一分类模型；所述第一图像预训练模型、所述第一语音预训练模型和所述第一文本预训练模型都各自预先基于公开数据集完成了初始模型训练；
6、基于所述自监督图像数据集对所述第一图像预训练模型进行自适应训练；并基于所述自监督语音数据集对所述第一语音预训练模型进行自适应训练；并基于所述自监督文本数据集对所述第一文本预训练模型进行自适应训练；并在对第一图像预训练模型、所述第一语音预训练模型和所述第一文本预训练模型的模型参数进行固化的前提下，基于所述模型数据集对所述第一预测模型进行模型训练；
7、模型训练结束后，对任意被试者的音视频数据进行采集和预处理得到对应的第一测试图像序列、第一测试语音序列和第一测试文本序列；并将所述第一测试图像序列、所述第一测试语音序列和所述第一测试文本序列输入所述第一预测模型进行预测处理得到对应的第一预测向量；并将所述第一预测向量中概率值最大的第一预测概率对应的第一预测类型作为预测结果输出；所述第一预测向量由三个所述第一预测概率组成；各个所述第一预测概率对应一个所述第一预测类型；所述第一预测类型包括阿尔兹海默病类型、轻度认知障碍类型和正常类型。
8、优选的，所述三类情感类型包括积极类型、消极类型和中性类型；
9、所述视频物料组包括积极型视频、消极型视频和中性型视频；
10、所述图像物料组包括积极型图像、消极型图像和中性型图像；
11、所述文章物料组包括积极型文章、消极型文章和中性型文章；
12、所述自监督图像数据集包括多个第一采集图像序列；所述第一采集图像序列包括多个第一采集图像；
13、所述自监督语音数据集包括多个第一采集音频序列；所述第一采集音频序列包括多个第一采集音频采样数据；
14、所述自监督文本数据集包括多个第一采集文本序列；所述第一采集文本序列包括多个第一采集文本文句；
15、所述模型数据集包括多个第一模型数据记录；所述第一模型数据记录包括第一模型训练数据和第一模型标签数据；所述第一模型训练数据包括第一训练图像序列、第一训练音频序列和第一训练文本序列；所述第一训练图像序列包括多个第一训练图像；所述第一训练音频序列包括多个第一训练音频采样数据；所述第一训练文本序列包括多个第一训练文本文句；所述第一模型标签数据包括阿尔兹海默病类型、轻度认知障碍类型和正常类型。
16、优选的，所述根据所述第一物料库对多个任意类型的被试者进行音视频数据采集并基于采集数据构建出对应的自监督图像数据集、自监督语音数据集和自监督文本数据集，具体包括：
17、将所述第一物料库的各个所述视频物料组依次作为对应的当前视频物料组；并在每个所述任意类型的被试者观看了所述当前视频物料组的三类视频后，要求当前被试者对三类视频的内容进行分别讲解；并在讲解所述积极型视频时对所述当前被试者进行音视频录制得到一组对应的第一录制音频和第一录制视频组成一个对应的第一音视频组；并在讲解所述消极型视频时对所述当前被试者进行音视频录制得到一组对应的所述第一录制音频和所述第一录制视频组成一个对应的所述第一音视频组；并在讲解所述中性型视频时对所述当前被试者进行音视频录制得到一组对应的所述第一录制音频和所述第一录制视频组成一个对应的所述第一音视频组；
18、将所述第一物料库的各个所述图像物料组依次作为对应的当前图像物料组；并在每个所述任意类型的被试者浏览了所述当前图像物料组的三类图像后，要求当前被试者对三类图像的内容进行分别讲解；并在讲解所述积极型图像时对所述当前被试者进行音视频录制得到一组对应的所述第一录制音频和所述第一录制视频组成一个对应的所述第一音视频组；并在讲解所述消极型图像时对所述当前本文档来自技高网...
【技术保护点】
1.一种基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，
3.根据权利要求2所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述根据所述第一物料库对多个任意类型的被试者进行音视频数据采集并基于采集数据构建出对应的自监督图像数据集、自监督语音数据集和自监督文本数据集，具体包括：
4.根据权利要求3所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述对所述当前录制音频进行数据采样和归一化处理得到一个对应的所述第一采集音频序列，具体包括：
5.根据权利要求2所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述根据所述第一物料库对多个指定类型的被试者进行音视频数据采集并基于采集数据构建出对应的模型数据集，具体包括：
6.根据权利要求5所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述基于各个所述第四物料组集合对各个所述指定类型的被试者进行音视频数据采集并对采集数据进行预处理得到对应
7.根据权利要求1所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，
8.根据权利要求2所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，
9.根据权利要求8所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述第一特征融合模块用于对所述图像特征张量、所述语音特征张量和所述文本特征张量进行多模态特征融合处理得到对应的多模态特征融合张量，具体包括：
10.根据权利要求8所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，基于所述模型数据集对所述第一预测模型进行模型训练，具体包括：
11.根据权利要求1所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，对任意被试者的音视频数据进行采集和预处理得到对应的第一测试图像序列、第一测试语音序列和第一测试文本序列，具体包括：
12.一种用于实现权利要求1-11任一项所述的基于音视频文本预测阿尔兹海默病的处理方法的装置，其特征在于，所述装置包括：物料库准备模块、数据集准备模块、预测模型构建模块、预测模型训练模块和预测模型应用模块；
13.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
...【技术特征摘要】
1.一种基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，
3.根据权利要求2所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述根据所述第一物料库对多个任意类型的被试者进行音视频数据采集并基于采集数据构建出对应的自监督图像数据集、自监督语音数据集和自监督文本数据集，具体包括：
4.根据权利要求3所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述对所述当前录制音频进行数据采样和归一化处理得到一个对应的所述第一采集音频序列，具体包括：
5.根据权利要求2所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述根据所述第一物料库对多个指定类型的被试者进行音视频数据采集并基于采集数据构建出对应的模型数据集，具体包括：
6.根据权利要求5所述的基于音视频文本预测阿尔兹海默病的处理方法，其特征在于，所述基于各个所述第四物料组集合对各个所述指定类型的被试者进行音视频数据采集并对采集数据进行预处理得到对应的第一模型数据记录集合，具体包括：
7.根据权...
【专利技术属性】
技术研发人员：周波，郭艳娥，孙璇，韩卫乔，韩若欣，王欢，姚洪祥，李雅，李启飞，高迎明，
申请(专利权)人：中国人民解放军总医院第二医学中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。