一种脑卒中早期辅助诊断方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种脑卒中早期辅助诊断方法、系统、装置及存储介质，本发明专利技术实施例首先通过多模态数据的音频数据和视频数据联合加强相关脑卒中辅助诊断信息的提取，并通过预设条件的多模态数据定位具体脑卒中症状的相关信息数据；进而通过预处理和特征提取，建立旨在提供信息和非冗余的派生值(特征)，从而促进后续的基于神经网络进行学习和泛化的风险预测步骤；最终通过已标注诊断结果的特征数据训练生成的神经网络基于多层全连接层和激活函数配合对多模态融合表征实现准确风险预测，可广泛应用于数据处理技术领域。泛应用于数据处理技术领域。泛应用于数据处理技术领域。

【技术实现步骤摘要】
一种脑卒中早期辅助诊断方法、系统、装置及存储介质


[0001]本专利技术涉及数据处理
，尤其是一种脑卒中早期辅助诊断方法、系统、装置及存储介质。

技术介绍

[0002]脑卒中是目前全球范围内致死率和致残率最高的疾病之一。急性期再灌注治疗可以显著改善脑梗死患者功能预后，降低患者卒中负担，但上述治疗措施必须在起病后限定的时间内完成。
[0003]鉴于此，如何有效进行脑卒中早期识别以辅助脑卒中早期诊断是一个亟需解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种脑卒中早期辅助诊断方法、系统、装置及存储介质，能够有效辅助脑卒中早期诊断。
[0005]一方面，本专利技术的实施例提供了一种脑卒中早期辅助诊断方法，包括：
[0006]基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；
[0007]对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；
[0008]基于所述多模态融合表征，利用第一神经网络进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脑卒中早期辅助诊断方法，其特征在于，包括：基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；其中，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数。2.根据权利要求1所述一种脑卒中早期辅助诊断方法，其特征在于，所述基于预设条件，获取指定的多模态数据，包括：获取目标对象执行预设动作运动的视频数据，和，获取所述目标对象复述预设文本的音频数据。3.根据权利要求1所述一种脑卒中早期辅助诊断方法，其特征在于，所述对所述多模态数据进行预处理，包括：基于预设间距对所述视频数据进行等距切片，得到若干视频帧图片；并基于预设规格将所述视频帧图片调整成统一大小；对所述音频数据进行信号补全，得到预设时长的音频数据。4.根据权利要求1所述一种脑卒中早期辅助诊断方法，其特征在于，所述基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征，包括：利用编码器对所述视频数据和所述音频数据进行特征提取，获得视频特征向量和音频特征向量；所述编码器通过对比学习损失的优化训练得到的；对所述视频特征向量和所述音频特征向量进行特征维度的拼接处理，得到多模态拼接向量；利用第二神经网络，对所述多模态拼接向量进行自适应多模态特征融合，得到多模态融合表征；所述第二神经网络包括Transformer结构。5.根据权利要求4所述一种脑卒中早期辅助诊断方法，其特征在于，还包括通过对比学习损失的优化训练得到编码器的步骤，这一步骤包括：根据所述多模态数据，获得正样本对和负样本对；根据所述正样本对和所述负样本对，...

【专利技术属性】
技术研发人员：李欣，李伟峰，胡北，何斌斌，周浩，李坚婷，张文熙，
申请(专利权)人：广东省人民医院，
类型：发明
国别省市：