一种脑卒中早期辅助诊断方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种脑卒中早期辅助诊断方法、系统、装置及存储介质，本发明专利技术实施例首先通过多模态数据的音频数据和视频数据联合加强相关脑卒中辅助诊断信息的提取，并通过预设条件的多模态数据定位具体脑卒中症状的相关信息数据；进而通过预处理和特征提取，建立旨在提供信息和非冗余的派生值(特征)，从而促进后续的基于神经网络进行学习和泛化的风险预测步骤；最终通过已标注诊断结果的特征数据训练生成的神经网络基于多层全连接层和激活函数配合对多模态融合表征实现准确风险预测，可广泛应用于数据处理技术领域。泛应用于数据处理技术领域。泛应用于数据处理技术领域。

【技术实现步骤摘要】
一种脑卒中早期辅助诊断方法、系统、装置及存储介质


[0001]本专利技术涉及数据处理
，尤其是一种脑卒中早期辅助诊断方法、系统、装置及存储介质。

技术介绍

[0002]脑卒中是目前全球范围内致死率和致残率最高的疾病之一。急性期再灌注治疗可以显著改善脑梗死患者功能预后，降低患者卒中负担，但上述治疗措施必须在起病后限定的时间内完成。
[0003]鉴于此，如何有效进行脑卒中早期识别以辅助脑卒中早期诊断是一个亟需解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种脑卒中早期辅助诊断方法、系统、装置及存储介质，能够有效辅助脑卒中早期诊断。
[0005]一方面，本专利技术的实施例提供了一种脑卒中早期辅助诊断方法，包括：
[0006]基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；
[0007]对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；
[0008]基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；其中，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数像。
[0009]可选地，所述基于预设条件，获取指定的多模态数据，包括：
[0010]获取目标对象执行预设动作运动的视频数据，和，获取所述目标对象复述预设文本的音频数据。
[0011]可选地，所述对所述多模态数据进行预处理，包括：
[0012]基于预设间距对所述视频数据进行等距切片，得到若干视频帧图片；并基于预设规格将所述视频帧图片调整成统一大小；
[0013]对所述音频数据进行信号补全，得到预设时长的音频数据。
[0014]可选地，所述基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征，包括：
[0015]利用编码器对所述视频数据和所述音频数据进行特征提取，获得视频特征向量和音频特征向量；所述编码器通过对比学习损失的优化训练得到的；
[0016]对所述视频特征向量和所述音频特征向量进行特征维度的拼接处理，得到多模态拼接向量；
[0017]利用第二神经网络，对所述多模态拼接向量进行自适应多模态特征融合，得到多
模态融合表征；所述第二神经网络包括Transformer结构。
[0018]可选地，还包括通过对比学习损失的优化训练得到编码器的步骤，这一步骤包括：
[0019]根据所述多模态数据，获得正样本对和负样本对；
[0020]根据所述正样本对和所述负样本对，结合余弦相似度函数，对编码器进行基于样本相似度度量的优化训练，获得训练完成的编码器。
[0021]可选地，所述根据所述多模态数据，获得正样本对和负样本对，包括：
[0022]从所述多模态数据中获取第一多模态数据；
[0023]对所述第一多模态数据进行基于空间级和/或时间级的数据增强，并进行随机裁剪拼接处理，获得第二多模态数据；
[0024]根据所述第一多模态数据与所述第二多模态数据构成正样本对；根据所述第二多模态数据与所述多模态数据除所述第一多模态数据的其它多模态数据构成负样本对。
[0025]可选地，所述基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级，包括：
[0026]通过多层所述全连接层，对所述多模态融合表征进行非线性映射处理；
[0027]通过所述激活函数，获得所述非线性映射处理后的多模态融合表征的风险置信度；
[0028]基于预设阈值，确定所述风险置信度所属的风险等级。
[0029]另一方面，本专利技术的实施例提供了一种脑卒中早期辅助诊断系统，包括：
[0030]第一模块，用于基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；
[0031]第二模块，用于对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；
[0032]第三模块，用于基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；其中，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数。
[0033]另一方面，本专利技术的实施例提供了一种脑卒中早期辅助诊断装置，包括处理器以及存储器；
[0034]存储器用于存储程序；
[0035]处理器执行程序实现如前面的方法。
[0036]另一方面，本专利技术的实施例提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。
[0037]本专利技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0038]本专利技术实施例首先基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；其中，所述第一神经网络通过已标注诊断结果的特征数据
训练生成的，所述第一神经网络包括多层全连接层和激活函数。本专利技术实施例首先通过多模态数据的音频数据和视频数据联合加强相关脑卒中辅助诊断信息的提取，并通过预设条件的多模态数据定位具体脑卒中症状的相关信息数据；进而通过预处理和特征提取，建立旨在提供信息和非冗余的派生值(特征)，从而促进后续的基于神经网络进行学习和泛化的风险预测步骤；最终通过已标注诊断结果的特征数据训练生成的神经网络基于多层全连接层和激活函数配合对多模态融合表征实现准确风险预测。
附图说明
[0039]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1为本专利技术实施例提供的一种脑卒中早期辅助诊断方法的流程示意图；
[0041]图2为本专利技术实施例提供的一种脑卒中早期辅助诊断系统的框架示意图；
[0042]图3为本专利技术实施例提供的分析处理平台的结构框架示意图；
[0043]图4为本专利技术实施例提供的一种脑卒中早期辅助诊断装置的的架构示意图。
具体实施方式
[0044]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0045]面、臂、言语量表(face arm sp本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脑卒中早期辅助诊断方法，其特征在于，包括：基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；其中，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数。2.根据权利要求1所述一种脑卒中早期辅助诊断方法，其特征在于，所述基于预设条件，获取指定的多模态数据，包括：获取目标对象执行预设动作运动的视频数据，和，获取所述目标对象复述预设文本的音频数据。3.根据权利要求1所述一种脑卒中早期辅助诊断方法，其特征在于，所述对所述多模态数据进行预处理，包括：基于预设间距对所述视频数据进行等距切片，得到若干视频帧图片；并基于预设规格将所述视频帧图片调整成统一大小；对所述音频数据进行信号补全，得到预设时长的音频数据。4.根据权利要求1所述一种脑卒中早期辅助诊断方法，其特征在于，所述基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征，包括：利用编码器对所述视频数据和所述音频数据进行特征提取，获得视频特征向量和音频特征向量；所述编码器通过对比学习损失的优化训练得到的；对所述视频特征向量和所述音频特征向量进行特征维度的拼接处理，得到多模态拼接向量；利用第二神经网络，对所述多模态拼接向量进行自适应多模态特征融合，得到多模态融合表征；所述第二神经网络包括Transformer结构。5.根据权利要求4所述一种脑卒中早期辅助诊断方法，其特征在于，还包括通过对比学习损失的优化训练得到编码器的步骤，这一步骤包括：根据所述多模态数据，获得正样本对和负样本对；根据所述正样本对和所述负样本对，...

【专利技术属性】
技术研发人员：李欣，李伟峰，胡北，何斌斌，周浩，李坚婷，张文熙，
申请(专利权)人：广东省人民医院，
类型：发明
国别省市：