基于图像的康复预测方法及相关产品技术

本公开提供一种基于图像的康复预测方法及相关产品，所述方法包括如下步骤：获取CSM病人手术前后设定时间范围内的多源医学图像数据和康复情况；依据所述多源医学图像数据和所述康复情况并通过CapsuleNet机制与长短期记忆网络LSTM预测所述CSM病人下一阶段的康复情况。本申请提供的技术方案具有脑卒中康复后功能预测。

Image-based rehabilitation prediction methods and related products

The present disclosure provides an image-based rehabilitation prediction method and related products. The method comprises the following steps: acquiring multi-source medical image data and rehabilitation situation of CSM patients within a set time range before and after surgery; predicting the next stage of health of CSM patients according to the multi-source medical image data and rehabilitation situation and through CapsuleNet mechanism and LSTM network. Repeat the situation. The technical scheme provided in this application has the function prediction after stroke rehabilitation.

【技术实现步骤摘要】
基于图像的康复预测方法及相关产品
本专利技术涉及计算机
，具体涉及一种基于图像的康复预测方法及相关产品。
技术介绍
随着医学成像技术的不断突破，计算机辅助诊断成为人工智能领域的热门研究内容之一。医学成像技术与深度学习结合可以为疾病的临床诊断和医师决策提供很好的支持，如今多模态医学成像分析的研究受到广泛关注，可以综合患者多种模态的医学影像对空间结构多角度分析。针对常见的神经退行性疾病，如脊髓型颈椎病(CSM)等，尽管大部分患者手术效果良好，但对这类疾病目前尚无很好的指标准确地预测患者术后的功能预后。融合病人多源医学影像，建立一种高精度的康复预测系统不仅能够客观评价病人术后康复情况，而且可以在治疗阶段预测病情变化趋势，辅助医师决策调整治疗方案。
技术实现思路
本专利技术实施例提供了一种基于图像的康复预测方法及相关产品，可以实现脑卒中康复后功能预测。第一方面，本专利技术实施例提供一种基于图像的康复预测方法，所述方法包括如下步骤：获取CSM病人手术前后设定时间范围内的多源医学图像数据和康复情况；依据所述多源医学图像数据和所述康复情况并通过CapsuleNet机制与长短期记忆网络LSTM预测所述CSM病人下一阶段的康复情况。第二方面，提供一种基于图像的康复预测系统，所述系统包括：获取单元，用于获取CSM病人手术前后设定时间范围内的多源医学图像数据和康复情况；处理单元，用于依据所述多源医学图像数据和所述康复情况并通过CapsuleNet机制与长短期记忆网络LSTM预测所述CSM病人下一阶段的康复情况。第三方面，提供一种计算机可读存储介质，其存储用于电子数据交换的程序，其中，所述程序使得终端执行第一方面提供的方法。实施本专利技术实施例，具有如下有益效果：可以看出，本专利技术与现有技术相比，主要有以下优点：(1)通过医学图像的方式直接而客观地反映病人手术前后的康复情况，而不是通过病人的血压、活动情况、主观感受等，保留了信息的客观性和完整性。(2)融合多源医学图像信息，与单种模态的信息相比，从多种角度和影像功能全面获取病人颈椎部位的空间结构信息。(3)首次提出将CapsuleNet机制应用于医学影像处理问题中。与传统卷积神经网络相比，保留了图像的方向、层次和角度信息。而这些关键位姿信息对医学辅助诊断来讲尤为关键，因此，本申请中方法将使辅助诊断和康复预测系统具有更高精度。(4)采用向量化的特征表达和特征间聚类的方法，与传统池化操作相比，使得特征提取具有更高的完整性和更好地可解释性。(5)采用LSTM取代传统递归神经网络进行时序建模，通过“门”结构控制信息传递，避免了梯度消失的问题。(5)融合CapsuleNet和LSTM网络，将空间特征向量作为时序建模网络的输入，综合时序图像的时空特征训练网络。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是一种康复预测模型网络结构图。图1A是一种基于图像的康复预测方法的流程示意图。图2是一种3D卷积操作示意图。图3是本专利技术实施例提供的一种动态路由和参数更新流程示意图。图4是本专利技术实施例提供的LSTM模块示意图。图5是本专利技术实施例提供的遗忘门限层结构示意图。图6是本专利技术实施例公开的一种输入门限层状态更新示意图。图7是本专利技术实施例公开的一种输出门限层结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本专利技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。研究表明磁共振成像(MRI)和弥散张量成像(DTI)等影像对神经退行性疾病预后评价作用显著，但现有的预后研究通常是对其进行定量参数分析，这在一定程度上造成了源信息的丢失。基于此，本申请通过深度学习的图像处理方法，直接对医学影像的空间结构分析，挖掘潜在的空间特征信息来对康复进行预测。本申请提供的技术方案基于康复多源影像数据时序性信息对患者康复状态进行评估。融合CapsuleNet和LSTM构建疾病康复预测模型，在特征提取阶段使用向量代替传统神经网络输出的标量信息，针对不同模态图像提取多尺度特征信息。通过训练和动态路由激活进行特征间聚类，每一个Capsule将包含当前时间点特定ROI的实例化参数，并涵盖了反映康复情况的关键空间信息和方向信息。通过LSTM网络分析特征提取模块输出的时序性实例化特征以分析高维特征的时序关联性。通过计算损失函数来优化特征提取模块以及LSTM模块的参数，将无效信息过滤。在网络通过良好训练的基础上，将患者时序性多源影像信息输入本模型进而预测患者下一阶段的康复信息。本专利技术结合CapsuleNet机制与长短期记忆网络(LSTM)，构建融合时序多模态医学影像的CSM康复预测模型。本专利技术的基本意图是通过CSM病人手术前后一系列时间点多源医学图像数据和前序时段的康复情况，预测下一阶段的预后信息。本专利技术的基本技术方案如下：一、基于CapsuleNet的空间特征提取网络，以向量形式表达图像的空间特征信息，并通过动态路由方法调整初级Capsule层与高级Capsule间连接的耦合分布，以实现多尺度特征以及低级特征到高级特征的聚类；二、基于LSTM的时序特征建模，捕捉空间结构特征在时序上的变化情况，以预测下一阶段的预后信息。本专利技术的网络结构如图1所示。参阅图1A，图1A为本申请提供的一种基于图像的康复预测方法的流程示意图，如图1A所示，该方法可以由计算机设备或其他智能设备完成，该方法如图1A所示，包括如下步骤：步骤S101、获取CSM病人手术前后设定时间范围内的多源医学图像数据和康复情况。本申中的多源医学图像数据具体可以为：MRI、CT、DTI三种医学影像数据。步骤S102、依据所述多源医学图像数据和所述康复情况并通过CapsuleNet机制与长短期记忆网络LSTM预测所述CSM病人下一阶段的康复情况。为了描述的方便，这里以颈椎部时序多源医学图像数据作为输入，以CSM患者的MRI、CT、DTI三种医学影像数据为例进行说明具体的，上述步骤S10中获取数据的方式可以为：采集500名(当然在实际中也可以为其他数量)CSM本文档来自技高网...

【技术保护点】
1.一种基于图像的康复预测方法，其特征在于，所述方法包括如下步骤：获取CSM病人手术前后设定时间范围内的多源医学图像数据和康复情况；依据所述多源医学图像数据和所述康复情况并通过CapsuleNet机制与长短期记忆网络LSTM预测所述CSM病人下一阶段的康复情况。

【技术特征摘要】
1.一种基于图像的康复预测方法，其特征在于，所述方法包括如下步骤：获取CSM病人手术前后设定时间范围内的多源医学图像数据和康复情况；依据所述多源医学图像数据和所述康复情况并通过CapsuleNet机制与长短期记忆网络LSTM预测所述CSM病人下一阶段的康复情况。2.根据权利要求1所述的方法，其特征在于，所述获取CSM病人手术前后设定时间范围内的多源医学图像数据和康复情况具体包括：采集设定数量的多源医学图像数据，将多源医学图像数据归一化为256*256*256像素大小，采用医学图像配准算法对该设定数量的多源医学图像数据进行配准。3.根据权利要求1所述的方法，其特征在于，所述依据所述多源医学图像数据和所述康复情况并通过CapsuleNet机制与长短期记忆网络LSTM预测所述CSM病人下一阶段的康复情况具体包括：对256*256*256维度的MRI图像进行三维卷积运算，提取图像的像素级特征，并使用ReLU函数激活得到输出张量的维度为254*254*254*16，通过卷积层构建相应的张量结构作为Capsule层的输入数据，经过Capsule网络对输入数据的空间特征提取，输出多个16的特征向量；建立LSTM网络，该LSTM网络包括多个LSTM节点，每个节点与所述特征向量相连接，LSTM网络接收待预测的序列图像，依据LSTM对该序列图像预测病人下一阶段的康复情况。4.根据权利要求2所述的方法，其特征在于，所述多源医学图像数据具体包括：MRI、CT、DTI图像。5.一种基于图像的康复预测系统，其特征在于，所述系统包括：获取单...

【专利技术属性】
技术研发人员：王书强，王鸿飞，王翔宇，申妍燕，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44