基于医学影像的生存期预测方法、装置、设备及介质制造方法及图纸

本申请实施例涉及医疗与影像组学技术领域，公开了一种基于医学影像的生存期预测方法、装置、设备及介质，包括：获取待预测用户的目标组织的医学影像图像；基于医学影像图像，获取用于描述病灶区域的特征的影像组学特征和用于描述目标组织的全局特征的深度学习特征；根据影像组学特征和所述深度学习特征对生存期进行预测。存期进行预测。存期进行预测。

【技术实现步骤摘要】
基于医学影像的生存期预测方法、装置、设备及介质


[0001]本申请实施例涉及医疗与影像组学
，具体而言，涉及一种基于医学影像的生存期预测方法、装置、设备及介质。

技术介绍

[0002]生存期预测是指临床医生利用临床数据并结合一些非正式的主观方法对患者的生存期做出判断的过程，生存期临床预测评估较为灵活，但因受制于认知偏差的影响而不可避免的降低了预测准确性。目前针对生存期预测的方法包括人为预测和基于机器学习的方式利用预测算法对生存期进行预测。其中，基于机器学习的方式利用预测算法对生存期进行预测相较人为预测的预测价值更大。
[0003]然而，现有基于机器学习的生存期预测方法是通过利用融合医疗影像组学特征和深度学习特征训练的网络基于单一维度的影像数据对生存期进行预测，其所依赖的预后因素较为单一，对于常见的重大疾病，如脑胶质瘤等，由于在不同序列下的表现不同，只根据一种维度的医疗影像组学特征序列不能准确判断肿瘤的位置、大小等信息，基于单一维度的影像数据的联合学习方法对于病灶分割和生存期预测的结果准确率较低。因此，如何基于多维度特征进行高准确率的脑疾病生存期预测，成为当前亟待解决的问题。

技术实现思路

[0004]本申请实施例在于提供一种基于医学影像的生存期预测方法、装置、设备及介质，旨在解决如何基于多维度特征进行高准确率的脑疾病生存期预测的问题。
[0005]本申请实施例第一方面提供一种基于医学影像的生存期预测方法，包括：
[0006]获取待预测用户的目标组织的医学影像图像，其中，所述医学影像图像中包括目标组织中的病灶区域的图像；
[0007]基于所述医学影像图像，获取影像组学特征和深度学习特征，所述影像组学特征用于描述所述病灶区域的特征，所述深度学习特征用于描述所述目标组织的全局特征；
[0008]根据所述影像组学特征和所述深度学习特征，对所述待预测用户的生存期进行预测。
[0009]可选地，基于所述医学影像图像，获取影像组学特征，包括：
[0010]从所述医学影像图像中分割出所述病灶区域的图像；
[0011]对所述病灶区域的图像进行小波变换，得到变换图像；
[0012]分别提取所述病灶区域的图像和所述变换图像的纹理影像组学特征，以及，提取所述病灶区域的图像和所述变换图像的直方图影像组学特征；
[0013]对所述纹理影像组学特征和所述直方图影像组学特征进行筛选，得到所述影像组学特征。
[0014]可选地，从所述医学影像图像中分割出所述病灶区域的图像，包括：
[0015]对所述医学影像图像进行不同感受野的特征提取，得到用于表征所述目标组织的
空间结构的深度学习特征；
[0016]基于所述深度学习特征，对所述医学影像图像中病灶区域进行估计，得到掩码图；
[0017]基于所述掩码图，从所述医学影像图像中分割出所述病灶区域的图像。
[0018]可选地，所述医学影像图像包括多个不同模态的医学影像子图像，对所述医学影像图像进行不同感受野的特征提取，得到用于表征所述目标组织的空间结构的深度学习特征，包括：
[0019]分别对所述多个不同模态的医学影像子图像进行特征提取，得到各自对应的深度学习特征向量；
[0020]对各自对应的深度学习特征向量进行融合，得到用于表征所述目标组织的空间结构的深度学习特征。
[0021]可选地，所述医学影像图像包括多个不同模态的医学影像子图像，基于所述医学影像图像，获取深度学习特征，包括：
[0022]对所述多个不同模态的医学影像子图像进行特征提取，得到第一深度学习特征向量和第二深度学习特征向量；
[0023]基于所述第一深度学习特征向量和所述第二深度学习特征向量，获取所述深度学习特征。
[0024]可选地，对所述多个不同模态的医学影像子图像进行特征提取，得到第一深度学习特征向量和第二深度学习特征向量，包括：
[0025]分别对每个模态的医学影像子图像进行特征提取，得到每个模态的特征；
[0026]对多种模态的特征进行特征融合，得到所述第一深度学习特征；
[0027]对所述第一深度学习特征进行基于自注意力机制的特征提取，得到所述第二深度学习特征；
[0028]对所述第一深度学习特征进行池化，得到所述第一深度学习特征向量；
[0029]对所述第二深度学习特征进行池化，得到所述第二深度学习特征向量。
[0030]可选地，所述方法应用于生存期预测网络，所述生存期预测网络包括第一分支和第二分支；基于所述医学影像图像，获取影像组学特征和深度学习特征，包括：
[0031]将所述医学影像图像输入所述第一分支，通过所述第一分支获取第一深度学习特征向量和第二深度学习特征向量，并将所述第一深度学习特征向量和所述第二深度学习特征向量，组合为所述深度学习特征；
[0032]将所述医学影像图像输入所述第二分支，通过所述第二分支输出所述影像组学特征。
[0033]可选地，所述第一分支包括第一残差模块，以及依次串接在所述第一残差模块的输出端的自注意力模块和第二残差模块；
[0034]其中，所述第一残差模块，用于对多个不同模态的医学影像子图像分别进行特征提取和融合，得到第一深度学习特征；
[0035]所述自注意力模块，用于对第一深度学习特征进行基于自注意力机制的特征提取，得到第二深度学习特征；
[0036]所述第二残差模块，用于基于所述第二深度学习特征，对所述医学影像图像进行掩码，得到掩码图；
[0037]将所述医学影像图像输入所述第二分支，通过输出第二分支输出所述影像组学特征，包括：
[0038]将所述医学影像图像和所述掩码图输入所述第二分支，所述第二分支用于基于所述医学影像图像和所述掩码图得到所述病灶区域的图像，并对所述病灶区域的图像进行特征提取，得到所述影像组学特征。
[0039]可选地，所述第一分支还包括分别连接在第一残差模块和自注意力模块的输出端的池化模块，以及与所述池化模块的输出端连接的融合模块；其中：
[0040]所述池化模块，用于对所述第一深度学习特征进行平均池化和最大池化，得到所述第一深度学习特征向量；以及对所述第二深度学习特征进行平均池化和最大池化，得到所述第二深度学习特征向量；
[0041]所述融合模块，用于将所述第一深度学习特征向量和所述第二深度学习特征向量进行融合，得到所述深度学习特征。
[0042]可选地，所述生存期预测网络的训练过程，包括：
[0043]获取医学影像图像训练集；
[0044]在每一次训练时，获取所述第一分支输出的掩码图以及生存期预测值，所述掩码图中的前景区域用于表征所述病灶区域；
[0045]计算所述生存期预测值对生存期真值的损失，作为生存期预测损失；
[0046]计算所述掩码图对分割结果真值的损失，作为分割损失；
[0047]基于所述生存期预测损失和所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于医学影像的生存期预测方法，其特征在于，包括：获取待预测用户的目标组织的医学影像图像，其中，所述医学影像图像中包括目标组织中的病灶区域的图像；基于所述医学影像图像，获取影像组学特征和深度学习特征，所述影像组学特征用于描述所述病灶区域的特征，所述深度学习特征用于描述所述目标组织的全局特征；根据所述影像组学特征和所述深度学习特征，对所述待预测用户的生存期进行预测。2.根据权利要求1所述的基于医学影像的生存期预测方法，其特征在于，基于所述医学影像图像，获取影像组学特征，包括：从所述医学影像图像中分割出所述病灶区域的图像；对所述病灶区域的图像进行小波变换，得到变换图像；分别提取所述病灶区域的图像和所述变换图像的纹理影像组学特征，以及，提取所述病灶区域的图像和所述变换图像的直方图影像组学特征；对所述纹理影像组学特征和所述直方图影像组学特征进行筛选，得到所述影像组学特征。3.根据权利要求2所述的基于医学影像的生存期预测方法，其特征在于，从所述医学影像图像中分割出所述病灶区域的图像，包括：对所述医学影像图像进行不同感受野的特征提取，得到用于表征所述目标组织的空间结构的深度学习特征；基于所述深度学习特征，对所述医学影像图像中病灶区域进行估计，得到掩码图；基于所述掩码图，从所述医学影像图像中分割出所述病灶区域的图像。4.根据权利要求3所述的基于医学影像的生存期预测方法，其特征在于，所述医学影像图像包括多个不同模态的医学影像子图像，对所述医学影像图像进行不同感受野的特征提取，得到用于表征所述目标组织的空间结构的深度学习特征，包括：分别对所述多个不同模态的医学影像子图像进行特征提取，得到各自对应的深度学习特征向量；对各自对应的深度学习特征向量进行融合，得到用于表征所述目标组织的空间结构的深度学习特征。5.根据权利要求1所述的基于医学影像的生存期预测方法，其特征在于，所述医学影像图像包括多个不同模态的医学影像子图像，基于所述医学影像图像，获取深度学习特征，包括：对所述多个不同模态的医学影像子图像进行特征提取，得到第一深度学习特征向量和第二深度学习特征向量；基于所述第一深度学习特征向量和所述第二深度学习特征向量，获取所述深度学习特征。6.根据权利要求5所述的基于医学影像的生存期预测方法，其特征在于，对所述多个不同模态的医学影像子图像进行特征提取，得到第一深度学习特征向量和第二深度学习特征向量，包括：分别对每个模态的医学影像子图像进行特征提取，得到每个模态的特征；对多种模态的特征进行特征融合，得到所述第一深度学习特征；
对所述第一深度学习特征进行基于自注意力机制的特征提取，得到所述第二深度学习特征；对所述第一深度学习特征进行池化，得到所述第一深度学习特征向量；对所述第二深度学习特征进行池化，得到所述第二深度学习特征向量。7.根据权利要求1所述的基于医学影像的生存期预测方法，其特征在于，所述方法应用于生存期预测网络，所述生存期预测网络包括第一分支和第二分支；基于所述医学影像图像，获取影像组学特征和深度学习特征，包括：将所述医学影像图像输入所述第一分支，通过所述第一分支获取第一深度学习特征向量和第二深度学习特征向量，并将所述第一深度学习特征向量和所述第二深度学习特...

【专利技术属性】
技术研发人员：张翠芳，姜晓天，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：