基于医学影像和病理图像的肿瘤术后生存期预测方法及系统技术方案

本发明专利技术提出一种基于医学影像和病理图像的肿瘤术后生存期预测方法及系统。通过孪生网络结构将医学影像和病理图像融合在一起预测肿瘤术后生存期。使用不同深度的网络结构提取医学影像和病理图像的基础特征，通过信息交互方式将医学影像和病理图像的基础特征融合在一起。通过通道注意力网络结构和特征注意力网络结构有效地过滤无用的背景信息，增强目标信息的响应值，最后通过全连接层输出预测结果。整体网络结构采用端到端模型，使得网络可以有效的学习医学影像和病理图像的特征信息，增强算法的鲁棒性和泛化能力。算法的鲁棒性和泛化能力。算法的鲁棒性和泛化能力。

【技术实现步骤摘要】
基于医学影像和病理图像的肿瘤术后生存期预测方法及系统


[0001]本专利技术属于图像处理
，特别涉及结合医学影像和病理图像的孪生网络结构用于肿瘤术后生存期的预测。

技术介绍

[0002]近年来，深度学习在医学领域慢慢的火热了起来。由于深度学习网络强大的非线性建模能力以及医学图像本身信息量大，特征丰富，模态种类多的特点，深度学习网络在医学图像上的应用越来越广泛。
[0003]孪生网络结构最早是在1993年NIPS上发表的论文《Signature Verification using a
‘
Siamese
’
Time Delay Neural Network》用于美国支票上的签名验证，即验证支票上的签名与银行预留签名是否一致。在2010年Hinton在ICML上发表了文章《Rectified Linear Units Improve Restricted Boltzmann Machines》用来做人脸验证，效果很好。其原理很简单，将两个人脸传进卷积神经网络，输出判断结果。随后在2015年发布在CVPR的文章《Learning to Compare Image Patches via Convolutional Neural Networks》对经典的算法孪生网络结构做了改进。
[0004]在此之前孪生网络结构都是用来进行图片相似度的对比。随着深度学习的不断进步与发展，孪生网络结构也开始慢慢出现在目标检测，目标跟踪，目标分类等领域中。2016年在ECCV上发表的《Learning to Track at 100FPS with Deep Regression Networks》论文，是第一个使用孪生网络结构并将目标跟踪算法跑到100FPS。随后朱政和王强在2018年CVPR和2019年CVPR提出了基于孪生网络结构的RASNet和SiamMask目标跟踪算法。
[0005]虽然孪生网络在图像领域应用广泛，但是在医学领域孪生网络结构的应用却鲜为人知。

技术实现思路

[0006]本专利技术旨在解决以上现有技术的问题。提出了一种结合医学影像和病理图像特征的非对称孪生信息交互网络结构方法。
[0007]针对现有技术的不足，本专利技术提出一种基于医学影像和病理图像的肿瘤术后生存期预测方法，其中包括：
[0008]步骤1、构建包括卷积层、通道注意力层、特征注意力层和全连接层的术后生存期预测模型；获取属于同一肿瘤患者的医学影像和病理图像作为训练数据，并该肿瘤患者的术后生存期作为该训练数据的目标标签；
[0009]步骤2、将该训练数据进行预处理后输入该卷积层，得到医学影像基础特征和病理图像基础特征，并对该医学影像基础特征和该病理图像基础特征进行信息交互融合，得到医学影像融合特征和病理图像融合特征；
[0010]步骤3、将该医学影像融合特征输入该通道注意力层，该通道注意力层通过对该医学影像融合特征的通道进行加权，抑制该医学影像融合特征中无用通道特征，得到医学影
像注意力特征；
[0011]步骤4、将该病理图像融合特征输入该特征注意力层，该特征注意力层通过抑制该病理图像融合特征的背景信息，得到病理图像注意力特征；
[0012]步骤5、将该医学影像注意力特征和该病理图像注意力特征结合后输入该全连接层，得到该患者术后生存期的预测结果，根据该预测结果和该目标标签构建损失函数训练该术后生存期预测模型，直到该损失函数收敛，保存当前术后生存期预测模型作为最终预测模型；
[0013]步骤6、将待术后生存期预测肿瘤患者的医学影像和病理图像输入该最终预测模型，得到该待术后生存期预测肿瘤患者的术后生存期预测结果。
[0014]所述的基于医学影像和病理图像的肿瘤术后生存期预测方法，其中该医学影像为CT图像，该病理图像为肿瘤切片图像。
[0015]所述的基于医学影像和病理图像的肿瘤术后生存期预测方法，其中步骤2中该预处理包括对图像的下采样处理。
[0016]所述的基于医学影像和病理图像的肿瘤术后生存期预测方法，其中该步骤2包括：通过Concatenate网络层，对该医学影像基础特征和该病理图像基础特征进行信息交互融合。
[0017]所述的基于医学影像和病理图像的肿瘤术后生存期预测方法，其中该医学影像为单通道图像，该病理图像为三通道图像；
[0018]该步骤2采用ResNet
‑
34提取该医学影像的基础特征，采用ResNet
‑
18提取该病理图像的基础特征。
[0019]本专利技术还提出了一种基于医学影像和病理图像的肿瘤术后生存期预测系统，其中包括：
[0020]模块1，用于构建包括卷积层、通道注意力层、特征注意力层和全连接层的术后生存期预测模型；获取属于同一肿瘤患者的医学影像和病理图像作为训练数据，并该肿瘤患者的术后生存期作为该训练数据的目标标签；
[0021]模块2，用于将该训练数据进行预处理后输入该卷积层，得到医学影像基础特征和病理图像基础特征，并对该医学影像基础特征和该病理图像基础特征进行信息交互融合，得到医学影像融合特征和病理图像融合特征；
[0022]模块3，用于将该医学影像融合特征输入该通道注意力层，该通道注意力层通过对该医学影像融合特征的通道进行加权，抑制该医学影像融合特征中无用通道特征，得到医学影像注意力特征；
[0023]模块4，用于将该病理图像融合特征输入该特征注意力层，该特征注意力层通过抑制该病理图像融合特征的背景信息，得到病理图像注意力特征；
[0024]模块5，用于将该医学影像注意力特征和该病理图像注意力特征结合后输入该全连接层，得到该患者术后生存期的预测结果，根据该预测结果和该目标标签构建损失函数训练该术后生存期预测模型，直到该损失函数收敛，保存当前术后生存期预测模型作为最终预测模型；
[0025]模块6，用于将待术后生存期预测肿瘤患者的医学影像和病理图像输入该最终预测模型，得到该待术后生存期预测肿瘤患者的术后生存期预测结果。
[0026]所述的基于医学影像和病理图像的肿瘤术后生存期预测系统，其中该医学影像为CT图像，该病理图像为肿瘤切片图像。
[0027]所述的基于医学影像和病理图像的肿瘤术后生存期预测系统，其中模块2中该预处理包括对图像的下采样处理。
[0028]所述的基于医学影像和病理图像的肿瘤术后生存期预测系统，其中该模块2包括：通过Concatenate网络层，对该医学影像基础特征和该病理图像基础特征进行信息交互融合。
[0029]所述的基于医学影像和病理图像的肿瘤术后生存期预测系统，其中该医学影像为单通道图像，该病理图像为三通道图像；
[0030]该模块2采用ResNet
‑
34提取该医学影像的基础特征，采用ResNet
‑
18提取该病理图像的基础特征。
[0031]由以上方案可知，本专利技术的优点在于：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于医学影像和病理图像的肿瘤术后生存期预测方法，其特征在于，包括：步骤1、构建包括卷积层、通道注意力层、特征注意力层和全连接层的术后生存期预测模型；获取属于同一肿瘤患者的医学影像和病理图像作为训练数据，并该肿瘤患者的术后生存期作为该训练数据的目标标签；步骤2、将该训练数据进行预处理后输入该卷积层，得到医学影像基础特征和病理图像基础特征，并对该医学影像基础特征和该病理图像基础特征进行信息交互融合，得到医学影像融合特征和病理图像融合特征；步骤3、将该医学影像融合特征输入该通道注意力层，该通道注意力层通过对该医学影像融合特征的通道进行加权，抑制该融合特征中无用通道特征，得到医学影像注意力特征；步骤4、将该病理图像融合特征输入该特征注意力层，该特征注意力层通过抑制该病理图像融合特征的背景信息，得到病理图像注意力特征；步骤5、将该医学影像注意力特征和该病理图像注意力特征结合后输入该全连接层，得到该患者术后生存期的预测结果，根据该预测结果和该目标标签构建损失函数训练该术后生存期预测模型，直到该损失函数收敛，保存当前术后生存期预测模型作为最终预测模型；步骤6、将待术后生存期预测肿瘤患者的医学影像和病理图像输入该最终预测模型，得到该待术后生存期预测肿瘤患者的术后生存期预测结果。2.如权利要求1所述的基于医学影像和病理图像的肿瘤术后生存期预测方法，其特征在于，该医学影像为CT图像，该病理图像为肿瘤切片图像。3.如权利要求1所述的基于医学影像和病理图像的肿瘤术后生存期预测方法，其特征在于，步骤2中该预处理包括对图像的下采样处理。4.如权利要求1所述的基于医学影像和病理图像的肿瘤术后生存期预测方法，其特征在于，该步骤2包括：通过Concatenate网络层，对该医学影像基础特征和该病理图像基础特征进行信息交互融合。5.如权利要求1所述的基于医学影像和病理图像的肿瘤术后生存期预测方法，其特征在于，该医学影像为单通道图像，该病理图像为三通道图像；该步骤2采用ResNet
‑
34提取该医学影像的基础特征，采用ResNet
‑
18提取该病理图像的基础特征。6.一种基于医学影像和病理图像...

【专利技术属性】
技术研发人员：詹紫微，张振华，陈伟，
申请(专利权)人：重庆知见生命科技有限公司，
类型：发明
国别省市：