基于强化学习和注意力的胰腺肿瘤图像分割方法及系统技术方案

本发明专利技术公开了一种基于强化学习和注意力的胰腺肿瘤图像分割方法及系统，利用三维粗分割模型提取ROI区域，并将ROI区域图像和原始图像沿着z轴切分为2D图像，利用强化学习网络从切分后的ROI区域图像中选取两个参考层，在切分后的原始图像中选择一个分割层，共同输入到带有交叉注意力特征融合模块的二维精分割模型，利用层间的交叉注意力特征融合模块，使得分割特征在分割层和参考层中进行信息的交互，得到胰腺肿瘤的分割结果；本发明专利技术利用交叉注意力机制学习不相邻2D图像的相关信息，既避免了2D神经网络无法利用层间信息来准确定位肿瘤的局限性，又避免了3D神经网络因为3D数据信息的冗余和干扰造成的肿瘤分割不准确问题。的冗余和干扰造成的肿瘤分割不准确问题。的冗余和干扰造成的肿瘤分割不准确问题。

【技术实现步骤摘要】
基于强化学习和注意力的胰腺肿瘤图像分割方法及系统


[0001]本专利技术涉及图像分割领域，尤其涉及一种基于强化学习和注意力的胰腺肿瘤图像分割方法及系统。

技术介绍

[0002]胰腺癌确诊后的五年生存率约10%，是预后最差的恶性肿瘤之一。计算机断层扫描 (Computed Tomography，CT) 已广泛应用于癌症的研究、预防、诊断和治疗中，是目前胰腺癌诊断和治疗的主要影像诊断依据。胰腺肿瘤的全自动分割技术可以实现大规模临床CT图像处理，提高病人诊治水平、加快相关临床研究，对家庭、社会和国民经济有重要意义。
[0003]胰腺和胰腺肿瘤在CT图像中的自动分割面临着巨大挑战，一方面，胰腺肿瘤与胰腺，以及腹部周围其他器官在CT影像中差异较小，难有明确的界限。另一方面，胰腺肿瘤的形状、大小、位置并不固定，有较高的复杂性。并且，胰腺属于腹部小器官，而胰腺肿瘤更小，通过传统方法以及一般的神经网络方法并不能够准确的对目标区域进行定位。现有的胰腺肿瘤分割还是主要依靠医生进行手动标注，标注过程枯燥低效，更重要的是胰腺标注经常需要医生丰富的经验，对于医生而言，标注工作是一个不小的挑战。
[0004]对于CT胰腺肿瘤的分割算法开发难点，主要在以下几个方面：1. 随着卷积神经网络的在图像处理上的广泛应用，卷积神经网络也被广泛用于医学图像分割。当前主流的针对三维图像的分割方法，是利用一层或多层CT图像作为输入，通过一个复杂的卷积神经网络，输出对胰腺区域的预测，来实现分割。通过学习预测的错误，来提高分割的准确率。尽管取得了一定的成果，但是神经网络模型是独立地对这些二维图像进行分割，忽略了这些二维图像之间的内在联系，从而导致分割精度不够。
[0005]2. 直接用三维神经网络进行分割时虽然，相邻层之间的信息虽然更容易利用，但是三维神经网络把所有的切片看做同等重要，在分割时会引入大量的无效信息和干扰信息。另外，由于卷积神经核的视野范围小，不相邻层的切片间的信息很难被有效的利用。
[0006]现有的医学图像分割方法在进行采用级联的方法进行分割，既先用一个网络进行粗分割得到目标区域的感兴趣区域ROI（region of interest），然后再用一个精分割网络进行分割。精分割网络往往会将粗分割网络产生的概率图作为输入，精分割网络只负责对粗分割的结果进行优化。但是这样的方法会使得精分割网络无法利用ROI之外的信息，会放大粗分割网络预测错误的地方，引入大量的假阴性。对于胰腺肿瘤这种小目标来说，级联方法造成的假阴性问题会更为突出。

技术实现思路

[0007]本专利技术目的在于针对现有技术的不足，提出一种基于强化学习和注意力的胰腺肿瘤图像分割方法及系统，针对现有二维卷积神经网络胰腺肿瘤CT无法利用层间信息，而三维卷积神经网络会学习到层间错误的位置和形状信息的问题，临床医生在标注时，往往会依据某几张关键切片判断胰腺和肿瘤的大概形状和位置，并依靠几张关键的切片进行其他
层的分割，这种方法高效且准确。针对二维和三维网络中存在的问题，本专利技术提出一种利用强化学习方法模拟临床医生在标注肿瘤过程中的行为模式，将一个CT影像序列的注意力集中在几张关键CT层上。其次，为了避免级联网络造成的假阴性问题，利用层间注意力机制进行层间信息的流动，来实现胰腺肿瘤的准确分割。
[0008]本专利技术的目的是通过以下技术方案来实现的：一方面，本专利技术提供了一种基于强化学习和注意力的胰腺肿瘤图像分割方法，该方法包括以下步骤：（1）采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；（2）构建用于胰腺CT粗分割的三维粗分割模型，获取获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着z轴切分为2D图像；（3）构建带有交叉注意力特征融合模块的二维精分割模型，利用层间的交叉注意力特征融合模块，使得分割特征在分割层和参考层中进行信息的交互；（3.1）将训练集的数据和标签按照和步骤（2）中ROI区域的图像同样的方式沿着z轴切分为2D图像，随机选取步骤（2）中切分后的两个2D图像作为参考层，训练集数据切分后的2D图像作为分割层；利用强化学习网络选取胰腺肿瘤的参考层；（3.2）每个参考层对应一个交叉注意力特征融合模块，分别与分割层进行信息的交互，交叉注意力特征融合模块将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，作为分割结果；（4）给定一个待分割的胰腺肿瘤图像并进行预处理后，输入到三维粗分割模型中获取ROI区域并进行切分，利用强化学习网络选取参考层，将待分割的胰腺肿瘤图像切分后选择一个分割层，将分割层和参考层输入到二维精分割模型进行分割，得到肿瘤的分割结果。
[0009]进一步地，步骤（1）中，预处理过程具体为：将训练集中所有数据的体素空间距离space调整到1mm；将图像的HU值截断到
‑
100至240之间，然后归一化到0到1之间。
[0010]进一步地，步骤（2）中，三维粗分割模型由编码和解码两部分组成，编码部分包括四个编码块，每个编码块后面均连接一个下采样层；解码部分包括四个解码块，每个解码块前面连接一个上采样层；每个编码块和解码块均由数目不等的卷积
‑
激活层组成。
[0011]进一步地，步骤（2）中，将ROI区域图像记为，对应训练集中第n个胰腺癌患者胰腺CT图像；将沿着z轴切分为2D图像，于是，表示切分后第k层的2D图像，截断后CT图像的标签记为，对应训练集中第n个胰腺癌患者胰腺CT图像的标签，同样沿着z轴切分为2D图像，于是，表示对应第k层的2D图像标签，其中为截断后的最小层号，为截断后的最大层号。
[0012]进一步地，步骤（2）中，三维粗分割模型采用的损失函数为交叉熵损失函数：
其中，代表网络输出的预测粗分割结果，为CT图像胰腺肿瘤分割标签，m是输入图像中的像素点个数，和分别是像素点j的真实标签和预测标签，分别代表背景，胰腺或胰腺肿瘤；函数I(
·
)是示性函数，函数log为对数函数，p(
·
)为模型预测的概率函数。
[0013]进一步地，步骤（3.1）中，强化学习网络的环境为从原始CT图像获取的ROI区域，状态为沿z轴随机选取的两层切片，动作为每次迭代代理在上次选择的参考层沿z轴进行前后移动，每个参考层对应一个代理，动作价值函数为二维精分割模型预测结果与真实标签的损失函数，并通过启发函数计算当前状态下的下一步动作的最大奖励值；在迭代过程中，利用负反馈的方法对强化学习网络进行训练。
[0014]进一步地，强化学习网络训练后，固定强化学习网络的参数，利用强化学习网络筛选参考层将参考层与分割层输入到二维精分割模型完成二维精分割模型训练。
[0015]进一步地，步骤（3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，该方法包括以下步骤：（1）采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；（2）构建用于胰腺CT粗分割的三维粗分割模型，获取获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着z轴切分为2D图像；（3）构建带有交叉注意力特征融合模块的二维精分割模型，利用层间的交叉注意力特征融合模块，使得分割特征在分割层和参考层中进行信息的交互；（3.1）将训练集的数据和标签按照和步骤（2）中ROI区域的图像同样的方式沿着z轴切分为2D图像，随机选取步骤（2）中切分后的两个2D图像作为参考层，训练集数据切分后的2D图像作为分割层；利用强化学习网络选取胰腺肿瘤的参考层；（3.2）每个参考层对应一个交叉注意力特征融合模块，分别与分割层进行信息的交互，交叉注意力特征融合模块将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，作为分割结果；（4）给定一个待分割的胰腺肿瘤图像并进行预处理后，输入到三维粗分割模型中获取ROI区域并进行切分，利用强化学习网络选取参考层，将待分割的胰腺肿瘤图像切分后选择一个分割层，将分割层和参考层输入到二维精分割模型进行分割，得到胰腺肿瘤的分割结果。2.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（1）中，预处理过程具体为：将训练集中所有数据的体素空间距离space调整到1mm；将图像的HU值截断到
‑
100至240之间，然后归一化到0到1之间。3.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（2）中，三维粗分割模型由编码和解码两部分组成，编码部分包括四个编码块，每个编码块后面均连接一个下采样层；解码部分包括四个解码块，每个解码块前面连接一个上采样层；每个编码块和解码块均由数目不等的卷积
‑
激活层组成。4.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（2）中，将ROI区域图像记为，对应训练集中第n个胰腺癌患者胰腺CT图像；将沿着z轴切分为2D图像，于是，表示切分后第k层的2D图像，截断后CT图像的标签记为，对应训练集中第n个胰腺癌患者胰腺CT图像的标签，同样沿着z轴切分为2D图像，于是，表示对应第k层的2D图像标签，其中为截断后的最小层号，为截断后的最大层号。5.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（2）中，三维粗分割模型采用的损失函数为交叉熵损失函数：
其中，代表网络输出的预测粗分割结果，为CT图像胰腺肿瘤分割标签，m是输入图像中的像素点个数，和分别是像素点j的真实标签和预测标签，分别代表背景，胰腺或胰腺肿瘤；函数I(
·
)是示性函数，函数log为对数函数，p(
·
)为模型预测的概率函数。6.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤...

【专利技术属性】
技术研发人员：李劲松，董凯奇，田雨，周天舒，
申请(专利权)人：浙江大学，
类型：发明
国别省市：