【技术实现步骤摘要】
本公开属于医学图像处理，具体涉及一种基于多视图特征融合网络的胰腺癌图像分割系统。
技术介绍
1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
2、胰腺癌是常见的、致命的、侵袭性的恶性肿瘤之一，其5年生存率不到7％。手术和放射治疗是胰腺癌的常用治疗方法，治疗过程中胰腺和肿瘤通常需要被精确定位。一般由放射科医生对胰腺和肿瘤进行手动勾画分割，这种方法依赖于医生的专业知识，耗时且容易出错。而现有技术中的胰腺和肿瘤的自动分割存在以下问题使分割结果并不令人满意：1)解剖结构复杂：胰腺和肿瘤的形状、体积和位置在不同的患者之间是不同的；2)对比度低：胰腺与周围其他腹部组织之间，以及胰腺与嵌入肿瘤之间的对比度非常低；3)体素占比小：胰腺在腹部的平均比例约为0.6％，肿瘤约为0.2％。
3、为了解决上述问题，许多研究人员利用卷积神经网络(convolutional neuralnetwork，cnns)进行胰腺癌图像分割。然而，对于解剖结构复杂、边界不明显的小目标区域(如胰腺和肿瘤区域)，现有的利用卷积神经网络的胰腺癌分割方法侧重于边界的静态学习，这可能会导致模型容易被类似边界的体素误导，存在分割不足的问题，从而降低了分割的准确性。其次，大多数卷积神经网络没有遵循物体的形态特征，而是主要关注于学习与标签相对应的有用特征，忽略了从输入图像中减少冗余信息，导致特征映射中存在噪声。此外，基于卷积神经网络的方法虽然具有突出的特征提取能力，但由于卷积核的接受域有限，它们并不擅长对远程依赖进行建模，继而使卷积
技术实现思路
1、本公开为了解决上述问题，提出了一种基于多视图特征融合网络的胰腺癌图像分割系统，包括自适应形态特征融合模块、双向语义特征融合模块和局部—全局依赖特征融合模块，用于对ct图像中胰腺和肿瘤的联合分割，提高对复杂表型目标区域的分割准确性。
2、为了实现上述目的，本公开主要包括以下几个方面：
3、第一方面，本公开提供了一种基于多视图特征融合网络的胰腺癌图像分割系统，包括，
4、数据获取模块，被配置为：获取待分割的三维ct图像；
5、局部—全局依赖特征融合模块，被配置为：将所述三维ct图像输入已训练好的多视图特征融合网络模型中，利用卷积操作提取三维ct图像的浅层特征，得到浅层特征图，将浅层特征图拆分并添加位置编码重构为编码序列，将编码序列输入到轻量级transformer中，提取浅层特征的全局依赖关系；对浅层特征图进行多次操作，得到第一特征图，将全局依赖关系与第一特征图融合得到第二特征图；
6、双向语义特征融合模块，被配置为：将网络的每一层卷积操作得到的特征图丢弃冗余信息，丢弃冗余信息的顶层特征图为第三特征图；
7、自适应形态特征融合模块，被配置为：将第三特征图进行池化操作获得目标区域的预测边界，对预测边界通过添加正则化项得到参考边界；
8、输出模块，被配置为：输出所述三维ct图像的肿瘤分割结果。
9、优选的，将网络的每一层卷积操作得到的特征图丢弃冗余信息，具体为：
10、利用格拉姆矩阵对网络的每一层卷积操作得到的特征图分别进行特征提取，生成对应的注意力特征图，将每一层卷积操作得到的特征图与相对应的注意力特征图进行连接操作。
11、优选的，所述冗余信息由输入的特征图和生成的注意力特征图之间的互信息反向量化产生。
12、优选的，所述池化操作的卷积核尺寸受网络学习表现的影响，当利用dice相似系数评估的对目标区域形态学习的性能平均值提高到设定水平时，自适应形态特征融合模块将缩小边界圈。
13、优选的，所述池化操作的卷积核尺寸为奇数，随着模型性能的提升，核尺寸将线性减小。
14、优选的，所述对预测边界通过添加正则化项得到参考边界，具体为：
15、利用膨胀和侵蚀形态学操作得到边界圈的表示，捕获目标边界周围的上下文信息。
16、优选的，其还包括预处理模块，对所述三维ct图像进行预处理，具体为：
17、对所述三维ct图像进行旋转、缩放、弹性变形、伽马校正、镜像和亮度调整操作，将所述三维ct图像裁剪为固定大小的图像并进行人工标注标签。
18、优选的，通过五折交叉验证所述多视图特征融合网络的有效性；
19、评估指标分别为：dice相似系数、平均表面距离、阳性预测值以及灵敏度。
20、第二方面，本公开提供了一种介质，其上存储有程序，该程序被处理器执行时实现如下步骤：
21、获取待分割的三维ct图像；
22、将所述三维ct图像输入已训练好的多视图特征融合网络模型中，利用卷积操作提取三维ct图像的浅层特征，得到浅层特征图，将浅层特征图拆分并添加位置编码重构为编码序列，将编码序列输入到轻量级transformer中，提取浅层特征的全局依赖关系；对浅层特征图进行多次操作，得到第一特征图，将全局依赖关系与第一特征图融合得到第二特征图；
23、将网络的每一层卷积操作得到的特征图丢弃冗余信息，丢弃冗余信息的顶层特征图为第三特征图；
24、将第三特征图进行池化操作获得目标区域的预测边界，对预测边界通过添加正则化项得到参考边界，输出所述三维ct图像的肿瘤分割结果。
25、第三方面，本公开提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如下步骤：
26、获取待分割的三维ct图像；
27、将所述三维ct图像输入已训练好的多视图特征融合网络模型中，利用卷积操作提取三维ct图像的浅层特征，得到浅层特征图，将浅层特征图拆分并添加位置编码重构为编码序列，将编码序列输入到轻量级transformer中，提取浅层特征的全局依赖关系；对浅层特征图进行多次操作，得到第一特征图，将全局依赖关系与第一特征图融合得到第二特征图；
28、将网络的每一层卷积操作得到的特征图丢弃冗余信息，丢弃冗余信息的顶层特征图为第三特征图；
29、将第三特征图进行池化操作获得目标区域的预测边界，对预测边界通过添加正则化项得到参考边界，输出所述三维ct图像的肿瘤分割结果。
30、与现有技术相比，本公开的有益效果为：
31、本公开提供了一种基于多视图特征融合网络的胰腺癌图像分割系统，具有三个特征融合模块，即自适应形态特征融合模块(amf2)、双向语义特征融合模块(bsf2)和局部—全局依赖特征融合(lgdf2)模块，用于对ct图像中胰腺和肿瘤的联合分割，其中，自适应形态特征融合模块(amf2)，能够动态地学习和融合骨架到边界的形态学特征，并融合形态特征和判别性的空间语义上下文信息，进一步提高对具有复杂表型的目标区域的分割性能。双向语义特征融合模块(bsf2)来约束预测和标签之间的互信息，丢弃输入和突出的注意特征本文档来自技高网...
【技术保护点】
1.基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：包括，
2.如权利要求1所述的基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：将网络的每一层卷积操作得到的特征图丢弃冗余信息，具体为：
3.如权利要求2所述的基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：所述冗余信息由输入的特征图和生成的注意力特征图之间的互信息反向量化产生。
4.如权利要求1所述的基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：所述池化操作的卷积核尺寸受网络学习表现的影响，当利用Dice相似系数评估的对目标区域形态学习的性能平均值提高到设定水平时，自适应形态特征融合模块将缩小边界圈。
5.如权利要求4所述的基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：所述池化操作的卷积核尺寸为奇数，随着模型性能的提升，核尺寸将线性减小。
6.如权利要求1所述的基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：所述对预测边界通过添加正则化项得到参考边界，具体为：
7.如权利要求1所述的基于多视图特征融合网络的胰腺癌图像分
8.如权利要求1所述的基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：其还包括预处理模块，对所述三维CT图像进行预处理，具体为：
9.一种介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如下步骤：
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如下步骤：
...【技术特征摘要】
1.基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：包括，
2.如权利要求1所述的基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：将网络的每一层卷积操作得到的特征图丢弃冗余信息，具体为：
3.如权利要求2所述的基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：所述冗余信息由输入的特征图和生成的注意力特征图之间的互信息反向量化产生。
4.如权利要求1所述的基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：所述池化操作的卷积核尺寸受网络学习表现的影响，当利用dice相似系数评估的对目标区域形态学习的性能平均值提高到设定水平时，自适应形态特征融合模块将缩小边界圈。
5.如权利要求4所述的基于多视图特征融合网络的胰腺癌图像分割系统，其特征是：所述池化操作...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。