本发明专利技术公开了一种医学图像分割技术领域的局部矫正交互式医学图像分割方法及系统，旨在解决针对少样本困难分割任务时，现有技术中医学图像自动分割方法精度不高，且运算量大、成本高等问题，其包括在获得初次自动分割结果后，与用户进行第t次交互；若用户判断分割结果不准确，则进行矫正交互点击，依据点击生成补丁，对主干特征图和前次分割掩码上补丁对应区域进行裁剪，进行局部细化及全局矫正，得到第t次交互细化矫正后的分割结果再次提交用户判断，重复步骤，直至用户判断分割结果准确，输出分割结果。本发明专利技术在自动分割的基础上加入基于交互的局部矫正模块，对自动分割结果进行局部细化和全局矫正，提升分割精度。提升分割精度。提升分割精度。
【技术实现步骤摘要】
一种局部矫正交互式医学图像分割方法及系统
[0001]本专利技术涉及一种局部矫正交互式医学图像分割方法及系统，属于医学图像分割
技术介绍
[0002]医学图像分割是指从医学图像中自动或半自动地分离出用户感兴趣的解剖结构或病变区域。它是医学图像分析中的重要步骤，是各种医学应用的基础技术之一，对于医学诊断、治疗和研究具有重要意义。
[0003]医学图像分割方法的主要追求在于提升分割精度，进一步降低医学图像标注成本。随着深度学习的发展，高度监督的方法已经能够取得接近人类专家的性能水平，但大量具体病症分割任务并无法获得足够的分割标签以供模型训练。
[0004]为解决自动分割模型在医学图像分割任务里实现较为困难的且获得结果较差的问题，有学者尝试采用引入交互式分割矫正模块的方法对分割结果进行优化。
[0005]现有文献1（Luo X, Wang G, Song T, Zhang J, et al. MIDeepSeg: Minimally interactive segmentation of unseen objects from medical images using deep learning [J]. Medical Image Analysis, 2021, 72: 102102）提出了一种新的基于深度学习的医学图像交互式分割方法，该方法通过指数化测距对用户提供的内部边缘点进行编码，使CNN能够对之前看到的和未看到的物体实现良好的初始分割结果，尤其对一系列先前未见过的物体具有很好的通用性。但其几乎完全抛弃自动分割模型所具有的优势，完全依赖用户判断及交互操作对模型进行修正指导，其精确分割需要依赖大量交互操作。
[0006]现有文献2（Liu W, Ma C, Yang Y, et al. Transforming the Interactive Segmentation for Medical Imaging[C]. International Conference on Medical Image Computing and Computer Assisted Intervention, 2022）通过Transformer在nnU
‑
Net后加入交互模块，通过用户交互对自动分割结果进行矫正，在部分数据集上取得了不错的性能。其虽然加入交互模块，但仅简单将用户交互作为样本进行全图校对，并未考虑医学图像及此类分割任务的特异性。但是与传统自然图像不同，在应对肿瘤等病症区域的医学图像分割任务时，待分割病灶区域通常较小且较为集中，简单全图迭代使得大量算力被浪费在了非焦点位置的校对上，且分割结果也易受到非病症区域干扰。
技术实现思路
[0007]本专利技术的目的在于克服现有技术中的不足，提供一种局部矫正交互式医学图像分割方法及系统，在自动分割的基础上加入基于交互的局部矫正模块，对自动分割结果进行局部细化和全局矫正，提升分割精度。
[0008]为达到上述目的，本专利技术是采用下述技术方案实现的：一方面，本专利技术提供一种局部矫正交互式医学图像分割方法，包括以下步骤：S1、获取目标图像，将目标图像导入编码器网络，映射到分割掩码，获取初次分割
结果；S2、与用户对分割结果进行第t次交互，获取用户对分割结果的判断；S3、若用户对分割结果的判断为不准确，则用户对图像进行注释点击，以用户注释点击为中心生成补丁，并对主干特征图和前次分割掩码上补丁区域进行裁剪，对补丁区域进行局部细化，得到局部细化后的局部分割反馈；S4、将局部细化后的局部分割反馈粘贴回前次分割掩码，得到局部细化后的全局分割反馈；依据局部细化后的全局分割反馈对全局分割反馈进行更新后，将其与主干特征图进行融合，得到第t次交互细化矫正后的分割结果；S5、与用户进行第t+1次交互，重复步骤S3、S4，直至用户对分割结果的判断为准确，输出分割结果。
[0009]进一步的，将目标图像导入编码器网络，映射到分割掩码，作为初次分割结果的表达式为：；其中，为编码器网络反馈的自动分割掩码，为密集特征嵌入，为编码器模块，为目标图像，且，R表示实数集，H、W、D分别表示图像的高度、宽度、通道数，为超参数。
[0010]进一步的，当时，前次分割掩码为。
[0011]进一步的，步骤S3具体包括：将用户注释点击的位置坐标记录为，注释点击的类型标签记录为；通过磁盘编码模块将用户注释点击转换为交互映射，，其中t表示第t次交互得到的交互映射，R表示实数集，H和W分别表示图像的高度和宽度，2表示通道数；将目标图像和交互映射在深度层面上进行级联，得到主干特征图，其中和分别表示特征图的高度和宽度，3表示通道数；以用户注释点击为中心生成一个矩形补丁，并将其对应位置从主干特征图中裁剪出来，得到主干特征图补丁块，其大小为，其中r为扩展比率；同时，将矩形补丁对应位置从前次分割掩码中也裁剪出来，得到前次分割补丁块；对主干特征图补丁块F
C
执行逐像素匹配，测量主干特征图补丁块F
C
中每个像素点与用户注释点击之间的特征亲和度，表达式为：；其中，为像素点坐标，为主干特征图补丁块中用户注释点击的坐标，为L2正则运算；根据特征亲和度，对前次分割补丁块和注释点击的标签进行线性组合，生成局部细化后的局部分割反馈，表达式为：；其中，为局部分割反馈，为Hadamard积运算，为相似度阈值。
[0012]进一步的，对局部细化后的全局分割反馈进行更新后，将其与主干特征图进行融合，得到第t次交互细化矫正后的分割结果，包括：
利用卷积块对主干特征图F进行编码，然后将编码后的主干特征图在信道维度上与局部细化后的全局分割反馈信道级联，并利用卷积块和Sigmoid函数对全局分割反馈进行更新，其表达式为：；
[0013]其中，为更新后的全局分割反馈，、为卷积块，、分别为卷积块、的可学习参数，为全局分割反馈，为信道级联；通过卷积块将主干特征图与更新后的分割反馈融合，得到融合主干特征图，表达式为：；其中，为融合主干特征图，为的可学习参数；将融合主干特征图和更新后的分割反馈分别替代主干特征图F和全局分割反馈，得到本次交互矫正后输出的新分割掩码，即为第t次交互细化矫正后的分割结果。
[0014]进一步的，若判断分割结果准确，以分割掩码及叠加图像的形式对分割结果进行输出，同时将完成的分割演算所获得的相应分割掩码存储为新样本集，达到指定数量后，通过在新样本集上微调增量学习模块对自动分割矫正模块进行持续训练。
[0015]另一方面，本专利技术提供一种局部矫正交互式医学图像分割系统，所述分割系统用于实现上述任一项所述的局部矫正交互式医学图像分割方法。
[0016]可选的，所述分割系统包括编码器模块、磁盘编码模块和分割矫正模块，所述编码器模块用于将导入的目标图像映射到分割掩码，所述磁盘编码模块用于将用户注释点击转换为交互映射；所述分割矫正模块用于交互矫正，其包括局部矫正模块，所述局部矫正模块用于对目标图像进行局部细化和全局矫正。...
【技术保护点】
【技术特征摘要】
1.一种局部矫正交互式医学图像分割方法，其特征在于，包括：S1、获取目标图像，将目标图像导入编码器网络，映射到分割掩码，获取初次分割结果；S2、与用户对分割结果进行第t次交互，获取用户对分割结果的判断；S3、若用户对分割结果的判断为不准确，则用户对图像进行注释点击，以用户注释点击为中心生成补丁，并对主干特征图和前次分割掩码上补丁区域进行裁剪，对补丁区域进行局部细化，得到局部细化后的局部分割反馈；S4、将局部细化后的局部分割反馈粘贴回前次分割掩码，得到局部细化后的全局分割反馈；依据局部细化后的全局分割反馈对全局分割反馈进行更新后，将其与主干特征图进行融合，得到第t次交互细化矫正后的分割结果；S5、与用户进行第t+1次交互，重复步骤S3、S4，直至用户对分割结果的判断为准确，输出分割结果。2.根据权利要求1所述的局部矫正交互式医学图像分割方法，其特征在于，将目标图像导入编码器网络，映射到分割掩码，作为初次分割结果，其表达式为：；其中，y
mask
为编码器网络反馈的自动分割掩码，为密集特征嵌入，为编码器模块，I为目标图像，且，R表示实数集，H、W、D分别表示图像的高度、宽度、通道数，为超参数。3.根据权利要求1所述的局部矫正交互式医学图像分割方法，其特征在于，当时，前次分割掩码为，为编码器网络反馈的自动分割掩码。4.根据权利要求1所述的局部矫正交互式医学图像分割方法，其特征在于，步骤S3具体包括：将用户注释点击的位置坐标记录为，注释点击的类型标签记录为；将用户注释点击转换为交互映射，，其中t表示第t次交互得到的交互映射，R表示实数集，H和W分别表示图像的高度和宽度，2表示通道数；将目标图像和交互映射在深度层面上进行级联，得到主干特征图，其中和分别表示特征图的高度和宽度，3表示通道数；以用户注释点击为中心生成一个矩形补丁，并将其对应位置从主干特征图中裁剪出来，得到主干特征图补丁块，其大小为，其中r为扩展比率；同时，将矩形补丁对应位置从前次分割掩码中也裁剪出来，得到前次分割补丁块；对主干特征图补丁块F
C
执行逐像素匹配，测量主干特征图补丁块F
C
中每个像素点与用户注释点击之间的特征亲和度，表达式为：；其中，为像素点坐标，为主干特征图补丁块中用户注释点击的坐标，为L2正则运算；根据特征亲和度，对前次分割补丁块和注释点击的标签进行线性组合，生成局部...
【专利技术属性】
技术研发人员：张小瑞，莫云菲，孙伟，蒋睿，曾祥龙，陈超，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。