一种基于U型网络的多目标分割方法及装置制造方法及图纸

本发明专利技术涉及一种基于U型网络的多目标分割方法及装置，多目标分割方法包括：对待分割图像进行块分区，得到输入图像；将输入图像输入基于上下文转换网络自注意力机制的编码模块中进行统一的局部语义特征信息的提取，并定位分割目标，得到编码器输出图像；将编码器输出图像与编码模块进行局部语义特征信息提取过程中得到的语义特征信息进行融合，并统一待分割图像的全局语义特征信息，得到解码器输出图像；将解码器输出图像的不同目标进行映射输出，得到分割结果图。该多目标分割方法兼顾了局部语义提取优化和全局语义信息统一优化，可以克服医疗图像面临的图像模糊、噪声较大、视觉对比度低的问题，分割结果精确度高，鲁棒性强，分割效率高。分割效率高。分割效率高。

【技术实现步骤摘要】
一种基于U型网络的多目标分割方法及装置


[0001]本专利技术属于图像处理
，具体涉及一种基于U型网络的多目标分割方法及装置。

技术介绍

[0002]随着医疗水平的不断上升，医院所拥有的智能设备越来越多，医生可使用来辅助自己用于诊断的医疗器械也越来越多。与此同时，出于生活环境的变化，现代生活工作压力的不断增长，人们饮食作息的不规律等原因，越来越多的人出现身体不适，甚至是一些较严重的病症，器官性病变的案例和人员也在逐步上升。这也逐步加重了医生的工作负担，尤其是在CT扫描的图片诊断中，数量巨大的图片诊断工作无形中增加了医生的工作成本，当医生花费较多时间在诊断病人的CT图片时，病人的病情很容易出现贻误，无法得到及时的救治，这同样也降低了医生的诊断效率。随着AI技术的不断发展，与医疗图像处理相关的技术不断地提高与成熟，大大提高了医生的诊断效率。随着科学技术水平的进一步提升，AI人工智能技术在医疗方面快速发展，现在有不少研究在把深度学习原理运用于医疗图像分割技术的研究，并且已经按照这样的原理生产出了可以智能治疗的机器，同时由于深度网络的进一步发展，医学图像分割的准确率提高，把深度学习也运用到医疗图像的分割上，这样不但能够大幅度降低医生的诊断难度，同时也能够让医生们节约更多的时间与精力去对患者进行更加实际的治疗，为研究一些疑难杂症也提供了时间上的优势，医生可以不必将太多的时间花费在初期诊断病情上，这无疑为医学做出了巨大的贡献。
[0003]生物医学图像分割技术在于使图像中的解剖或病理组织结构变化得更为生动清晰，而由于检查结果和准确性的极大提高，它往往在计算机技术辅助诊断和智慧医院
中发挥了重要意义。主流的医疗图像分割操作涵盖心脏和肝恶性肿瘤切除、脑和脑肿瘤切除、视盘切开、细胞切除、肺部切开、肺结节、心脏图像分割等。随着医用图像设备、X辐射、计算机断层扫描(CT)、磁共振技术图像(MRI)以及超声，已成为了协助病人治疗临床医生检查临床病情、评估预后，以及进行规划院内设备治疗手术的四个最主要的图像辅助和技术手段。在实际使用中，这种造影方式尽管各有特点，但对人体各个部份的医学检查都是有利的。
[0004]要协助临床医师进行正确的治疗，就必须对医学图像中的某些重要对象加以细分，并在细分区域中获得特征。早期的医疗图像分割方法，通常依赖于边缘检查、模板匹配技术、统计图形建模、主动轮廓以及机器学习技术等。Zhao et al.提出了一种新的肺部CT图像数学形态学边缘检测算法。Lalonde et al.将基于Hausdorff的模板匹配应用于检查，Chen et al.还采用模板匹配在脑CT图像中执行心室分割。Tsai et al.提出了一种基于形状的方法，使用水平集对心脏MRI图像进行2D分割和对前列腺MRI图像进行3D分割。Li et al.使用活动剖面模型从腹部CT图像中分割肝肿瘤，而Li et al.通过结合水平集和支持向量机(SVM)提出了一种用于医疗身体数据分割的框架。Held et al.将马尔可夫随机场(MRF)应用于脑MRI图像分割。
[0005]虽然已研究了大量方案并且一些方案在部分情形下获得了极大进步，但是因为其特征表达的难度，图像分割一直是电脑图像视觉效果应用最具挑战性的重要学术课题之一。尤其是，在医疗图像中获得识别特征比普通RGB图片更艰难，因为前者往往面临图像模糊、噪声大、视觉对比度低等问题。

技术实现思路

[0006]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于U型网络的多目标分割方法及装置。本专利技术要解决的技术问题通过以下技术方案实现：
[0007]本专利技术实施例提供了一种基于U型网络的多目标分割方法，包括步骤：
[0008]S1、对待分割图像进行块分区，得到输入图像；
[0009]S2、将所述输入图像输入基于上下文转换网络自注意力机制的编码模块中进行统一的局部语义特征信息的提取，并定位分割目标，得到编码器输出图像；
[0010]S3、将所述编码器输出图像与所述编码模块进行局部语义特征信息提取过程中得到的语义特征信息进行融合，并统一所述待分割图像的全局语义特征信息，得到解码器输出图像；
[0011]S4、将所述解码器输出图像的不同目标进行映射输出，得到分割结果图。
[0012]在本专利技术的一个实施例中，步骤S2包括：
[0013]S21、将所述输入图像进行线性嵌入后输入到两个连续的上下文转换模块中进行表示学习，保持所述输入图像的特征维度和分辨率不变，得到第一多尺度特征；
[0014]S22、将所述第一多尺度特征输入块合并层进行下采样，得到第一下采样特征；
[0015]S23、将所述第一下采样特征输入到两个连续的上下文转换模块中进行表示学习，保持所述第一下采样特征的特征维度和分辨率不变，得到第二多尺度特征；
[0016]S24、将所述第二多尺度特征输入块合并层进行下采样，得到第二下采样特征；
[0017]S25、将所述第二下采样特征输入到两个连续的上下文转换模块中进行表示学习，保持所述第二下采样特征的特征维度和分辨率不变，得到第三多尺度特征；
[0018]S26、将所述第三多尺度特征输入块合并层进行下采样，得到所述编码器输出图像。
[0019]在本专利技术的一个实施例中，所述块合并层中的执行步骤包括：
[0020]将输入块连接在一起，使得图像的分辨率被下采样2倍，同时特征维度增加4倍，得到连接特征；
[0021]利用线性层将所述连接特征的特征维度统一为所述输入块的原始特征维度的2倍，得到块合并层输出的下采样特征。
[0022]在本专利技术的一个实施例中，步骤S3包括：
[0023]S31、将所述编码器输出图像输入到块扩展层进行上采样，得到第一上采样特征；
[0024]S32、将所述第一上采样特征与所述第三多尺度特征输入到两个连续的上下文转换模块中进行融合，得到第一融合特征；
[0025]S33、将所述第一融合特征输入到块扩展层进行上采样，得到第二上采样特征；
[0026]S34、将所述第二上采样特征与所述第二多尺度特征输入到两个连续的上下文转换模块中进行融合，得到第二融合特征；
[0027]S35、将所述第二融合特征输入到块扩展层进行上采样，得到第三上采样特征；
[0028]S36、将所述第三上采样特征与所述第一多尺度特征输入到两个连续的上下文转换模块中进行融合，得到第三融合特征；
[0029]S37、将所述第三融合特征输入到块扩展层进行上采样，得到所述解码器输出图像。
[0030]在本专利技术的一个实施例中，所述块扩展层中的执行步骤包括：
[0031]利用线性层将输入特征的特征维度增加为原始特征维度的2倍；
[0032]使用重新排列操作将所述输入特征的分辨率扩展为原始分辨率的2倍，并将所述输入特征的特征尺寸减小到原始特征尺寸的四分之一，得到所述块扩展层的上采样特征。
[0033]在本专利技术的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于U型网络的多目标分割方法，其特征在于，包括步骤：S1、对待分割图像进行块分区，得到输入图像；S2、将所述输入图像输入基于上下文转换网络自注意力机制的编码模块中进行统一的局部语义特征信息的提取，并定位分割目标，得到编码器输出图像；S3、将所述编码器输出图像与所述编码模块进行局部语义特征信息提取过程中得到的语义特征信息进行融合，并统一所述待分割图像的全局语义特征信息，得到解码器输出图像；S4、将所述解码器输出图像的不同目标进行映射输出，得到分割结果图。2.根据权利要求1所述的基于U型网络的多目标分割方法，其特征在于，步骤S2包括：S21、将所述输入图像进行线性嵌入后输入到两个连续的上下文转换模块中进行表示学习，保持所述输入图像的特征维度和分辨率不变，得到第一多尺度特征；S22、将所述第一多尺度特征输入块合并层进行下采样，得到第一下采样特征；S23、将所述第一下采样特征输入到两个连续的上下文转换模块中进行表示学习，保持所述第一下采样特征的特征维度和分辨率不变，得到第二多尺度特征；S24、将所述第二多尺度特征输入块合并层进行下采样，得到第二下采样特征；S25、将所述第二下采样特征输入到两个连续的上下文转换模块中进行表示学习，保持所述第二下采样特征的特征维度和分辨率不变，得到第三多尺度特征；S26、将所述第三多尺度特征输入块合并层进行下采样，得到所述编码器输出图像。3.根据权利要求2所述的基于U型网络的多目标分割方法，其特征在于，所述块合并层中的执行步骤包括：将输入块连接在一起，使得图像的分辨率被下采样2倍，同时特征维度增加4倍，得到连接特征；利用线性层将所述连接特征的特征维度统一为所述输入块的原始特征维度的2倍，得到块合并层输出的下采样特征。4.根据权利要求2所述的基于U型网络的多目标分割方法，其特征在于，步骤S3包括：S31、将所述编码器输出图像输入到块扩展层进行上采样，得到第一上采样特征；S32、将所述第一上采样特征与所述第三多尺度特征输入到两个连续的上下文转换模块中进行融合，得到第一融合特征；S33、将所述第一融合特征输入到块扩展层进行上采样，得到第二上采样特征；S34、将所述第二上采样特征与所述第二多尺度特征输入到两个连续的上下文转换模块中进行融合，得到第二融合特征；S35、将所述第二融合特征输入到块扩展层进行上采样，得到第三上采样特征；S36、将所述第三上...

【专利技术属性】
技术研发人员：陈睿，阳文斌，肖潇，胡晓鹏，杨俊，
申请(专利权)人：广州市丰海科技股份有限公司，
类型：发明
国别省市：