【技术实现步骤摘要】
本专利技术是集成二维最优分割的三维图像分割方法，属于图像分割领域。
技术介绍
1、图像分割是图像处理中的一项关键技术，也是一道难题，计算机视觉领域深度网络的兴起为经典图像处理技术表现不佳的问题提供了最先进的解决方案。在图像识别的任务中，包括目标检测、图像分类和分割、活动识别等问题，可以很容易地通过使用深度神经网络(英文全称，dnn)取得卓越的性能。其中，三维图像分割是计算机视觉中的一个基本且具有挑战性的问题，在自动驾驶、机器人、增强现实和医学图像分析等领域有着广泛的应用，它受到了计算机视觉、图形和机器学习社区的极大关注。
2、传统，三维图像分割主要通过人工设计的特征和工程方法进行，人工设计特征容易受到研究者的主观影响，导致精度较差，并且无法推广到大规模数据上。在二维计算机视觉巨大成功的推动下，深度学习技术也成为三维分割任务的首选。近年来，三维分割图像领域中涌现出大量相关工作，并且已经在不同的基准数据集上进行了评估，使用深度学习技术的三维分割取得了重大进展。然而，这仅仅是一个开始，重要的发展以及出现的问题正摆在面前，一些悬而未决的问题如下所述：图像分割是对原始图像中的鉴别性区域进行分割，但是，基于原始图像是三维的，三维层面做分割存在以下限制：(1)标记三维数据要比标记二维数据难得多，这会导致深度学习模型由于过拟合而失败；(2)此外，三维模型复杂度比二维模型高，超参数要更多，收敛速度更慢，内存需求更大。因此，本专利技术提出了将三维图像转到二维层面的方法，将三维图像分割问题分解为多张二维图像分割问题，通过将多张二维层面最优
3、现有的二维图像分割研究包括两个方向：传统的无监督分割方法和深度学习方法。
4、传统的无监督分割方法方面，fan等人[1]通过二维小波边缘高亮的技术定位到图像区域，且基于二维灰度阈值的最小误差法能够更好地抑制噪声，使用该方法来进行灰度图像的分割。传统的分割方法有先验知识的指导，可用于鉴别性区域的分割，能解决某些特定场景的、可人工定义、设计、理解的图像任务，并且效果好，可解释性更强，性能更好。但是，传统的分割方法主要依赖于人工预定义特征设计的特征提取器，需要有专业知识及复杂的调参过程，每个方法都是针对具体的图像类别应用，泛化能力及鲁棒性较差。
5、深度学习分割方法方面，issam等人[2]基于点级注释便于标记切片的优点，在标记为点级监督的分割数据集上将基于一致性(cb)的损失函数应用到弱监督模型下进行训练，并使用弱监督语义分割的自我监督方法，通过鼓励输出预测与输入图像的空间转换保持一致得到最终的分割结果。yang等人[3]引入了基于生成对抗网络的框架，从异常切片中生成外观正常的切片，并通过特征匹配的策略引导生成器获取正常图像的纹理来提高生成图像的真实性，最后从生成器的输入中减去输出的正常图像来获得所需的鉴别性区域定位图。深度学习的分割方法基于有效的监督信息，用于鉴别性区域的分割。该方法效果优异，且无需复杂的调参过程。根据大量样本的学习能够得到深层的、数据集特定的特征表示，其对数据集的表达更高效和准确，所提取的抽象特征鲁棒性更强，泛化能力更好，并且可以是端到端的。但是，深度学习图像分割方法仍具有以下限制：(1)二维图像分割需要大量的像素级别标签，由于像素级标签的标注费时费力，而且获得高质量、带注释的数据的途径往往有限，无法满足深度学习数据驱动的要求；(2)数据驱动的深度学习模型取决于不同的训练集，每训练一次都需要大量的数据标注，样本集对模型的影响较大，对于算力的要求较高，数据标注成本消耗大。
6、以上两种方法均可以在一定程度上分割鉴别性区域，但是都存在优缺点。目前，针对像素级别标签收集费时又费力的问题，弱监督语义分割(仅需要图像级别信息)提供了一种新的解决方案。例如，通过图像级别标签、边界框标注生成的伪标签，就可以达到与全监督方法相当的分割性能。其中，类激活映射图(class activation mapping,cam)是一种通过图像分类结果来定位显著目标的有效策略。通过简单地将类激活映射上采样到输入图像的大小，可以识别与特定类别最相关的图像区域。此外，类激活映射便于在任何给定图像上可视化预测的类别概率，突出显示深度学习模型所检测到的最具鉴别性的对象部分。经过分类训练的深度学习模型可以学习执行对象的定位，而无需使用任何边界框注释。然而，类激活映射方法通常具有两方面问题：一是目标激活不足，即仅覆盖对象的最有区别的部分；二是背景激活过度，指激活了背景区域，导致激活不正确。因此，在二维图像分割层面，本专利技术首先采用弱监督方法来缓解像素级别标签难以获得的问题。其次，本方法充分考虑了传统无监督方法具有先验知识指导的优势，最终结合两种方法将二者获得的鉴别性区域进行充分融合、优势互补，可以弥补上述类激活映射两个问题的缺点，获得二维层面的最优分割结果。
7、由此，本专利技术提出了一种集成二维最优分割的三维图像分割方法。针对原始的三维图像，首先将其转到二维层面以便于鉴别性区域的分割；然后充分利用传统无监督方法和弱监督语义分割的优势，将传统方法生成的分割掩膜和深度学习方法得到的cam图充分融合，在二维层面实现最优分割。最后，由上述步骤得到的二维层面最优分割的鉴别性区域作为过渡，将三个方向上的鉴别性区域通过函数g聚合起来，将二维最优分割集成到三维层面，达到三维分割的效果。
8、参考文献：
9、[1]fan j,&lei b.two-dimensional extension of minimum error thresholdsegmentation method for gray-level images[j].acta automatic sinica,2009,35(4):386-393.
10、[2]laradji i,rodriguez p,manas o,et al.a weakly supervisedconsistency-based learning method for covid-19segmentation in ct images[j].2020.
11、[3]yang z,zhao l,wu s,et al.lung lesion localization of covid-19fromchest ct image:anovel weakly supervised learning method[j].ieee journal ofbiomedical and health informatics,2021,pp(99):1-1.doi:10.1109/jbhi.2021.3067465.
技术实现思路
1、针对三维图像的分割复杂、二维图像分割像素级别标签难以获得的问题，本专利技术提出了一种集成二维最优分割的三维图像分割方法。在弱监督图像分割层面，本专利技术利用图像级别标本文档来自技高网...
【技术保护点】
1.一种集成二维最优分割的三维图像分割方法，其特征在于包括以下步骤：
【技术特征摘要】
1.一种集成二维最优分割的三维图像...
【专利技术属性】
技术研发人员：李建强，周琰涛，赵琳娜，徐曦，刘素芹，高正凯，夏锐禹，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。