针对散射场景下的图像分割方法技术

本发明专利技术涉及一种针对散射场景下的图像分割方法，属于散射成像的技术领域，包括构建两步式算法和端到端算法，将散斑数据经过预处理后送进神经网络中学习，实现了散射场景下的图像分割。本发明专利技术基于散斑相关成像原理和多通道卷积神经网络强大的数据挖掘能力和映射能力的有效结合，应对散射场景下的目标实现了图像分割，扩宽了抗散射成像的应用领域。针对散射场景下的分割任务，有效提高了重建目标与原始目标结构之间的交并比。该方法充分挖掘散斑信息特征，应对复杂散射场景能够有效分割出物体信息，同时也为透过生物组织的图像分割技术提供了参考。供了参考。供了参考。

【技术实现步骤摘要】
针对散射场景下的图像分割方法


[0001]本专利技术涉及一种针对散射场景下的图像分割方法，属于散射成像的


技术介绍

[0002]当介质均匀时，光在其中能够沿直线传播，传统的成像原理即可实现成像。但是在一些复杂介质中，例如雾霾分子、水汽分子，烟雾分子等物质中，光线的传播方向充满了随机性。光在这类散射介质中传播时，会与介质中的粒子相互作用，导致光的传播方向变得随机不定，我们在观测时只能捕获到斑点样的散斑图样。散射现象的存在，使得获取位于散射介质后的目标信息难度增加，给我们的生活带来各种各样的阻碍。像雾霾天时会给出行人员带来不便、火灾救援中的浓烟会延误救援时间、空中作战时云层会影响观察员的视野、海面上的水汽会影响船员判断方向、生物组织会影响给医护人员的诊断等等。因此，透过散射介质对其后面的物体进行成像是非常有必要的，这不仅关系到我们的日常生活，也和医疗、军事等行业息息相关。为了解决散射现象带来的一系列问题，近年来研究学者们进行了各种探索和尝试，在抗散射成像领域获得了诸多成果。然而现有的大多数抗散射重建方法都是针对结构简单，细节相对不丰富的目标进行成像。在实际医疗应用中，很多时候都需要透过生物组织对体内器官进行成像，生物组织作为散射介质的一种，光线在穿过生物组织时不满足沿直线传播规律，发生了散射现象，探测器只能记录到杂乱无章的散斑图案。医疗观察中的目标往往结构复杂且位置分布随机，目标尺寸不固定，此时难以进行高质量抗散射重建。
[0003]图像分割是计算机视觉中常见的一种方法，在图像处理领域发挥着重要作用。图像分割是根据图像中不同的亮度、色彩、几何形状等信息，将图像进行区域划分，相似性极高的区域被划分为同类，不同区域之间则存在差异性，以此实现目标与背景的区分。图像分割作为医学观察领域的基础方法，能够为后续的医疗诊断提供重要依据。比如静脉穿刺时，通过图像分割方法实现静脉形状成像，可以有效增加医护人员对静脉位置的判断。利用图像分割进行医学成像，不仅可以帮助医生更准确地判断病情，而且还能减少患者疼痛，具有良好的发展前景。
[0004]现有的大多数图像分割算法都是针对理想成像情况，能够清楚地获取物体形貌，从而实现分割。然而在实际医疗应用中，很多时候都需要透过生物组织对体内器官进行图像分割。生物组织作为散射介质的一种，光线在穿过生物组织时不满足沿直线传播规律，发生了散射现象。由于散射的存在，探测器只能记录到杂乱无章的散斑图案，此时进行图像分割变得尤为困难。

技术实现思路

[0005]为了解决上述技术问题，提高透过生物组织观察复杂目标的成像质量，本专利技术提出了基于散斑相关物理先验的针对散射场景下的图像分割方法，实现对隐藏目标结构信息的高精度复原，同时该方法对散射成像系统的扰动也具有较好的抗干扰能力。其具体技术
方案如下：针对散射场景下的图像分割方法，包括以下步骤步骤1：数据增广过程：将部分COCO数据集，经过随机剪裁、水平翻转、左右翻转、随机平移进行数据增广，扩大数据量，得到增广后的数据集；步骤2：数据预处理：搭建散射光学实验系统，采集散斑数据，为了提高网络对散斑特征的捕捉能力，对散斑作自相关运算，将自相关运算结果作为两步式算法与端到端算法的输入数据；步骤3：两步式算法过程：第一步先进行抗散射成像模型训练，将得到的散斑自相关图像与原始目标图像，对应送到抗散射重建算法U
‑
Net中进行训练；第二步进行图像分割算法模型训练，将经过抗散射成像模型训练的结果数据作为图像分割算法ERFNet的输入，与其对应的label数据共同送进网络进行训练；步骤4：端到端算法过程：端到端算法直接将散斑图像的自相关运算结果作为输入数据，使用有效捕捉散斑特征的图像分割模型ERFNet进行训练。
[0006]进一步的，所述步骤2中通过二维傅里叶反变换求出散斑自相关运算，具体公式为：其中，R(x，y)为散斑图像自相关，I(x，y)为散斑图像光强信息，FT为二维傅里叶变换，FT
‑1为二维傅里叶反变换，
★
表示自相关运算符。
[0007]进一步的，所述步骤3中，第一步使用有利于后续图像分割的抗散射成像网络模型U
‑
Net进行训练，抗散射成像网络包括编码部分和解码部分，且对应的上采样卷积层和下采样卷积层之间加入跳层连接，卷积层包括3*3二维卷积层、BN层和RELU激活层。
[0008]进一步的，所述步骤3中，抗散射成像网络模型U
‑
Net选用Adam作为优化器进行抗散射成像网络U
‑
Net的训练，并使用NPCC和MSE计算损失，提高对网络的约束。
[0009]进一步的，所述步骤3中，第二步使用图像分割模型ERFNet进行训练，网络包括3个下采样卷积层和3个上采样卷积层，且使用残差分解块来提高精度。
[0010]进一步的，所述步骤3中，第二步使用的图像分割模型ERFNet采用CrossEntropyLoss2d作为代价函数对学习网络进行约束和优化，以提高图像分割质量。
[0011]进一步的，所述步骤4中，直接使用能够有效捕捉散射特征的图像分割算法ERFNet进行训练，将散斑的自相关图像与其对应的label共同作为输入，为了提高前景与背景分割效果，将前景类别设为0，背景类别为1。
[0012]本专利技术的有益效果是：本专利技术在抗散射成像原理基础上，结合数据驱动方法，设计了一种基于散射物理模型的图像分割方法，有效提高了散射场景下对隐藏目标结构的成像质量。提出了两步式与端到端两种算法模型，皆可以实现对原始目标的图像分割，交并比高达91.7%以上。在两步式算法中利用多尺度特征融合，将更多的语义信息引入低级特征，弥补了抗散射重建网络提取的低级特征与高级特征之间的差距，增强了抗散射重建网络对散斑信息的特征捕捉；在端到端算法中，利用散斑自相关作为物理先验，提高了散射场景下的图像分割质量。
附图说明
[0013]图1是本专利技术的整体框架示意图，其中:(a)为数据增广过程示意图，(b)为散射过程示意图，(c)为两步式方法示意图，(d)为端到端方法示意图，图2是本专利技术的抗散射成像模型U
‑
Net示意图，图3是本专利技术的图像分割模型ERFNet示意图，图4是本专利技术的实验过程中部分数据示意图，其中: (a)为原始目标，(b)为采集的散斑数据，(c)为散斑的自相关结果，图5为本专利技术的两步式算法结果图，其中:(a)为原始目标，(b)为抗散射重建算法重建结果，(c)为图像分割结果，(d)为原始标签，图6为本专利技术的端到端算法结果图，其中:(a)为图像分割结果，(b)为原始标签，图7为本专利技术的不同训练集数据量下两步式中的抗散射重建算法重建结果图，其中：(a)为原始目标，(b)为抗散射重建算法重建结果图8为本专利技术的不同训练数据集数据量下两步式中的抗散射重建算法重建结果的平均SSIM和 PSNR指标曲线图，其中：(a)为SSIM指标曲线图，(b)为PSNR指标曲线图，图9为本专利技术的不同训练集数据量下两步式与端到端算法图像分割结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.针对散射场景下的图像分割方法，其特征在于：包括以下步骤步骤1：数据增广过程：将部分COCO数据集，经过随机剪裁、水平翻转、左右翻转、随机平移进行数据增广，扩大数据量，得到增广后的数据集；步骤2：数据预处理：搭建散射光学实验系统，采集散斑数据，为了提高网络对散斑特征的捕捉能力，对散斑作自相关运算，将自相关运算结果作为两步式算法与端到端算法的输入数据；步骤3：两步式算法过程：第一步先进行抗散射成像模型训练，将得到的散斑自相关图像与原始目标图像，对应送到抗散射重建算法U
‑
Net中进行训练；第二步进行图像分割算法模型训练，将经过抗散射成像模型训练的结果数据作为图像分割算法ERFNet的输入，与其对应的label数据共同送进网络进行训练；步骤4：端到端算法过程：端到端算法直接将散斑图像的自相关运算结果作为输入数据，使用有效捕捉散斑特征的图像分割模型ERFNet进行训练。2.根据权利要求1所述的针对散射场景下的图像分割方法，其特征在于：所述步骤2中通过二维傅里叶反变换求出散斑自相关运算，具体公式为：其中，R(x ，y)为散斑图像自相关，I(x ，y)为散斑图像光强信息，FT为二维傅里叶变换，FT
‑1为二维傅里叶反变换，
★
表示自相关运算符。3.根据权利要求1所述的针对散射场景下的图像分割方法，其特征在于：...

【专利技术属性】
技术研发人员：柏连发，鹿耀月，韩静，郭恩来，张毅，赵壮，朱硕，师瑛杰，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：