基于生成对抗网络的腹腔镜影像除烟方法技术

本发明专利技术提供一种基于生成对抗网络的腹腔镜影像除烟方法，属于计算机视觉技术领域，通过利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量；根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像；本发明专利技术具备鲁棒性，可以嵌入到腹腔镜设备中使用的技术效果。的技术效果。的技术效果。

【技术实现步骤摘要】
基于生成对抗网络的腹腔镜影像除烟方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于生成对抗网络的腹腔镜影像除烟方法。

技术介绍

[0002]由于腹腔镜手术具有感染发生率低、恢复较快和后遗症较少的特点，被广泛应用于各个外科领域。在常规的腹腔镜手术中，利用具有电灼烧功能的高频电刀和超声手术刀进行止血操作，原理为通过加热源直接应用于人体组织，使组织烧焦或碳化以达到止血的目的，具有大大提高腹腔镜手术成功率的效果。但是，使用高频电刀和超声手术刀进行腹腔镜手术仍然存在以下弊端：加热源直接应用于人体组织止血时，会产生大量烟雾，导致腹腔镜手术图像可见度损失；在这种情况下，需要医生停止手术并将手术器械自工作通道中移除，直至腹腔镜手术图像重新恢复可见性。进而导致手术时长加长，医生的工作强度以及决策性失误出现的概率加大。现有的使用医疗器械进行机械排烟的方法，存在不适用于图像引导手术等实时操作场景，且会导致治疗成本的增加的问题。
[0003]在现有技术中，有基于大气散射模型、暗通道先验模型和贝叶斯推理模型的智能除烟方法。其中，大气散射模型是描述朦胧或烟雾图像的最经典模型之一；但是，大气散射模型的条件假设的前提是全局大气光是均匀的，光源距离很远，光线与光线之间是平行的。然而，在腹腔镜手术场景中，烟浓度变化较大且光源靠近人体器官组织，很难预测透射图，导致除烟效果不理想。暗通道先验模型的条件假设是基于图像像素应具有至少一个非常低强度值的颜色通道；但是，在腹腔镜手术场景中，图像中颜色差别较大和光源与组织表面的距离较近进而导致产生镜面反射的问题。贝叶斯推理模型是通过概率图和稀疏字典提出多个先验条件对烟雾图像的颜色和纹理进行建模；但是，在腹腔镜手术场景中，由于烟雾模式复杂且分布不均匀，存在由于图像过度增强而导致图像真实度损失的问题。
[0004]随着图像处理技术和深度学习技术的发展，一些基于深度学习的图像去除烟雾模型被广泛提出，在去除烟雾问题上显示出优异的结果。其中，MoralesP等人提出一种高效的用于自然图像去雾霾处理的全卷积神经网络(CNN)，利用一对编码器
‑
解码器进行大气光和传输图的估计。该方法将有雾图像及其金字塔分解作为输入，然后直接输出无雾图像。Sidorov O等人提出了一种用于腹腔镜图像除烟的基于无监督图像到图像转换的对抗网络 (GAN)架构，并利用图像渲染软件Blender模拟真实烟雾进行配对训练。Chen L等人提出了一种用于腹腔镜烟雾检测和去除的生成协作网络(De
‑
smokeGCN)；在基于生成对抗框架中添加了一个烟雾检测模块，用于检测烟雾的位置和密度并生成烟雾掩膜，这些额外的信息可以改进生成对抗网络的训练过程并获得更好的去烟效果。但是，仍然存在的弊端如下：上述方法虽然在除雾场景中表现良好。但是，与雾相比，烟的分布具有更高的变化（例如，局部性和非均匀性），在腹腔镜图像中利用除雾的方式进行除烟是不合适的。传统除雾方法在除烟时缺乏一定的鲁棒性，现有的网络模型对于恢复图像的细节较差，无法嵌入到腹腔镜设备中使用。
[0005]因此，亟需一种恢复图像细节效果较好的腹腔镜影像除烟方法。

技术实现思路

[0006]本专利技术提供一种基于生成对抗网络的腹腔镜影像除烟方法、系统、电子设备及存储介质，用以克服现有技术中存在的至少一个技术问题。
[0007]为实现上述目的，本专利技术提供一种基于生成对抗网络的腹腔镜影像除烟方法，方法包括：利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，烟雾掩膜图包括烟雾位置信息和烟雾密度信息；将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量；根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。
[0008]进一步，优选的，烟雾去除网络包括双域生成器网络和双域鉴别器网络，将双域生成器网络在对抗网络中与双域鉴别器网络一起被训练；双域生成器网络包括用于生成预测有烟图像的源域生成器和用于生成预测无烟图像的目标域生成器；双域鉴别器网络包括用于区分真实有烟图像和预测有烟图像的源域鉴别器和用于区分真实无烟图像和预测无烟图像的目标域鉴别器。
[0009]进一步，优选的，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量的方法，包括：多级烟雾特征提取器网络包括F1主干网络、F2分支网络和F3分支网络；将待处理的腹腔镜图像样本输入F1主干网络进行特征提取；对待处理的腹腔镜图像样本分别进行2倍下采样和4倍下采样，并分别作为F2分支网络和F3分支网络的输入；利用F2分支网络进行低级烟雾纹理信息特征提取；利用F3分支网络进行高级烟雾语义信息特征提取；根据低级烟雾纹理信息特征和高级烟雾语义信息特征，F1主干网络获取轻烟特征向量和浓烟特征向量。
[0010]进一步，优选的，烟雾掩膜分割网络和烟雾去除网络通过训练集进行训练，训练集的获取方法包括：对腹腔镜手术视频数据集进行标记，获取真实有烟腹腔镜图像和真实无烟腹腔镜图像；利用图像渲染软件Blender对真实无烟腹腔镜图像进行处理，获取真实无烟腹腔镜图像对应的合成有烟腹腔镜图像；将真实有烟腹腔镜图像、真实无烟腹腔镜图像和合成有烟腹腔镜图像形成训练集。
[0011]进一步，优选的，烟雾掩膜分割网络和烟雾去除网络利用损失函数进行训练约束，损失函数通过以下公式实现：
其中，为用于训练对抗网络的对抗损失；为用于训练生成器网络的循环一致性损失，用于训练鉴别器网络的暗通道先验损失，为用于训练烟雾掩膜分割网络的烟雾区域感知损失，为对比度损失，为损失函数超参数。
[0012]进一步，优选的，烟雾区域感知损失通过以下公式实现：其中，其中，N表示图像像素总数，R表示烟雾掩膜分割网络在输入图像中识别的烟雾区域，x表示图像中的索引，和分别表示真实图像和网络输出图像；表示无烟区域中的惩罚权重；表示烟雾区域惩罚权重；且，；，在无烟区域中的惩罚权重为固定值，在有烟区域中，烟雾区域惩罚权重真实烟雾中的强度进行设置。
[0013]进一步，优选的，循环一致性损失通过以下公式实现：其中，为目标域，为源域，，分别为目标域生成器和源域生成器。
[0014]为了解决上述问题，本专利技术还提供一种基于生成对抗网络的腹腔镜影像除烟系统，包括：掩膜生成单元，用于利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，烟雾掩膜图包括烟雾位置信息和烟雾密度信息；特征生成单元，将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行处理，获取轻烟特征和浓烟特征；无烟图像获取单元，用于根据轻烟特征、浓烟特征和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。
[0015]为了解决上述问题，本专利技术还提供一种电子设备，电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的腹腔镜影像除烟方法，其特征在于，包括：利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；其中，所述烟雾掩膜图包括烟雾位置信息和烟雾密度信息；将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用所述多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量；根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。2.如权利要求1所述的基于生成对抗网络的腹腔镜影像除烟方法，其特征在于，所述烟雾去除网络包括双域生成器网络和双域鉴别器网络，将所述双域生成器网络在对抗网络中与所述双域鉴别器网络一起被训练；所述双域生成器网络包括用于生成预测有烟图像的源域生成器和用于生成预测无烟图像的目标域生成器；所述双域鉴别器网络包括用于区分真实有烟图像和预测有烟图像的源域鉴别器和用于区分真实无烟图像和预测无烟图像的目标域鉴别器。3.如权利要求1所述的基于生成对抗网络的腹腔镜影像除烟方法，其特征在于，利用所述多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量的方法，包括：所述多级烟雾特征提取器网络包括F1主干网络、F2分支网络和F3分支网络；将待处理的腹腔镜图像样本输入F1主干网络进行特征提取；对所述待处理的腹腔镜图像样本分别进行2倍下采样和4倍下采样，并分别作为F2分支网络和F3分支网络的输入；利用所述F2分支网络进行低级烟雾纹理信息特征提取；利用所述F3分支网络进行高级烟雾语义信息特征提取；根据所述低级烟雾纹理信息特征和所述高级烟雾语义信息特征，F1主干网络获取轻烟特征向量和浓烟特征向量。4.如权利要求1所述的基于生成对抗网络的腹腔镜影像除烟方法，其特征在于，所述烟雾掩膜分割网络和所述烟雾去除网络通过训练集进行训练，所述训练集的获取方法包括，对腹腔镜手术视频数据集进行标记，获取真实有烟腹腔镜图像和真实无烟腹腔镜图像；利用图像渲染软件Blender对所述真实无烟腹腔镜图像进行处理，获取所述真实无烟腹腔镜图像对应的合成有烟腹腔镜图像；将所述真实有烟腹腔镜图像、真实无烟腹腔镜图像和合成有烟腹腔镜图像形成训练集。5....

【专利技术属性】
技术研发人员：李登旺，洪亭轩，黄浦，田宝龙，辜长明，靳斌，翟翔宇，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：