面向手术图像去烟雾的深度学习方法技术

本发明专利技术提出一种面向手术图像去烟雾的深度学习方法，有效提高手术环境视野的可见性。本方法提出将去烟雾任务划分成合成数据全监督去烟雾和真实数据自监督去烟雾，如图1所示，面向手术图像去烟雾的深度学习方法流程图，利用U

【技术实现步骤摘要】
面向手术图像去烟雾的深度学习方法


[0001]本专利技术涉及一种面向手术图像去烟雾的深度学习方法，属于计算机视觉和医学图像处理领域。

技术介绍

[0002]随着计算机技术的发展，计算机图像处理技术在医学领域应用性不断发展，这为临床医学提供了一种全新的技术支持，运用计算机图像处理方法解决临床医学研究具有重要的意义。在临床微创手术过程中，通常需要借助腹腔镜镜头对病灶区域及周围组织进行拍摄观察，腹腔镜镜头拍摄的画面很容易产生由于病人体内与体外温差、病变组织的烧制等原因所导致的烟雾遮挡的情况。因此，我们提出了面向手术图像去烟雾的深度学习方法，该算法能够去除手术图像中的烟雾，有效提高手术环境视野的可见性。
[0003]目前针对手术图像去烟雾的方法主要包括基于大气模型和深度学习去烟雾方法。基于大气模型去烟雾方法利用大气散射模型建模，将自然图像去烟雾方法应用于腹腔镜手术图像去烟雾，该类方法针对镜头起雾引起的手术视野受阻有较好恢复效果，但对于超声刀、电刀设备对病变组织烧制产生的浓烟效果不明显。深度学习方法在医学图像分析方面已经展现出先进性，通过深度学习方式求解大气散射模型也被提出，此方法使得腹腔镜手术图像去烟雾效果得到提升。但是由于手术视频资源匮乏以及数据集整理工作繁琐等问题，导致图像处理结果缺乏真实标签，去烟雾效果差。
[0004]因此，本专利技术提出一种面向手术图像去烟雾的深度学习方法，主要包括全监督学习模块和自监督学习模块。首先，构建全监督学习模型采用合成数据集进行预训练，学习去烟雾后图像J
s
>、透射率t
s
和烟幕特征图F，并获得预训练模型。然后，利用预训练模型对真实带烟雾图像进行自监督学习，实现网络微调和优化。该方法能够准确估计烟雾模型，实现对真实手术图像的去烟雾，完整恢复图像细节，这为医学研究提供的一种较为先进的临床诊疗辅助手段。

技术实现思路

[0005]本专利技术的目的是设计一种面向手术图像去烟雾的深度学习方法，有效地提高手术环境视野的可见性。
[0006]为了实现上述目的，本方法首先提出一种面向手术图像去烟雾的深度学习方法，主要包括全监督学习模块和自监督学习模块，全监督学习模型采用合成数据集进行预训练，然后利用预训练模型对真实带烟雾图像进行自监督学习，实现网络微调和优化。
[0007]本专利技术包括如下步骤：
[0008](1)截取X个手术视频片段，将其划分为清晰无烟烟雾视频序列V
1_clear
和有烟烟雾视频序列V
2_hazy
，每个视频序列选取N帧图像，对V
1_clear
数据集进行加烟雾处理，设置所加烟烟雾的浓度值α＝{0.25，0.5，0.75，1}，得到V
1_hazy
数据集含有4种不同烟烟雾浓度的图像，将V
1_hazy
标记为“0”，清晰无烟烟雾的标签V
1_clear
标记为“1”；
[0009](2)将数据集V
1_hazy
和V
2_hazy
按照P：1
‑
P(P∈(0，1))划分训练集和测试集；
[0010](3)构建全监督去烟雾模型和自监督去烟雾模型分别训练V
1_hazy
和V
2_hazy
；
[0011](4)分别设计全监督损失函数L
fully
‑
sup
和自监督损失函数L
self
‑
sup
，公式如下所示：
[0012][0013][0014]根据步骤(3)所述的基于U
‑
Net全监督去烟雾模型Net
‑
F与自监督去烟雾模型Net
‑
S，分别包含net_g0，net_g1，net_g2三个子网络，通过三个子网络提取特征图像，包括去烟雾图像J
s
、透射率t
s
和烟幕特征图F，其中A
s
∈(0，1)表示环境光，表示输出带烟雾图像，不同特征图关系，如公式3所示：
[0015][0016]步骤(4)所述的全监督损失函数(公式1)包含三部分，L
con
表示一致性损失函数：
[0017][0018]其中I、分别为合成带烟雾图像和网络输出结果，分别表示net_g0、net_g1、net_g2的输出结果，*表示矩阵对应点相乘运算，γ
J
、γ
F
分别为损失函数的权重，MSE为平均绝对误差(Mean Squared Error，MSE)；L
rec
表示重建损失函数：
[0019][0020]其中J
gt
表示清晰无烟雾图像；L
TV
表示烟幕先验损失函数：
[0021][0022]D
x
F＝F(x+1，y，c)
‑
F(x，y，c)
ꢀꢀꢀꢀꢀ
(7)
[0023]D
y
F＝F(x，y+1，c)
‑
F(x，y，c)
ꢀꢀꢀꢀꢀ
(8)
[0024]D
c
F＝F(x，y，c+1)
‑
F(x，y，c)
ꢀꢀꢀꢀꢀꢀ
(9)
[0025]其中，x、y、c分别表示图像F中的横坐标、纵坐标和网络通道个数，i为图像F中像素点个数，D
x
、D
y
、D
c
分别表示沿x、y、c求导。
[0026]步骤(4)所述的自监督损失函数(公式2)包含三部分，其中L
t
定义为：
[0027][0028]其中，ε1、ε2分别为常数，γ
t
为权重，mean表示对矩阵中所有元素进行均值运算；定义为：
[0029][0030]其中|
·
|为绝对值运算，γ
F
为权重。
[0031]本专利技术的有益效果是：本专利技术提出一种面向手术图像去烟雾的深度学习方法，有效提高手术环境视野的可见性。本专利技术提出将去烟雾任务划分成合成数据全监督去烟雾和真实数据自监督去烟雾，基于U
‑
Net结构分别设计全监督去烟雾网络和自监督去烟雾网络。首先，构建全监督学习模型采用合成数据集进行预训练，学习去烟雾后图像J
s
、透射率t
s
和烟幕特征图F并获得预训练模型。然后，利用预训练模型对真实带烟雾图像进行自监督学
习，实现网络微调和优化。该方法能够准确估计烟雾模型，实现对真实手术图像的去烟雾，完整恢复图像细节。
[0032]附图简要说明
[0033]图1：面向手术图像去烟雾的深度学习方法框图。
具体实施方式
[0034]获得手术视频数据后，将视频按顺序进行编号，从全部视频中截取X个手术视频片段作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.本发明涉及一种面向手术图像去烟雾的深度学习方法，其特征在于，包括如下步骤：(1)截取X个手术视频片段，将其划分为清晰无烟雾视频序列V
1_clear
和有烟雾视频序列V
2_hazy
，每个视频序列选取N帧图像，对V
1_clear
数据集进行加烟雾处理，设置所加烟雾的浓度值α＝{0.25，0.5，0.75，1}，得到V
1_hazy
数据集含有4种不同烟雾浓度的图像，将V
1_hazy
标记为“0”，清晰无烟雾的标签V
1_clear
标记为“1”；(2)将数据集V
1_hazy
和V
2_hazy
按照P：1
‑
P(P∈(0，1))划分训练集和测试集；(3)构建全监督去烟雾模型和自监督去烟雾模型分别训练V
1_hazy
和V
2_hazy
；(4)分别设计全监督损失函数L
fully
‑
sup
和自监督损失函数L
self
‑
sup
，公式如下所示：，公式如下所示：2.如权利要求1所述一种面向手术图像去烟雾的深度学习方法，其特征在于，根据步骤(3)所述的基于U
‑
Net全监督去烟雾模型Net
‑
F与自监督去烟雾模型Net
‑
S，分别包含net_g0，net_g1，net_g2三个子网络，通过三个子网络提取特征图像，包括去烟雾后图像J
s
、透射率t
s
和烟幕特征图F，其中A
s
∈(0，1)表示环境光，表示输出带烟雾图像，不同特征图关系，...

【专利技术属性】
技术研发人员：王聪聪，赵薪童，宋玉茹，赵萌，张垚，张欣鹏，陈胜勇，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：