【技术实现步骤摘要】
本专利技术涉及医学图像处理，尤其涉及一种基于条件扩散模型的腹腔镜影像除烟方法、系统及设备。
技术介绍
1、在腹腔镜手术中，使用具有电烧灼功能的器械可以降低出血的风险，其中加热源直接应用于组织进行解剖，在腹腔镜手术中医生往往使用电刀、超声刀、双极电凝等特殊的材料经过高温灼烧来进行手术止血操作。腹腔镜手术与传统手术相比，具有创伤小、术后恢复快、腹部切口瘢痕小等优点，但是，在此期间往往会产生大量的烟雾，一般来说，手术烟雾是在腹腔镜手术中烧伤和切割组织时产生的，烟雾不仅对病人和外科医生有害，而且还会降低手术效果。
2、目前，去除手术过程产生烟雾的方法主要分为两种，分别为基于机械的方法和基于图像处理的方法。在手术过程中，医生往往使用吸力装置和使用防雾化液擦拭腹腔镜镜头来达到去除烟雾的目的，但是使用传统的机械方式去除烟雾会使得手术的周期性中断，降低手术的效率；基于图像处理的去除烟雾方法包括传统算法和深度学习的算法，在传统的去除图像烟雾任务中，一些基于先验的物理模型被广泛的研究和应用，常见的用于去除烟雾任务的物理模型包括大气散射模型、暗通道先验、色线先验、梯度通道先验等。
3、传统模型大多适用于除雾任务，而腹腔镜手术产生的烟雾于自然中产生的烟雾有较大区别，手术中产生的烟雾大多具有非均匀性和较强的可变性，因此传统单一模型无法完全适用于手术除烟任务，而由于手术图像中复杂的结构和复杂的纹理信息，就要求了用于腹腔镜除烟任务的模型要具有强大的学习能力。因此，本申请提出了一种基于条件扩散模型的腹腔镜影像除烟方法、系统及设备。>
技术实现思路
1、本专利技术针对现有技术的不足，提供一种基于条件扩散模型的腹腔镜影像除烟方法、系统及设备，该专利技术算法嵌入到腹腔镜设备中，可以解决腹腔镜在手术过程中由于烟雾干扰而导致视野模糊的问题。
2、本专利技术解决技术问题的技术方案为：
3、本专利技术提供了一种基于条件扩散模型的腹腔镜影像除烟方法，具体步骤如下：
4、1）将腹腔镜手术的视频按帧数分割，组成图片形式的数据集，对得到的腹腔镜无烟图像进行烟雾渲染，合成配对的有烟图像，得到包含无烟图像和有烟图像的合成数据集；
5、2）将无烟图像输入到条件扩散模型进行正向加噪，通过不断添加噪声直到无烟图像完全噪声化，得到一系列的带噪图像；
6、3）将有烟图像输入到烟雾感知模块得到烟雾的浓度和位置信息，然后通过一系列的带噪图像来训练神经网络，再用训练后的神经网络进行反向去噪，不断对步骤2）中得到的完全噪声图像进行反向去噪操作，直到输出清晰的无烟图像；
7、4）通过多损失函数融合策略对除烟模型进行优化，采用跳过采样策略来加速模型生成去烟后的图像。
8、步骤1）的具体操作为：将腹腔镜手术的视频数据集按帧数分割，组成图片形式的数据集，采用blender渲染软件，在切片得到的腹腔镜无烟图像中进行烟雾渲染，合成配对的有烟图像，合成的有烟图像分为三种不同级别浓度的烟雾图像，分别为轻度烟雾图像，中度烟雾图像和重度烟雾图像，最后得到无烟图像和合成的有烟图像。
9、步骤2）的具体操作为：将腹腔镜拍摄到的无烟图像输入条件扩散模型进行正向加噪操作，添加的噪声方差为，加噪过程遵循马尔科夫链，加噪后的图像记作，对输入的无烟图像进行 t次加噪直到无烟图像完全噪声化，得到一些系列的带噪图像，表示进行第次加噪得到的噪声图像，表示进行第次加噪得到的噪声图像；
10、正向加噪过程公式如下：
11、，
12、其中，表示噪声，表示标准正态高斯分布，表示单位矩阵，表示进行第次加噪得到的噪声图像。
13、步骤3）中的具体操作为：将合成数据集中的有烟图像输入到烟雾感知模块，得到烟雾掩膜信息和暗通道dcp信息；然后将步骤2）中的一系列的带噪图像作为标签来进行反向训练，每个标签的反向训练过程都通过一个添加特征频率补偿模块fcb的u-net网络，共同完成对u-net网络的训练，指导图像与一系列的带噪图像一同作为反向训练的输入对u-net网络进行训练，指导图像包括合成数据集中的无烟图像和合成的有烟图像；最后用训练后的神经网络进行反向去噪，烟雾掩膜信息和暗通道信息作为指导反向去噪过程的条件信息，不断对输入的步骤2）中最终得到的完全噪声图像进行去噪操作，直到得到清晰的腹腔镜无烟图像。
14、烟雾感知模块包括烟雾掩膜分割模块和暗通道先验模块，分别对输入的有烟图像进行烟雾的分割和烟雾浓度信息的提取；
15、暗通道先验模块中的暗通道通过在r、g、b三个通道中取最小值组成灰度图，再进行一个最小值滤波得到，然后网络通过暗通道先验获取烟雾图像中的烟雾分布情况和浓度信息，得到的烟雾信息作为条件信息用来引导扩散模型中的反向去噪操作生成相关的无烟图像；
16、相关计算公式为：
17、，
18、，
19、，
20、其中，表示通道注意力，表示空间注意力，表示深度特征， 表示sigmoid 激活函数，表示平均池化，表示最大池化，表示激活函数， 表示 滤波器的卷积运算， 表示特征图的连接， 表示元素相乘，表示特征图。
21、特征频率补偿模块fcb由多个卷积滤波器组成，通过滤波器的带宽覆盖网络捕捉不通范围的频率，特征频率补偿模块fcb的计算为：
22、，
23、其中，表示均值为，大小为的二维高斯核，表示输入的特征值，表示经过二维高斯核的卷积输出，选择四个大小分别为3，5，7，9的高斯核进行滤波，对两个高斯核做差之后得到滤波器，用公式计算表示为：
24、，
25、其中，表示经过滤波器后的输出，表示经过大小为9高斯核过滤后的频率信息，表示经过大小为7高斯核过滤后的频率信息，表示经过大小为5高斯核过滤后的频率信息，表示经过大小为3高斯核过滤后的频率信息；
26、然后通过选择不同的高斯核实现不同频带的滤波，经过加权汇总如下：
27、，
28、其中，表示可训练学习的权重，表示经过加权汇总后的输出。
29、步骤4）的具体操作为：
30、损失公式为：
31、，
32、其中，表示平均绝对误差，表示所训练的神经网络，表示输入的作为条件信息的有烟图像、烟雾掩膜图像和烟雾密度图像，表示服从正态高斯分布的噪声，表示第个加噪后的噪声图像， n表示输入图像像素的总和，表示加权平均操作，表示包含噪声的无烟图像；
33、暗通道损失公式为：
34、，
35、其中，和表示暗通道先验，表示输入图像中的一个像素点， n表示输入图像像素的总和，输入图像指输入的作为条件信息的有烟图像、烟雾掩膜图像和烟雾密度图像；
36、对比度增强本文档来自技高网...
【技术保护点】
1.一种基于条件扩散模型的腹腔镜影像除烟方法，其特征是，包括以下步骤：
2.根据权利要求1所述的基于条件扩散模型的腹腔镜影像除烟方法，其特征是：步骤1）的具体操作为：将腹腔镜手术的视频数据集按帧数分割，组成图片形式的数据集，采用Blender渲染软件，在切片得到的腹腔镜无烟图像中进行烟雾渲染，合成配对的有烟图像，合成的有烟图像分为三种不同级别浓度的烟雾图像，分别为轻度烟雾图像，中度烟雾图像和重度烟雾图像，最后得到无烟图像和合成的有烟图像。
3.根据权利要求2所述的基于条件扩散模型的腹腔镜影像除烟方法，其特征是：步骤2）的具体操作为：将腹腔镜拍摄到的无烟图像输入条件扩散模型进行正向加噪操作，添加的噪声方差为，加噪过程遵循马尔科夫链，加噪后的图像记作，对输入的无烟图像进行T次加噪直到无烟图像完全噪声化，得到一些系列的带噪图像，表示进行第次加噪得到的噪声图像，表示进行第次加噪得到的噪声图像；
4.根据权利要求3所述的基于条件扩散模型的腹腔镜影像除烟方法，其特征是：步骤3）中的具体操作为：将合成数据集中的有烟图像输入到烟雾感知模块，得到烟雾掩膜信息和暗
5.根据权利要求4所述的基于条件扩散模型的腹腔镜影像除烟方法，其特征是：烟雾感知模块包括烟雾掩膜分割模块和暗通道先验模块，分别对输入的有烟图像进行烟雾的分割和烟雾浓度信息的提取；
6.根据权利要求4所述的基于条件扩散模型的腹腔镜影像除烟方法，其特征是：特征频率补偿模块FCB由多个卷积滤波器组成，通过滤波器的带宽覆盖网络捕捉不通范围的频率，特征频率补偿模块FCB的计算为：
7.根据权利要求4所述的基于条件扩散模型的腹腔镜影像除烟方法，其特征是：步骤4）的具体操作为：
8.一种基于条件扩散模型的腹腔镜影像除烟的系统，其特征是，包括用于执行权利要求1-7任意一项权利要求所述的基于条件扩散模型的腹腔镜影像除烟方法中各个步骤的处理指令模块。
9.一种基于条件扩散模型的腹腔镜影像除烟的电子设备，包括处理器和存储有计算机程序的存储器，其特征是，所述处理器执行所述计算机程序时实现权利要求1-7任意一项权利要求所述基于条件扩散模型的腹腔镜影像除烟方法的步骤。
...【技术特征摘要】
1.一种基于条件扩散模型的腹腔镜影像除烟方法，其特征是，包括以下步骤：
2.根据权利要求1所述的基于条件扩散模型的腹腔镜影像除烟方法，其特征是：步骤1）的具体操作为：将腹腔镜手术的视频数据集按帧数分割，组成图片形式的数据集，采用blender渲染软件，在切片得到的腹腔镜无烟图像中进行烟雾渲染，合成配对的有烟图像，合成的有烟图像分为三种不同级别浓度的烟雾图像，分别为轻度烟雾图像，中度烟雾图像和重度烟雾图像，最后得到无烟图像和合成的有烟图像。
3.根据权利要求2所述的基于条件扩散模型的腹腔镜影像除烟方法，其特征是：步骤2）的具体操作为：将腹腔镜拍摄到的无烟图像输入条件扩散模型进行正向加噪操作，添加的噪声方差为，加噪过程遵循马尔科夫链，加噪后的图像记作，对输入的无烟图像进行t次加噪直到无烟图像完全噪声化，得到一些系列的带噪图像，表示进行第次加噪得到的噪声图像，表示进行第次加噪得到的噪声图像；
4.根据权利要求3所述的基于条件扩散模型的腹腔镜影像除烟方法，其特征是：步骤3）中的具体操作为：将合成数据集中的有烟图像输入到烟雾感知模块，得到烟雾掩膜信息和暗通道dcp信息；然后将步骤2）中的一系列的带噪图像作为标签来进行反向训练，每个标签的反向训练过程都通过一个添加特征频率补偿模块fcb的u-net网络，共同完成对u-net网络的训练，指导图像与一系列的带噪...
【专利技术属性】
技术研发人员：李登旺，李浩，黄浦，靳斌，翟翔宇，薛洁，田宝龙，辜长明，洪亭轩，张广鑫，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。