基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法技术

本发明专利技术为一种基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法，其克服了现有技术中存在的内窥镜手术过程中因环境密闭、可见光激光刀发出的光束功率高而导致的手术视频画面严重过曝的问题，本发明专利技术能够通过基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法，完全消除激光手术视频流中存在的过曝现象。本发明专利技术包括以下步骤：(1)获取黑白光下的内镜视频流并拆帧；(2)对每帧图像进行预处理，包括删除曝光帧和修复高光点；(3)利用彩色视频帧训练对抗神经网络RTGAN；(4)利用训练好的对抗神经网络RTGAN对预处理后的帧进行实时着色；(5)将RTGAN还原后的彩色视频帧合成正常的手术视频流。流。流。

【技术实现步骤摘要】
基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法


[0001]本专利技术属于内窥镜成像
，涉及一种基于对抗神经网络RTGAN的内 窥镜下曝光帧修复方法。

技术介绍

[0002]随着内窥镜成像系统的不断发展，由传统的硬式内窥镜发展出了新式的软 式内窥镜，这使得内窥镜的应用场景进一步扩大、使用方式也更加灵活；与此 同时，激光技术被应用于内窥镜治疗中，并逐渐成为内窥镜治疗的重要手段之 一。在激光手术中，由于激光刀工作时会发出高能量可见光，使得内窥镜成像 画面出现严重的过曝现象，且软性内窥镜无法像硬式内窥镜一样安装滤光片， 因此，医生在对病人病灶进行激光时必然会出现一小段不可视的时间，这将是 导致手术发生意外的重要隐患之一。
[0003]现有的技术中也有对曝光图像进行检测和修复的方法，主要分为两种：基 于物理的方法和基于算法的方法。基于物理的方法通常根据图像中视野区域的 亮度信息自动调整内窥镜曝光参数，该方法通过一个反馈机制来调节内窥镜前 端镜头的物距和/或焦距，以使前端镜头获得的视野区域稳定，该方法看起来合 情合理，但在实践中这一反馈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法，其特征在于，包括以下步骤：步骤一：将内窥镜成像模式改为黑白模式，获取到黑白光下的内窥镜视频流，以帧间直方图差异删除曝光帧，以快速行进算法修复高光点；步骤二：利用内窥镜成像模式为彩色时所采集到的视频流对RTGAN着色网络进行训练：首先对采集到的彩色视频流进行拆帧，并进行步骤一中的预处理操作，包括曝光帧删除和高光点修复；将预处理后的彩色帧和彩色帧所对应的黑白帧作为RTGAN的输入训练模型，直到模型训练达到停止条件为止；步骤三：所述着色网络RTGAN由生成器和判别器组成；生成器以残差模块级联的结构作为主干，引入跨步卷积学习自身的空间上采样；步骤四：使用训练好的RTGAN中的生成器对步骤一中预处理后的黑白图像帧进行实时着色，并将着色后的彩色视频帧合成正常的手术视频流。2.根据权利要求1所述的一种基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法，其特征在于：所述步骤一中图像预处理的方法，包括删除曝光帧和修复高光点的操作，具体方法如下：(1)以帧间直方图差异删除曝光帧的步骤是：在黑白图像序列中，取曝光开始的前一帧作为正常帧，计算该帧的亮度均值T，则T即为曝光阈值；在黑白图像序列中，计算其余帧的亮度均值X1、X2、X3、。。。Xn；若第i帧图像的亮度均值Xi>T，则算法判定该帧为过曝帧并将其丢弃，后采用其前一帧的复制帧来填补该帧；其中，曝光是否开始通过物理信号或算法计算得到；(2)以快速行进算法修复高光点的步骤是：设高光阈值为S，初始化一个与视频帧同大小的掩膜零矩阵M；以S为阈值，对图像中每一个像素点进行亮度划分，大于S的像素将其在M中对应位置的数值置为1，否则为0；经阈值分割得到掩膜M，掩膜M中数值为1的位置即为需要修复的高光区域；设待修补像素为p，u(i)表示像素i的灰度值，规定B
e
(p)为P周围一个大小为e的邻域，B
e
(p)中像素的q对p的贡献u
q
(p)定义为：其中，表示q的梯度值，则待修复P的灰度值计算公式如下：其中，B
e
(p)为P的8邻域，权值w(p，q)则使用下式求得：w(p，q)＝dir(p，q)
·
dsq(p，q)
·
lev(p，q)W(*)表示权值函数，是用来限定邻域中各像素的贡献大小；dir(*)为方向因子；dst(*)为几何距离因子，lev(*)为水平集距离因子。3.根据权利要求1所述的基于对抗...

【专利技术属性】
技术研发人员：潘晓英，贺琪琪，廉佳，王昊，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：