一种激光刀手术黑白模式视频上色方法和系统技术方案

本发明专利技术涉及一种激光刀手术黑白模式视频上色方法和系统，包括：1)采集医学内窥镜手术彩色视频，选取关键帧彩色图像转换为原始分辨率的关键帧灰度图像，制作视频上色样本库；2)构建并训练网络模型，得到预训练上色图像；3)计算预训练上色图像与手术彩色图像之间的损失，得到损失函数；4)优化网络模型：5)实时采集激光刀手术中的黑白模式视频，再将黑白图像依次输入网络模型，得到的低分辨率上色图像与原始分辨率灰度图像依次进行HSI融合得到彩色视频。本发明专利技术解决了内窥镜下激光刀工作时画面曝光异常的技术问题，具有计算量少、内存消耗小、模型色彩恢复速度快的效果。模型色彩恢复速度快的效果。模型色彩恢复速度快的效果。

【技术实现步骤摘要】
一种激光刀手术黑白模式视频上色方法和系统


[0001]本专利技术属于激光刀手术黑白模式视频色彩恢复、医工结合领域，特别是涉及一种基于对抗神经网络的激光刀手术黑白模式视频上色方法和系统。

技术介绍

[0002]随着人口老龄化和社会、环境等因素变化，人类各种腔道器官(包括泌尿道、消化道、女性生殖道、鼻咽喉道、呼吸道)癌症、息肉、慢性炎症等发病率呈现持续上升趋势，早发现、早治疗是有望治愈该类病患，特别是各种早期癌症的共识。虽然上述各类腔道器官早期癌症治疗方法大都已进入微创时代，但是电外科器械(电刀)目前依然是医生手上的主流武器。总体来讲，由于电刀普遍存在切割精准度低、手术副损伤大、技术要求高等问题，这限制了绝大多数微创技术面向广大县域医疗机构的推广应用，不能很好地服务多数普通百姓患者。以奥林巴斯公司为代表研发的内镜黏膜下剥离术(ESD)系统虽已广泛应用于消化道即食管、胃、结肠早癌的微创治疗，但相关微创器械的设计仅适配消化内镜，无法配合其他腔道疾病的微创设备使用，昂贵的设备和耗材价格也使基层医疗机构和普通患者望而却步。
[0003]而激光刀在部分疾病治疗中显示出切割效率高、出血少、副损伤小等明显优势正在不断取代传统的手术器械。目前市场上最具代表性的激光能量平台都是可见光激光和近红外光激光，可以达到减少组织热损伤、术后快速康复的目的。但这些设备无论进口还是国产(核心技术大都源自国外)都普遍存在价格昂贵、设备笨重、工作噪音大等缺点，严重影响其在广大基层医院的推广应用。
[0004]更为遗憾的是，目前市场上的几乎所有激光能量平台，都不是真正意义上的适用于人类各种腔道器官浅表疾病(如早期癌症、息肉、慢性炎症等)的微创激光手术系统。日本科学家中村修二等于上世纪九十年代初创造性地专利技术了半导体蓝光LED和蓝色半导体激光，填补了没有蓝色半导体激光的空白。此后，该技术及其相关产品已先后应用于照明、显示、投影、通信、探测、传感与武器制造等工业领域，为科技进步和社会发展做出了巨大贡献，并于2014年荣获诺贝尔物理学奖。结合蓝激光光子能量高的生物物理特性，在攻克若干核心技术的基础上，创新研制出专用于各种腔道器官浅表软组织汽化切割精准高效、止血可靠、组织热穿透适度的蓝激光手术系统。开发出可适配软性电子内窥镜的实时成像转录系统，拓展其在其它腔道器官病损(例如消化道早癌)手术治疗中的应用。
[0005]然而，在激光刀手术中，内窥镜的镜头会过度曝光，因为强大的激光是如此明亮。对于传统的内窥镜，我们可以使用激光脉冲手术刀来解决这个问题。我们使用激光脉冲来进行手术，在激光脉冲间歇，由于没有激光的影响，相机可以正常工作获得正常的手术画面。再利用获得的正常图像恢复出激光脉冲工作时的画面，从而得到正常的没有激光的手术视频。但是在一些内窥镜情况下，即使激光刀工作的时间很短，使用的彩色相机的画面仍然是曝光的，无法获得有效的画面。但是当相机处于黑白模式时，适当缩短激光脉冲的工作时间的情况下，相机能够拍摄获得正常有效的工作画面，从而能恢复正常的没有激光的手术视频。但是在黑白模式下面，激光工作间隙，会有正常画面出现。因此我们提出了一种利
用基于黑白模式视频色彩恢复的可适配软性电子内窥镜的实时成像转录方案，拓展其在其它腔道器官病损(例如消化道早癌)手术治疗中的应用。

技术实现思路

[0006]为了解决内窥镜下激光刀工作时画面曝光异常，无法获得有效画面的情况，本专利技术提出一种激光刀手术黑白模式视频上色方法和系统，使用卷积神经网络开发一个深度学习算法，用于激光刀手术系统黑白模式视频色彩恢复，开发用于激光刀手术黑白模式视频色彩恢复的可适配软性电子内窥镜的实时成像转录系统。
[0007]为了达到上述目的，本专利技术提供的技术方案是：
[0008]一种激光刀手术黑白模式视频上色方法，其特殊之处是，包括以下步骤：
[0009]步骤1)获取视频上色样本库：
[0010]1.1)采集医学内窥镜手术彩色视频；
[0011]1.2)从彩色视频中选取关键帧彩色图像，同时将关键帧彩色图像转换为原始分辨率的关键帧灰度图像；所述关键帧彩色图像为包含手术部位的彩色图像；
[0012]1.3)对关键帧彩色图像和关键帧灰度图像分别通过下采样的方式提取其中的手术画面作为子图像，用所述子图像制作视频上色样本库；所述手术画面不包含关键帧彩色图像中的显示信息；
[0013]步骤2)构建并训练网络模型，得到预训练上色图像；
[0014]步骤3)计算预训练上色图像与手术彩色图像之间的损失，得到损失函数；
[0015]步骤4)优化网络模型：
[0016]将损失函数作为优化目标函数，使所述网络模型参与网络优化中梯度后向传播过程，实现所述网络模型的优化；
[0017]步骤5)手术图像上色：
[0018]实时采集激光刀手术中的黑白模式视频，再将下采样后的多帧黑白图像依次输入所述网络模型，将所述网络模型得到的低分辨率上色图像与原始分辨率灰度图像依次进行HSI融合，得到由多帧原始分辨率彩色图像构成的彩色视频。
[0019]上述步骤2具体包括：
[0020]2.1)构建基于对抗神经网络的激光刀手术黑白模式视频上色网络模型；
[0021]所述网络模型包括生成器网络模型和判别器网络模型；所述生成器网络模型包括依次连接的输入层、第二组合模块和输出层；所述判别器网络模型为Resnet模型；
[0022]所述第二组合模块包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；
[0023]其中卷积模块包含依次连接的三个卷积层，三个卷积层参数分别为32
×9×
9，stride＝1；64
×3×
3，stride＝2；128
×3×
3，stride＝2；
[0024]所述残差模块包含依次相连的五个残差层，每个残差层的等效卷积层结构为两个依次相连的3
×
3卷积层、Batch Norm层以及ReLU层；
[0025]反卷积模块包含依次连接的三个反卷积层，三个反卷积层参数分别为64
×3×
3，32
×3×
3，3
×9×
9，stride＝1；
[0026]2.2)使用步骤1中生成的视频上色样本库的灰度图像训练构建好的所述网络模型，得到预训练上色图像。
[0027]上述判别器网络模型为ResNet
‑
18，相应的特征提取网络至少包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层；其中，
[0028]第一层卷积核conv1大小为7
×7×
64，stride为2，Max
‑
Pooling为2
×
2，stride为2；
[0029]第二层卷积核conv2为2个64
×
64
×
256，stride为1；
[0030]第三层卷积核c本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光刀手术黑白模式视频上色方法，其特征在于，包括以下步骤：步骤1)获取视频上色样本库：1.1)采集医学内窥镜手术彩色视频；1.2)从彩色视频中选取关键帧彩色图像，同时将关键帧彩色图像转换为原始分辨率的关键帧灰度图像；所述关键帧彩色图像为包含手术部位的彩色图像；1.3)对关键帧彩色图像和关键帧灰度图像分别通过下采样的方式提取其中的手术画面作为子图像，用所述子图像制作视频上色样本库；所述手术画面不包含关键帧彩色图像中的显示信息；步骤2)构建并训练网络模型，得到预训练上色图像；步骤3)计算预训练上色图像与手术彩色图像之间的损失，得到损失函数；步骤4)优化网络模型：将损失函数作为优化目标函数，使所述网络模型参与网络优化中梯度后向传播过程，实现所述网络模型的优化；步骤5)手术图像上色：实时采集激光刀手术中的黑白模式视频，再将下采样后的多帧黑白图像依次输入所述网络模型，将所述网络模型得到的低分辨率上色图像与原始分辨率灰度图像依次进行HSI融合，得到由多帧原始分辨率彩色图像构成的彩色视频。2.根据权利要求1所述一种激光刀手术黑白模式视频上色方法，其特征在于，所述步骤2包括：2.1)构建基于对抗神经网络的激光刀手术黑白模式视频上色网络模型；所述网络模型包括生成器网络模型和判别器网络模型；所述生成器网络模型包括依次连接的输入层、第二组合模块和输出层；所述判别器网络模型为Resnet模型；所述第二组合模块包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；其中卷积模块包含依次连接的三个卷积层，三个卷积层参数分别为32
×9×
9，stride＝1；64
×3×
3，stride＝2；128
×3×
3，stride＝2；所述残差模块包含依次相连的五个残差层，每个残差层的等效卷积层结构为两个依次相连的3
×
3卷积层、Batch Norm层以及ReLU层；反卷积模块包含依次连接的三个反卷积层，三个反卷积层参数分别为64
×3×
3，32
×3×
3，3
×9×
9，stride＝1；2.2)使用步骤1中生成的视频上色样本库的灰度图像训练构建好的所述网络模型，得到预训练上色图像。3.根据权利要求2所述一种激光刀手术黑白模式视频上色方法，其特征在于：所述判别器网络模型为ResNet
‑
18，相应的特征提取网络至少包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层；其中，第一层卷积核conv1大小为7
×7×
64，stride为2，Max
‑
Pooling为2
×
2，stride为2；第二层卷积核conv2为2个64
×
64
×
256，stride为1；第三层卷积核conv3为2个128
×
128
×
512；第四层卷积核conv4为2个256
×
256...

【专利技术属性】
技术研发人员：贺大林，罗斌，王昊，潘晓英，李露，
申请(专利权)人：西安蓝极医疗电子科技有限公司，
类型：发明
国别省市：