一种手术场景图像转换方法技术

本发明专利技术涉及一种手术场景图像转换方法，其包括构建改进的CycleGAN模型，所述CycleGAN模型包括第一生成器、第一判别器、第二生成器、第二判别器、对抗生成损失函数、循环一致性损失函数以及器械保护损失函数；获取手术场景图像数据集，所述手术场景图像数据集包括多个样本图像和期望图像，基于手术场景图像数据集训练所述改进的CycleGAN模型；基于训练后的改进的CycleGAN模型，根据所述样本图像，得到转换后的手术场景图像。本发明专利技术能在背景不同的情况下转换出图像清晰且器械部分完整的手术场景图像，实现高质量的手术图像转换。实现高质量的手术图像转换。实现高质量的手术图像转换。

【技术实现步骤摘要】
一种手术场景图像转换方法


[0001]本专利技术涉及手术场景图像转换
，尤其是指一种手术场景图像转换方法。

技术介绍

[0002]随着手术机器人和深度学习驱动算法的蓬勃发展，通过学习人类的技能使机器人能够自主完成某些子任务的手术自动化正引起巨大关注。然而，由于伦理问题的存在，目前手术场景的数据集对外公开的数量较小，并且场景的种类也处于受限的状态。为了促进手术机器人深度学习得到更好的发展，提供更丰富的手术场景信息的数据集就十分重要，其中就包括增加手术场景的图像数据集。由于该原因，手术图像的转换技术应运而生。从其他场景到所需场景的高质量外科图像转换方法不仅可以增加手术场景数据集的数量，还可以帮助手术机器人的医疗技能训练平台的搭建。
[0003]为了实现图像转换这一目标，研究人员正在进行广泛的研究，以探寻合适的图像转换方法。其中，GAN(Generative Adversarial Network，生成对抗网络)已被广泛应用，其包括一个生成器和一个辨别器，它们都是由深度学习网络搭建而成。生成器被训练以生成目标场景的新图像，辨别器则被训练以辨别生成器生成的图像是否为目标场景的图像，两个网络在训练过程中共同进步，最终生成器生成目标域假图的能力得到显著的提升。然而考虑到两个不同领域下的大多数数据基本上是不成对的(成对：源域和目标域的图像一一对应，即每一张源域的图片都有一张语义信息相同的目标域图片与其对应)，这样的数据不能用作GAN的训练，因此可以使用这类数据进行图像转换训练的循环生成对抗网络(CycleGAN)应运而生。
[0004]在进行整张手术场景图像转换时，直接使用CycleGAN进行操作会出现图像转换的不清晰和手术器械的部分缺失等问题。现有技术中，基于改进的CycleGAN模型也只专注于手术器械的图像转换，因此当手术场景的背景不同时，无法使用现有技术方案实现高质量的图像转换。

技术实现思路

[0005]本专利技术所要解决的技术问题在于克服现有技术中存在的不足，提供一种手术场景图像转换方法，其能在背景不同的情况下转换出图像清晰且器械部分完整的手术场景图像，实现高质量的手术图像转换。
[0006]按照本专利技术提供的技术方案，所述手术场景图像转换方法包括：
[0007]构建改进的CycleGAN模型，所述改进的CycleGAN模型包括第一生成器、第一判别器、第二生成器、第二判别器、对抗生成损失函数、循环一致性损失函数以及器械保护损失函数；
[0008]获取手术场景图像数据集，所述手术场景图像数据集包括多对样本图像和期望图像，定义所述样本图像为源域图像，所述期望图像为目标域图像，基于所述手术场景图像数据集训练所述改进的CycleGAN模型；
[0009]基于训练后的改进的CycleGAN模型，根据所述样本图像，得到转换后的手术场景图像；
[0010]其中，训练所述改进的CycleGAN模型包括：
[0011]步骤1、执行“源域
‑
目标域
‑
源域”的正向训练；
[0012]步骤2、执行“目标域
‑
源域
‑
目标域”的逆向训练；
[0013]步骤3、判断执行所述正向训练和逆向训练的次数是否达到预设值，若到达所述预设值，则完成训练，否则，返回步骤1。
[0014]其中，正向训练或逆向训练时，根据所述器械保护损失函数更新所述第二生成器和第一生成器的参数。
[0015]在本专利技术的一个实施例中，所述正向训练包括：
[0016]分离所述源域图像的背景以及器械，得到第一背景图和第一器械图；
[0017]基于所述对抗生成损失函数和目标域图像更新所述第一判别器参数；
[0018]将所述第一背景图和第一器械图输入第一生成器，得到第一转换图；
[0019]所述第一判别器判断所述第一转换图是否为目标域图像，若所述第一转换图为目标域图像，则执行下一步骤，否则，基于所述对抗生成损失函数更新所述第一生成器参数后返回第一生成器输出转换图的步骤；
[0020]分离所述第一转换图中的背景以及器械，得到第二背景图像和第二器械图；
[0021]将所述第二背景图和第二器械图输入第二生成器，得到第二转换图；
[0022]对比所述第二转换图与源域图像，基于所述循环一致性损失函数更新第一生成器和第二生成器的参数；
[0023]分离所述第二转换图中的背景以及器械，得到第三背景图和第三器械图；
[0024]将所述第三器械图与所述第一背景图融合，得到第三转换图，对比所述第三转换图与所述源域图像，基于所述器械保护损失函数更新所述第一生成器以及第二生成器的参数。
[0025]在本专利技术的一个实施例中，所述逆向训练包括：
[0026]基于所述对抗生成损失函数和源域图像更新所述第二判别器参数；
[0027]将第三背景图和第三器械图输入第二生成器，得到第四转换图；
[0028]所述第二判别器判断所述第四转换图是否为源域图像，若所述第四转换图为源域图像，则执行下一步骤，否则，基于所述对抗生成损失函数更新所述第二生成器参数后返回输出第二生成器输出转换图的步骤；
[0029]分离所述第四转换图中的背景以及器械，得到第五背景图和第五器械图；
[0030]将所述第五背景图和第五器械图输入第一生成器，得到第五转换图；
[0031]对比所述第五转换图与目标域图像，基于所述循环一致性损失函数更新第一生成器和第二生成器的参数；
[0032]分离所述第五转换图中的背景以及器械，得到第六背景图和第六器械图；
[0033]将所述第六器械图与所述第三背景图融合，得到第六转换图，对比所述第六转换图与所述目标域图像，基于所述器械保护损失函数更新所述第一生成器以及第二生成器的参数。
[0034]在本专利技术的一个实施例中，通过掩码模块分离所述样本图像的背景以及器械，所
述掩码模块为图像分割网络。
[0035]在本专利技术的一个实施例中，所述第一生成器包括背景编码器、器械编码器以及解码器，所述背景编码器和器械编码器均与所述解码器连接。
[0036]在本专利技术的一个实施例中，所述背景编码器与所述器械编码器均包括多层卷积层，任一卷积层包括下采样/上采样层、校正线性单位激活函数层和残差块。
[0037]在本专利技术的一个实施例中，所述解码器包括多层卷积层，任一卷积层包括下采样/上采样层、校正线性单位激活函数层和残差块，所述背景编码器以及器械编码器中的下采样层均与所述解码器中对应的上采样层连接。
[0038]在本专利技术的一个实施例中，所述对抗生成损失函数为：
[0039][0040]其中，a为源域图像；b为目标域图像；G为生成器；D为辨别器。
[0041]在本专利技术的一个实施例中，所述循环一致性损失函数为：
[0042][0043]其中，cyc(a)为第二转换图；cyc(b)为第五转换图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手术场景图像转换方法，其特征在于，包括：构建改进的CycleGAN模型，所述改进的CycleGAN模型包括第一生成器、第一判别器、第二生成器、第二判别器、对抗生成损失函数、循环一致性损失函数以及器械保护损失函数；获取手术场景图像数据集，所述手术场景图像数据集包括多个样本图像和期望图像，定义所述样本图像为源域图像，所述期望图像为目标域图像，基于所述手术场景图像数据集训练所述改进的CycleGAN模型；基于训练后的改进的CycleGAN模型，根据所述样本图像，得到转换后的手术场景图像；其中，训练所述改进的CycleGAN模型包括：步骤1、执行“源域
‑
目标域
‑
源域”的正向训练；步骤2、执行“目标域
‑
源域
‑
目标域”的逆向训练；步骤3、判断执行所述正向训练和逆向训练的次数是否达到预设值，若到达所述预设值，则完成训练，否则，返回步骤1；其中，正向训练或逆向训练时，根据所述器械保护损失函数更新所述第二生成器和第一生成器的参数。2.根据权利要求1所述的手术场景图像转换方法，其特征在于，所述正向训练包括：分离所述源域图像的背景以及器械，得到第一背景图和第一器械图；基于所述对抗生成损失函数和目标域图像更新所述第一判别器参数；将所述第一背景图和第一器械图输入第一生成器，得到第一转换图；所述第一判别器判断所述第一转换图是否为目标域图像，若所述第一转换图为目标域图像，则执行下一步骤，否则，基于所述对抗生成损失函数更新所述第一生成器参数后返回第一生成器输出转换图的步骤；分离所述第一转换图中的背景以及器械，得到第二背景图像和第二器械图；将所述第二背景图和第二器械图输入第二生成器，得到第二转换图；对比所述第二转换图与源域图像，基于所述循环一致性损失函数更新第一生成器和第二生成器的参数；分离所述第二转换图中的背景以及器械，得到第三背景图和第三器械图；将所述第三器械图与所述第一背景图融合，得到第三转换图，对比所述第三转换图与所述源域图像，基于所述器械保护损失函数更新所述第一生成器以及第二生成器的参数。3.根据权利要求2所述的手术场景图像转换方法，其特征在...

【专利技术属性】
技术研发人员：陆波，郭宇豪，周天呈，孙立宁，
申请(专利权)人：苏州大学，
类型：发明
国别省市：