内镜图像偏色失真颜色实时补偿方法及装置，能够压缩GAN生成器且保证较大尺寸内窥镜图像的生成细节，在没有额外增加生成器结构的情况下提升了压缩模型生成图像的质量。该方法使用GAN compression based network作为标准网络，其包括：(1)预训练一个添加了多尺度判别器的cycle GAN网络，得到教师生成器和判别器；(2)对教师生成器使用知识蒸馏和神经元结构搜索手段进行压缩，并继承多尺度判别器训练出学生生成器；(3)评估并筛选合适的压缩模型结构，得到最终的生成器模型。得到最终的生成器模型。得到最终的生成器模型。
【技术实现步骤摘要】
内镜图像偏色失真颜色实时补偿方法及装置
[0001]本专利技术涉及医学图像处理的
，尤其涉及一种内镜图像偏色失真颜色实时补偿方法，以及内镜图像偏色失真颜色实时补偿装置。
技术介绍
[0002]光动力手术是近年来快速发展的疗法，该疗法借助激光、氧气、光敏剂一起与病灶发生反应杀死组织细胞，其独特的作用机理现已成为肿瘤防治领域的研究热点之一。在体内借助内镜操作光动力手术时，开启激光导致内窥镜视野盲视，这一问题严重影响医生操作手术。通过在内镜镜头电荷耦合元件(CCD)前端放置滤光片的方法，屏蔽了630纳米波段的光线消除了过曝光影响，但与此同时引入了内镜图像颜色失真问题。3种不同光照条件下内镜图片对比：正常光照场景、开启激光盲视场景，添加内镜滤光片后开启激光场景，从中可见添加滤光片的图像出现了明显的色差，而组织器官的颜色纹理是医生诊断的重要依据。由于手术操作的实时性要求，在手术中快速校正偏色图像对于提高手术操作的精确性具有重要的意义。
[0003]近年来深度学习方法不仅在图像修复、颜色校正等领域取得了不俗的成果，而且模型压缩算法的发展提高了模型运算速度，使得深度学习方法应用于内镜手术颜色还原场景成为可能。然而实际应用压缩模型时存在处理后的内镜图像画质变模糊的问题。
[0004]图像颜色处理领域相关工作近年来取得了一些进展，A.Galdran et al.提出来基于红色通道的水下图像短波颜色恢复方法，多项式回归颜色校正方法也有了新的应用领域。自从Z.Cheng et al.第一次把深度学习引入到图像着色领域以来，深度卷积神经网络(DCNN)在该领域快速发展为主要的应用技术，在图像颜色风格迁移，颜色校正，图像着色方面出现了令人印象深刻的成果，J.Li et al.提出来WateGAN实现了由空气RGB
‑
D图像建模水下图像并矫正颜色，JW Su et al.提出来的Instance
‑
aware Image Colorization实现了多目标着色与融合。然而对于医学图像处理领域，成对匹配(像素和区域)的内窥镜数据集是十分难以获得的，cycle GAN的出现使得非成对数据的图像转换有了得力的工具，例如CT与MRI图像转换，和内窥镜图像生成任务。
[0005]制约内窥镜图像颜色还原DCNN方法实际应用的一大难题是模型推理速度，在电子内窥镜辅助光动力治疗手术当中医生需要根据处理好的图像操作手术器械，这就需要模型处理大尺寸的图像时速度达到能满足手术实时进行的要求。通过模型压缩可以有效提缩减模型参数高推理的速度，自从S.Hanet al.总结了模型压缩领域的方法后，这一研究领域成为深度学习热点发展方向之一，涌现了很多方法，这其中包括模型剪枝，轻量化模块设计，知识蒸馏，低秩分解等，这些方法在图像分类任务模型上已取得不俗效果，但是GAN网络训练不稳定等原因，以上方法并不能胜任GAN生成器压缩任务。知识蒸馏方法是模型压缩领域的热门方法，在分类任务中目标蒸馏的方法从softmax输出的类别概率作为学习目标被证明行之有效，在GAN任务中则要用到特征蒸馏的手段，一方面由于GAN任务输出的是确定的图像而不是概率分布，难以从输出层提取关键的知识；另一方面中间层通道数更多，提供的
知识也更丰富。最近专门针对GAN模型进行压缩的研究取得了卓越成果，例如H.Wang et al.提出的GAN Slimming和M.Li et al.提出的GANcompression方法，然而经过实验发现在1920*1080尺寸的内窥镜图像颜色还原任务上，这两种方法都存在图像变模糊细节损失较多的情况。因此一种能够压缩GAN生成器且保证较大尺寸内窥镜图像生成细节的训练策略具有重要意义。
技术实现思路
[0006]为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种内镜图像偏色失真颜色实时补偿方法，其能够压缩GAN生成器且保证较大尺寸内窥镜图像的生成细节，在没有额外增加生成器结构的情况下提升了压缩模型生成图像的质量。
[0007]本专利技术的技术方案是：这种内镜图像偏色失真颜色实时补偿方法，该方法使用生成对抗压缩网络(GAN compression based network)作为标准网络，其包括以下步骤：
[0008](1)预训练一个添加了多尺度判别器的循环一致性生成对抗网络(cycle GAN)，得到教师生成器和判别器；
[0009](2)对教师生成器使用知识蒸馏和神经元结构搜索手段进行压缩，并继承多尺度判别器训练出学生生成器；
[0010](3)评估并筛选合适的压缩模型结构，得到最终的生成器模型。
[0011]本专利技术使用生成对抗压缩网络(GAN compression based network)作为标准网络，预训练一个添加了多尺度判别器的循环一致性生成对抗网络得到教师生成器和判别器，对教师生成器使用知识蒸馏和神经元结构搜索手段进行压缩，并继承多尺度判别器训练出学生生成器，评估并筛选合适的压缩模型结构得到最终的生成器模型，因此能够压缩GAN生成器且保证较大尺寸内窥镜图像的生成细节，在没有额外增加生成器结构的情况下提升了压缩模型生成图像的质量。
[0012]还提供了内镜图像偏色失真颜色实时补偿装置，该装置使用生成对抗压缩网络作为标准网络，其包括：
[0013]预训练模块，其配置来预训练一个添加了多尺度判别器的循环一致性生成对抗网络，得到教师生成器和判别器；
[0014]训练模块，其配置来对教师生成器使用知识蒸馏和神经元结构搜索手段进行压缩，并继承多尺度判别器训练出学生生成器；
[0015]筛选模块，其配置来评估并筛选合适的压缩模型结构，得到最终的生成器模型。
附图说明
[0016]图1是根据本专利技术的内镜图像偏色失真颜色实时补偿方法的流程图。
具体实施方式
[0017]如图1所示，这种内镜图像偏色失真颜色实时补偿方法，该装置使用生成对抗压缩网络作为标准网络，其包括：
[0018](1)预训练一个添加了多尺度判别器的循环一致性生成对抗网络，得到教师生成器和判别器；
[0019](2)对教师生成器使用知识蒸馏和神经元结构搜索手段进行压缩，并继承多尺度判别器训练出学生生成器；
[0020](3)评估并筛选合适的压缩模型结构，得到最终的生成器模型。
[0021]本专利技术使用生成对抗压缩网络作为标准网络，预训练一个添加了多尺度判别器的循环一致性生成对抗网络，得到教师生成器和判别器，对教师生成器使用知识蒸馏和神经元结构搜索手段进行压缩，并继承多尺度判别器训练出学生生成器，评估并筛选合适的压缩模型结构得到最终的生成器模型，因此能够压缩GAN生成器且保证较大尺寸内窥镜图像的生成细节，在没有额外增加生成器结构的情况下提升了压缩模型生成图像的质量。
[0022]优选地，所述步骤(1)中，将输入的真实样本和假样本图片下采样两倍，然后把小尺度图片和原尺寸图片分别输入到结构相同的两个判别器D1和D2，分别从不同尺本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.内镜图像偏色失真颜色实时补偿方法，其特征在于：该方法使用生成对抗压缩网络作为标准网络，其包括以下步骤：(1)预训练一个添加了多尺度判别器的循环一致性生成对抗网络，得到教师生成器和判别器；(2)对教师生成器使用知识蒸馏和神经元结构搜索手段进行压缩，并继承多尺度判别器训练出学生生成器；(3)评估并筛选合适的压缩模型结构，得到最终的生成器模型。2.根据权利要求1所述的内镜图像偏色失真颜色实时补偿方法，其特征在于：所述步骤(1)中，将输入的真实样本和假样本图片下采样两倍，然后把小尺度图片和原尺寸图片分别输入到结构相同的两个判别器D1和D2，分别从不同尺度判断图像的真伪，只有两个判别器的判断结果都是真的时候才认为该图像为真，如果两个判别器输出结果都为假或者一真一假则判定该张图像为假。3.根据权利要求2所述的内镜图像偏色失真颜色实时补偿方法，其特征在于：所述步骤(1)中，D1感受野较小，引导生成器生成更精细的图像，D2从较大范围的感受野指导生成器生成全局一致的图像，此时生成对抗网络优化目标函数为公式(1)：其中，L
GAN
是对抗损失，生成器G的训练目标是使L
GAN
尽可能小，判别器D
i
的优化目标是使L
GAN
尽可能大。4.根据权利要求3所述的内镜图像偏色失真颜色实时补偿方法，其特征在于：所述步骤(2)中，在压缩的时候无论教师生成器生成结果如何，都选择它的图像作为正样本指导学生生成器的训练；对于给定的输入数据I
filter
，教师生成器生成的数据表示为I
t
，学生生成器生成的数据为I
s
，此时的训练图像在结构、纹理细节上就是一一对应的；训练策略表示为：其中，‖ ‖1为L1正则化。5.根据权利要求4所述的内镜图像偏色失真颜色实时补偿方法，其特征在于：所述步骤(2)中，使用多尺度判别器，此时生成对抗网络目标优化函数结合公式(1)表示为：学生网络的判别器和教师网络的判别器结构一样，在训练时使用教师网络的多尺度判别器的权重初始化学生判别器，且权重没有固定，而是随着压缩模型的训练不断调整。6.根据权利要求5所述的内镜图像偏色失真颜色实时补偿方法，其特征在于：所述步骤(2)中，从教师生成器的中间层进行特征提取，和分别为教师模型、学生模型中第n个待蒸馏的中间层，N表示总层数，蒸馏损失表示为：
由于教师模型和学生模型对应层的输出通道数不同，在进行计算前需要一个特征映射函数F
n
将学生模型中间层输出转化到和教师模型维度相同的空间中，该映射由一个1
×
1的可学习的卷积层构成；蒸馏过程为优化和F
n
来最小化L
distill
。7.根据权利要求6所述的内镜图像偏色失真颜色实时补偿方法，其特征在于：所述步骤(2)中，在训练学生模型时首先训练一个包含多种候选通道数的super
...
【专利技术属性】
技术研发人员：艾丹妮，郝鹏程，杨健，唐宋元，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。