本发明专利技术公开一种自适应视频增强方法和装置，该方法包括：采集目标视频数据；将目标视频数据输入预训练的视频增强模型，获得增强视频，其中训练样本集的获取包括：构建生成对抗网络，该生成对抗网络包括生成器和判别器，生成器以真实高质量视频和退化特征作为输入，生成模拟低质量视频，判别器用于判断模拟低质量视频与真实低质量视频之间的拟合程度；训练所述生成对抗网络，以使模拟低质量视频与真实低质量视频之间的拟合程度满足设定损失标准；将经训练的生成器作为视频退化学习模型，以针对采集的高质量视频生成具有不同退化分布特征的低质量视频，进而构建出所述训练样本集。利用本发明专利技术能够提升目标视频的视觉清晰度以及保真度。保真度。保真度。
【技术实现步骤摘要】
一种自适应视频增强方法和装置
[0001]本专利技术涉及图像处理
，更具体地，涉及一种自适应视频增强方法和装置。
技术介绍
[0002]视频增强方法应用广泛，以腔镜手术为例，其是一门新发展起来的微创方法，具有创伤小，手术视野放大，对周围组织损伤低，术后伤口疼痛轻，美观，恢复快，并发症少，住院天数少，费用负担小等优点，面向腔镜手术场景的视频增强有利于提升诊疗效率。然而，在目前的腔镜手术中，图像传感器往往由于温度差异或者是手术烧灼而在患者体内出现烟雾或者雾气等，导致捕获的图像或视频质量下降，传统依赖擦拭、排烟、加热镜头等策略不仅导致手术中断，还容易引发手术风险。
[0003]近年来，深度学习技术在图像超分辨率重建、图像去噪等低质图像增强和复原问题上取得了巨大进展。例如，将卷积神经网络应用于图像超分辨率重建领域。有研究者提出的VDSR将卷积神经网络提升至20层，通过引入残差连接防止了深层神经网络梯度信息丢失的情况，使得图像超分辨率重建通过深层网络学习到更多的上下文信息。又如，采用DerainNet模型，通过卷积神经网络学习雨天图像和清晰图像之间的非线性映射关系，并利用学习到的映射关系进行图像去雨。然而，基于无参考数据和弱监督学习的方法的研究目前还不完善，尤其是图像细节仍不尽人意。
[0004]目前，视频增强的研究相对较少，现有方法通常基于传统的图像增强方法，如采用边界约束和上下文正则化算法，引入贝叶斯估计场景反照率进而实现去雾，这些算法增强效果有限，细节有待提升。而与传统的图像视频超分增强问题相比，腔镜手术视频增强面临如下挑战：1）、影响腔镜手术视频质量的因素复杂，图像降质过程难于建模。
[0005]2）、与一般自然场景的视频增强任务不同，医学领域图像及视频增强对保真度要求更高，医生无法接受因为视频增强而使得手术视野范围内出现对比度较差、颜色失真、模糊、光晕伪影等问题，更不能接收增强过程中出现原本不存在的内容，这些问题会极大影响医生视觉判断，对手术过程产生不利影响，例如血管的青色减淡或改变，会使医生误判从而有可能误伤血管；原本没有阴影的位置出现阴影，有可能使得医生误判手术操作范围。因此，图像增强过程对保真度要求高，需要避免因为算法增强引入原本不存在的伪细节和内容，影响医生的判断。
[0006]3）、手术对实时要求高，过高的延迟会影响手术操作，带来医疗风险。
[0007]综上，对于腔镜视频数据而言，难以获取高质
‑
低质数据对，但却对增强后的细节、实时性要求更高，导致现有方法无法取得理想的效果，因此需要对模型结构、损失函数以及训练策略进行更精细化地设计，以提升视频增强效果。
技术实现思路
[0008]本专利技术的目的是克服上述现有技术的缺陷，提供一种自适应视频增强方法和装
置。
[0009]根据本专利技术的第一方面，提供一种自适应视频增强方法。该方法包括：采集目标视频数据；将所述目标视频数据输入到视频增强模型，获得增强视频，所述视频增强模型利用训练样本集训练获得，所述训练样本集的每条样本反映高质量视频与低质量视频之间的对应关系，并且根据以下步骤获得：构建生成对抗网络，该生成对抗网络包括生成器和判别器，所述生成器以真实高质量视频和退化特征作为输入，生成模拟低质量视频，所述判别器用于判断所生成的模拟低质量视频与真实低质量视频之间的拟合程度；训练所述生成对抗网络，以使生成的模拟低质量视频与真实低质量视频之间的拟合程度满足设定损失标准；将经训练的生成器作为视频退化学习模型，以针对采集的高质量视频生成具有不同退化分布特征的低质量视频，进而构建出所述训练样本集。
[0010]根据本专利技术的第二方面，提供一种自适应视频增强装置。该装置包括：视频采集单元：用于采集目标视频数据；视频增强单元：用于将所述目标视频数据输入到视频增强模型，获得增强视频，其中，所述视频增强模型利用训练样本集训练获得，每条样本反映高质量视频与低质量视频之间的对应关系；样本采集单元：用于根据以下步骤获取所述训练样本集：构建生成对抗网络，该生成对抗网络包括生成器和判别器，所述生成器以真实高质量视频和退化特征作为输入，生成模拟低质量视频，所述判别器用于判断所生成的模拟低质量视频与真实低质量视频之间的拟合程度；训练所述生成对抗网络，以使所生成的模拟低质量视频与真实低质量视频之间的拟合程度满足设定标准；将经训练的生成器作为视频退化学习模型，以针对采集的高质量视频生成具有不同退化分布特征的低质量视频，进而构建出所述训练样本集。
[0011]与现有技术相比，本专利技术的优点在于，提供一种自适应视频增强方法，可应用于实时腔镜手术视频增强，该方法考虑不同因素导致的视频质量退化特性，能够有效增强手术视野细节，降低雾、烟等对视野区域的影响，并且在视频增强过程中兼顾保真度要求，显著提升了手术医生的视觉清晰度，无需中断手术即可实现“无感”去雾，在保障手术顺利实施的同时降低了手术风险，提高了诊疗效率。
[0012]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0013]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。
[0014]图1是根据本专利技术一个实施例的自适应视频增强方法的流程图；图2是根据本专利技术一个实施例的自适应视频退化学习模型示意图；
图3是根据本专利技术一个实施例的自适应视频增强模型示意图。
具体实施方式
[0015]现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。
[0016]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。
[0017]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0018]在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0019]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0020]参见图1所示，所提供的自适应视频增强方法包括以下步骤。
[0021]步骤S110，利用生成对抗网络对视频退化过程建模。
[0022]对于真实的腔镜手术视频数据，很难收集到成对的低质量
‑
高质量数据。这是因为无法在拍摄一段低质量手术视频的时候，同时获取其像素级别对齐的高质量版本，并且在收集到大量的低质量视频后，依靠专家手工修复获取高清视频也是不现实的。针对这些挑战，在一个实施例中，使用生成对抗网络来训练降质生成模型，以高质量视频为输入，生成与之对应的低质量视频。
[0023]生本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种自适应视频增强方法，包括：采集目标视频数据；将所述目标视频数据输入到视频增强模型，获得增强视频，所述视频增强模型利用训练样本集训练获得，该训练样本集的每条样本反映高质量视频与低质量视频之间的对应关系，且根据以下步骤获得：构建生成对抗网络，该生成对抗网络包括生成器和判别器，所述生成器以真实高质量视频和对应的退化特征作为输入，生成模拟低质量视频，所述判别器用于判断所生成的模拟低质量视频与真实低质量视频之间的拟合程度；训练所述生成对抗网络，以使生成的模拟低质量视频与真实低质量视频之间的拟合程度满足设定损失标准；将经训练的生成器作为视频退化学习模型，以针对采集的高质量视频生成具有不同退化分布特征的低质量视频，进而构建出所述训练样本集。2.根据权利要求1所述的方法，其特征在于，所述退化特征利用第一退化分布提取器提取，该第一退化分布提取器以真实低质量视频作为输入，提取反映不同退化类型和不同退化程度的退化特征。3.根据权利要求2所述的方法，其特征在于，所述第一退化分布提取器是分辨率逐渐减少，同时通道数逐渐增加的卷积神经网络。4.根据权利要求1所述的方法，其特征在于，所述视频增强模型包括分频特征提取器，第二退化分布提取器、自适应双向循环网络和时频特征融合模块，其中，分频特征提取器对输入视频按照频域进行分解，获得不同尺度的多个频率分量；第二退化分布提取器用于从输入视频中提取对应的退化特征；自适应双向循环网络针对多个频率分量对连续帧的特征进行时序建模并且经由退化特征的调制，获得针对不同频率分量的复原结果；时频特征融合模块用于融合复原结果中的时域特征和频域特征，获得相对于输入视频的增强视频。5.根据权利要求4所述的方法，其特征在于，所述多...
【专利技术属性】
技术研发人员：周蔚，邹静，刘翼豪，李英，董超，乔宇，
申请(专利权)人：华中科技大学协和深圳医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。