基于特征纠缠调制的图像复原方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种基于特征纠缠调制的图像复原方法、装置、设备和存储介质，所述方法包括：获取训练数据集；训练数据集中的图像对包括退化图像和高质量图像；利用网络模型中的特征纠缠调制子网络对退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征；利用网络模型中的重构子网络对退化特征和图像调制特征进行图像重构，获得复原图像；根据复原图像和退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型；将待测的图像输入训练好的网络模型，生成具有清晰细节的复原图像。本发明专利技术获得了具有清晰且准确的复原图像细节，为后续图像处理和应用打下坚实基础。实基础。实基础。

【技术实现步骤摘要】
基于特征纠缠调制的图像复原方法、装置、设备和介质


[0001]本专利技术涉及深度学习应用
，具体涉及一种基于特征纠缠调制的图像复原方法、装置、设备和存储介质。

技术介绍

[0002]视频监控已广泛应用于社会治安防控体系建设中。但是，由于物体与摄像机之间存在相对运动，监控视频中的画面往往出现模糊、噪声和失真等退化情况，而具有退化情况的图像往往会掩盖图像中关键的信息点，例如车牌信息、人脸信息、证件文字信息等，因此需要对图像的相关退化特性进行去除。
[0003]目前针对退化图像的复原方法主要有两种，一种是根据图像退化数学模型，利用设计的图像先验知识或者正则化约束，例如图像暗通道先验、稀疏先验等，再结合凸优化的方法，求解清晰图像；另一种是通过数据驱动的方法，构建清晰图像与模糊图像的映射关系和网络模型，进而可以对测试的模糊图像进行恢复。基于退化模型的方法，往往只能针对单一的退化因素，难以同时对多种退化因素进行处理。
[0004]对于具有多种退化因素的图像复原问题，其关键的问题是如何设计相应合理的深度学习网络框架，利用高性能的计算机处理能力对网络进行训练，进而可以生成高质量的图像，进而有效地获得丰富和准确的图像细节，为后续图像的使用提供关键线索。

技术实现思路

[0005]为了解决上述现有技术的不足，本专利技术提供了一种基于特征纠缠调制的图像复原方法、装置、设备和存储介质，该方法构建的网络模型包括特征纠缠调制子网络和重构子网络，特征纠缠调制子网络通过特征纠缠与调制机制，使退化特征指导图像调制特征的生成，同时图像调制特征也进一步完善退化特征的语义信息，进而提取更为准确的图像调制特征以及退化特征；重构子网络对退化特征和图像特征进行图像重构，获得复原图像。本专利技术可以同时对多种退化因素的图像进行处理，并获得具有清晰细节的复原图像。
[0006]本专利技术的第一个目的在于提供一种基于特征纠缠调制的图像复原方法。
[0007]本专利技术的第二个目的在于提供一种基于特征纠缠调制的图像复原装置。
[0008]本专利技术的第三个目的在于提供一种基于特征纠缠调制的图像复原设备。
[0009]本专利技术的第四个目的在于提供一种存储介质。
[0010]本专利技术的第一个目的可以通过采取如下技术方案达到：
[0011]一种基于特征纠缠调制的图像复原方法，所述方法包括：
[0012]获取训练数据集；所述训练数据集中的图像对包括退化图像和高质量图像；
[0013]利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征；
[0014]利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像；
[0015]根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型；
[0016]将待测的图像输入所述训练好的网络模型，生成具有清晰细节的复原图像。
[0017]进一步的，所述特征纠缠调制子网络包括退化特征提取器和图像特征调制器；
[0018]所述利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征，具体包括：
[0019]利用所述退化特征提取器对所述退化图像进行特征提取，得到退化特征；
[0020]利用所述图像特征调制器对所述退化图像进行特征调制，得到图像调制特征。
[0021]进一步的，所述退化特征提取器包括n个退化特征残差模块；其中，n为设定阈值；
[0022]所述利用所述退化特征提取器对所述退化图像进行特征提取，得到退化特征，具体包括：
[0023]当i为1时，利用第i个所述退化特征残差模块对第一输入图像进行特征提取，得到第i个退化特征；其中，所述第一输入图像为所述退化图像；
[0024]当i为大于1且小于等于n的正整数时，利用第i个所述退化特征残差模块对第一输入图像进行特征提取，得到第i个退化特征；其中，所述第一输入图像为第i
‑
1个退化特征；
[0025]所述图像特征调制器包括n个图像特征残差模块；
[0026]所述利用所述图像特征调制器对所述退化图像进行特征调制，得到图像调制特征，具体包括：
[0027]当i为1时，利用第i个所述图像特征残差模块对第二输入图像进行特征调制，得到第i个图像调制特征；其中，所述第二输入图像为所述退化图像；
[0028]当i为大于1且小于等于n的正整数时，利用第i个所述图像特征残差模块对第二输入图像进行特征调制，得到第i个图像调制特征；其中，所述第二输入图像为第i
‑
1 个图像调制特征。
[0029]进一步的，每个所述退化特征残差模块包括第一卷积层、第二卷积层以及第一特征叠加操作层和第二特征叠加操作层；
[0030]所述第一输入图像为所述第i个退化特征为
[0031]所述第二输入图像为为所述第i个图像调制特征为
[0032]所述利用第i个所述退化特征残差模块对第一输入图像进行特征提取，得到第i个退化特征，具体包括：
[0033]根据下式，利用第i个所述退化特征残差模块对第一输入图像进行特征提取，得到第i个退化特征为
[0034][0035]其中，分别为第i个退化特征残差模块的第一卷积层以及第二
卷积层，分别为第i个退化特征残差模块的第一特征叠加操作层和第二特征叠加操作层，分别为第i个退化特征残差模块的第一卷积层、第二卷积层、第一特征叠加操作层以及第二特征叠加操作层的输出；
[0036]所述特征纠缠调制子网络包括n个特征纠缠模块；
[0037]每个所述特征纠缠模块包括第一特征级联操作层和第二特征级联操作层；
[0038]每个所述图像特征残差模块包括第一卷积层、第二卷积层、第三卷积层以及第一特征叠加操作层；
[0039]所述利用第i个所述图像特征残差模块对第二输入图像进行特征调制，得到第i个图像调制特征，具体包括：
[0040]根据下式，利用第i个所述图像特征残差模块对第二输入图像进行特征调制，得到第i个图像调制特征为
[0041][0042]其中，分别为第i个图像特征残差模块的第一卷积层、第二卷积层以及第三卷积层，表示第i个图像特征残差模块的第一特征叠加操作层，Cat1(),Cat2()分别为第i个特征纠缠模块的第一特征级联操作层以及第二特征级联操作层，分别为第i个图像特征残差模块的第一卷积层、第二卷积层、第三卷积层以及第一特征叠加操作层的输出。
[0043]进一步的，所述重构子网络包括特征级联操作层和多个卷积层；
[0044]所述利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像，具体为：
[0045]利用重构子网络的特征级联操作层对所述退化特征和所述图像调制特征进行级联后，再利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征纠缠调制的图像复原方法，其特征在于，所述方法包括：获取训练数据集；所述训练数据集中的图像对包括退化图像和高质量图像；利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征；利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像；根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型；将待测的图像输入所述训练好的网络模型，生成具有清晰细节的复原图像。2.根据权利要求1所述的图像复原方法，其特征在于，所述特征纠缠调制子网络包括退化特征提取器和图像特征调制器；所述利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征，具体包括：利用所述退化特征提取器对所述退化图像进行特征提取，得到退化特征；利用所述图像特征调制器对所述退化图像进行特征调制，得到图像调制特征。3.根据权利要求2所述的图像复原方法，其特征在于，所述退化特征提取器包括n个退化特征残差模块；其中，n为设定阈值；所述利用所述退化特征提取器对所述退化图像进行特征提取，得到退化特征，具体包括：当i为1时，利用第i个所述退化特征残差模块对第一输入图像进行特征提取，得到第i个退化特征；其中，所述第一输入图像为所述退化图像；当i为大于1且小于或等于n的正整数时，利用第i个所述退化特征残差模块对第一输入图像进行特征提取，得到第i个退化特征；其中，所述第一输入图像为第i
‑
1个退化特征；所述图像特征调制器包括n个图像特征残差模块；所述利用所述图像特征调制器对所述退化图像进行特征调制，得到图像调制特征，具体包括：当i为1时，利用第i个所述图像特征残差模块对第二输入图像进行特征调制，得到第i个图像调制特征；其中，所述第二输入图像为所述退化图像；当i为大于1且小于等于n的正整数时，利用第i个所述图像特征残差模块对第二输入图像进行特征调制，得到第i个图像调制特征；其中，所述第二输入图像为第i
‑
1个图像调制特征。4.根据权利要求3所述的图像复原方法，其特征在于，每个所述退化特征残差模块包括第一卷积层、第二卷积层以及第一特征叠加操作层和第二特征叠加操作层；所述第一输入图像为所述第i个退化特征为所述第二输入图像为为所述第i个图像调制特征为所述利用第i个所述退化特征残差模块对第一输入图像进行特征提取，得到第i个退化特征，具体包括：根据下式，利用第i个所述退化特征残差模块对第一输入图像进行特征提取，得到
第i个退化特征为第i个退化特征为其中，分别为第i个退化特征残差模块的第一卷积层以及第二卷积层，分别为第i个退化特征残差模块的第一特征叠加操作层和第二特征叠加操作层，分别为第i个退化特征残差模块的第一卷积层、第二卷积层、第一特征叠加操作层以及第二特征叠加操作层的输出；所述特征纠缠调制子网络包括n个特征纠缠模块；每个所述特征纠缠模块包括第一特征级联操作层和第二特征级联操作层；每个所述图像特征残差模块包括第一卷积层、第二卷积层、第三卷积层以及第一特征叠加操作层；所述利用第i个所述图像特征残差模块对第二输入图像进行...

【专利技术属性】
技术研发人员：温峻峰，张浪文，李鑫，杜海江，江志伟，谢巍，杨晓峰，
申请(专利权)人：中科天网广东科技有限公司，
类型：发明
国别省市：