图像画质增强方法、画质增强模型训练方法及相关装置制造方法及图纸

本发明专利技术涉及图像处理技术领域，提供一种图像画质增强方法、画质增强模型训练方法及相关装置。将待处理低质图像输入画质增强模型，画质增强模型包括预测网络、转换网络和多种业务类型分别匹配的多个增强网络；利用预测网络对待处理低质图像进行退化估计得到目标退化向量；并利用转换网络将目标退化向量转换为目标权重向量；基于目标权重向量和全部增强网络合成与待处理低质图像匹配的目标联合增强网络，且利用目标联合增强网络对待处理低质图像进行画质增强，得到待处理低质图像对应的高质图像。通过合成与提升低质图像画质需要的画质增强能力所匹配的联合增强网络来进行画质增强，可以针对性地改善低质图像的画质，提高了画质增强效果。增强效果。增强效果。

【技术实现步骤摘要】
图像画质增强方法、画质增强模型训练方法及相关装置


[0001]本专利技术涉及图像处理
，具体而言，涉及一种图像画质增强方法、画质增强模型训练方法及相关装置。

技术介绍

[0002]随着用户对图像画面的质量需求不断增加，越来越多的业务场景需要对图像的画质进行增强，例如老电影修复场景、娱乐直播场景、游戏场景等。目前通常是采用一个大容量模型来对多个业务场景下的低质量图像进行画质增强以得到高质量图像，但是这种方式的计算量大，容易产生延迟，会影响用户体验。虽然还有采用根据不同的业务场景建立不同的模型来进行画质增强的方式，但是这种方式下各个模型的画质提升能力有限，所以会导致画质增强的效果不佳。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种图像画质增强方法、画质增强模型训练方法及相关装置。
[0004]为了实现上述目的，本专利技术采用的技术方案如下：
[0005]第一方面，本专利技术提供一种图像画质增强方法，所述图像画质增强方法包括：
[0006]将待处理低质图像输入画质增强模型，所述画质增强模型包括预测网络、转换网络和多个增强网络，所述多个增强网络分别与多种业务类型匹配；
[0007]利用所述预测网络对所述待处理低质图像进行退化估计得到目标退化向量，所述目标退化向量表示所述待处理低质图像的画质相较于每种业务类型的预设标准画质的退化程度；
[0008]利用所述转换网络将所述目标退化向量转换为目标权重向量，所述目标权重向量表示所述待处理低质图像与每种业务类型的匹配概率；
[0009]基于所述目标权重向量和全部增强网络合成与所述待处理低质图像匹配的目标联合增强网络；
[0010]利用所述目标联合增强网络对所述待处理低质图像进行画质增强，得到所述待处理低质图像对应的高质图像。
[0011]在可选的实施方式中，所述利用所述转换网络将所述目标退化向量转换为目标权重向量的步骤，包括：
[0012]利用所述转换网络对所述目标退化向量进行特征提取得到目标特征向量，并对所述目标特征向量进行维度变换获得每个所述增强网络对应的权重值，得到所述目标权重向量。
[0013]在可选的实施方式中，每个所述增强网络均包括相同数目个卷积层；
[0014]所述基于所述目标权重向量和全部增强网络合成与所述待处理低质图像匹配的目标联合增强网络的步骤，包括：
[0015]从所述目标权重向量中获取每个所述增强网络对应的权重值；
[0016]基于每个所述增强网络中的第i个卷积层合成第i个联合卷积层，并基于每个所述增强网络对应的权重值及其第i个卷积层的参数值，计算第i个联合卷积层的参数值，得到包括多个联合卷积层的目标联合增强网络，i为正整数。
[0017]在可选的实施方式中，所述目标联合增强网络包括多个联合卷积层；
[0018]所述利用所述目标联合增强网络对所述待处理低质图像进行画质增强，得到所述待处理低质图像对应的高质图像的步骤，包括：
[0019]将所述待处理低质图像作为输入特征且将所述目标联合增强网络中的第一个联合卷积层作为目标联合卷积层；
[0020]利用所述目标联合卷积层对所述输入特征进行卷积操作得到输出特征；
[0021]将所述输出特征作为所述输入特征且将所述目标联合卷积层的后一个联合卷积层作为所述目标联合卷积层后，重新执行所述利用所述目标联合卷积层对所述输入特征进行卷积操作得到输出特征的步骤，直至所述目标联合卷积层为最后一个联合卷积层，得到所述待处理低质图像对应的高质图像。
[0022]第二方面，本专利技术提供一种画质增强模型训练方法，所述画质增强模型训练方法包括：
[0023]获取多种业务类型分别对应的图像样本集；
[0024]基于全部图像样本集对基础预测网络进行训练，得到预训练预测网络；
[0025]基于每种业务类型所对应的图像样本集，对每个基础增强网络进行训练，得到每种业务类型所匹配的预训练增强网络；
[0026]基于全部图像样本集对所述预训练预测网络、基础转换网络和每个所述预训练增强网络进行联合训练，获得画质增强模型；
[0027]所述画质增强模型用于实现前述实施方式中任一项所述的图像画质增强方法。
[0028]在可选的实施方式中，每个所述图像样本集均包括多个高质图像样本；
[0029]所述基于全部图像样本集对基础预测网络进行训练，得到预训练预测网络的步骤，包括：
[0030]对于每个所述高质图像样本，从每个预设的退化参数范围中随机获取每个退化参数的值得到初始退化向量，并基于所述初始退化向量对所述高质图像样本进行退化操作获得待定低质图像，得到每个待定低质图像；
[0031]对每个所述初始退化向量进行归一化操作，得到每个待定低质图像对应的实际退化向量；
[0032]利用所述基础预测网络对每个所述待定低质图像进行退化估计，得到每个所述待定低质图像对应的预测退化向量；
[0033]基于每个所述待定低质图像对应的实际退化向量和预测退化向量以及预设的第一损失函数，对所述基础预测网络进行训练得到所述预训练预测网络。
[0034]在可选的实施方式中，每个所述图像样本集均包括多个高质图像样本及其对应低质图像样本；
[0035]所述基于全部图像样本集对所述预训练预测网络、基础转换网络和每个所述预训练增强网络进行联合训练，获得所述画质增强模型的步骤，包括：
[0036]对于每个所述低质图像样本，利用所述预训练预测网络对所述低质图像样本进行退化估计得到退化向量样本，所述退化向量样本表示所述低质图像样本的画质相较于每种业务类型的预设标准画质的退化程度；
[0037]利用基础转换网络将所述退化向量样本转换为权重向量样本，所述权重向量样本表示所述低质图像样本与每种业务类型的匹配概率；
[0038]基于所述权重向量样本和全部预训练增强网络合成与所述低质图像样本匹配的基础联合增强网络；
[0039]利用所述基础联合增强网络对所述低质图像样本进行画质增强获得所述低质图像样本对应的增强高质图像，得到每个所述低质图像样本对应的增强高质图像；
[0040]基于每个所述低质图像样本对应的高质图像样本和增强高质图像以及预设的第二损失函数，对所述预训练预测网络、所述基础转换网络和每个所述预训练增强网络进行联合训练，得到所述画质增强模型。
[0041]第三方面，本专利技术提供一种图像画质增强装置，所述图像画质增强装置包括：
[0042]输入模块，用于将待处理低质图像输入画质增强模型，所述画质增强模型包括预测网络、转换网络和多个增强网络，所述多个增强网络分别与多种业务类型匹配；
[0043]预测模块，用于利用所述预测网络对所述待处理低质图像进行退化估计得到目标退化向量，所述目标退化向量表示所述待处理低质图像的画质相较于每种业务类型的预设标准画质的退化程度；
[0044]转换模块，用于利用所述转换网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像画质增强方法，其特征在于，所述图像画质增强方法包括：将待处理低质图像输入画质增强模型，所述画质增强模型包括预测网络、转换网络和多个增强网络，所述多个增强网络分别与多种业务类型匹配；利用所述预测网络对所述待处理低质图像进行退化估计得到目标退化向量，所述目标退化向量表示所述待处理低质图像的画质相较于每种业务类型的预设标准画质的退化程度；利用所述转换网络将所述目标退化向量转换为目标权重向量，所述目标权重向量表示所述待处理低质图像与每种业务类型的匹配概率；基于所述目标权重向量和全部增强网络合成与所述待处理低质图像匹配的目标联合增强网络；利用所述目标联合增强网络对所述待处理低质图像进行画质增强，得到所述待处理低质图像对应的高质图像。2.根据权利要求1所述的图像画质增强方法，其特征在于，所述利用所述转换网络将所述目标退化向量转换为目标权重向量的步骤，包括：利用所述转换网络对所述目标退化向量进行特征提取得到目标特征向量，并对所述目标特征向量进行维度变换获得每个所述增强网络对应的权重值，得到所述目标权重向量。3.根据权利要求1所述的图像画质增强方法，其特征在于，每个所述增强网络均包括相同数目个卷积层；所述基于所述目标权重向量和全部增强网络合成与所述待处理低质图像匹配的目标联合增强网络的步骤，包括：从所述目标权重向量中获取每个所述增强网络对应的权重值；基于每个所述增强网络中的第i个卷积层合成第i个联合卷积层，并基于每个所述增强网络对应的权重值及其第i个卷积层的参数值，计算第i个联合卷积层的参数值，得到包括多个联合卷积层的目标联合增强网络，i为正整数。4.根据权利要求1所述的图像画质增强方法，其特征在于，所述目标联合增强网络包括多个联合卷积层；所述利用所述目标联合增强网络对所述待处理低质图像进行画质增强，得到所述待处理低质图像对应的高质图像的步骤，包括：将所述待处理低质图像作为输入特征且将所述目标联合增强网络中的第一个联合卷积层作为目标联合卷积层；利用所述目标联合卷积层对所述输入特征进行卷积操作得到输出特征；将所述输出特征作为所述输入特征且将所述目标联合卷积层的后一个联合卷积层作为所述目标联合卷积层后，重新执行所述利用所述目标联合卷积层对所述输入特征进行卷积操作得到输出特征的步骤，直至所述目标联合卷积层为最后一个联合卷积层，得到所述待处理低质图像对应的高质图像。5.一种画质增强模型训练方法，其特征在于，所述画质增强模型训练方法包括：获取多种业务类型分别对应的图像样本集；基于全部图像样本集对基础预测网络进行训练，得到预训练预测网络；基于每种业务类型所对应的图像样本集，对每个基础增强网络进行训练，得到每种业
务类型所匹配的预训练增强网络；基于全部图像样本集对所述预训练预测网络、基础转换网络和每个所述预训练增强网络进行联合训练，获得画质增强模型；所述画质增强模型用于实现权利要求1至4中任一项所述的图像画质增强方法。6.根据权利要求5所述的画质增强模型训练方法，其特征在于，每个所述图像样本集均包括多个高质图像样本；所述基于全部图像样本集对基础预测网络进行训练，得到预训...

【专利技术属性】
技术研发人员：周凡，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：