本申请涉及一种模型训练、视频质量提升方法、装置和计算机设备，涉及人工智能技术领域。所述方法包括：获取待训练的视频质量提升模型的第一视频样本和第二视频样本；根据第一视频样本和第二视频样本，对待训练的退化模型进行训练，得到训练后的退化模型；将待训练的视频质量提升模型中的待训练的退化模型，更新为训练后的退化模型，得到更新后的视频质量提升模型；根据第一视频样本和第二视频样本，对更新后的视频质量提升模型中的待训练的超分辨率模型进行训练，得到训练后的超分辨率模型；将更新后的视频质量提升模型中的待训练的超分辨率模型，更新为训练后的超分辨率模型，得到训练后的视频质量提升模型。采用本方法能够有效提升视频质量。效提升视频质量。效提升视频质量。
【技术实现步骤摘要】
模型训练、视频质量提升方法、装置和计算机设备
[0001]本申请涉及人工智能
，特别是涉及一种模型训练、视频质量提升方法、装置和计算机设备。
技术介绍
[0002]随着视频处理技术的发展，出现了真实世界视频超分辨率技术，通过研究退化模型，模拟真实世界的视频退化过程，可以利用退化得到的低分辨率视频来构造训练数据集，改善视频超分变率处理的效果。
[0003]现有技术中，采用深度学习网络对真实的高分辨率视频数据进行模拟退化，生成低分辨率视频，例如，双三次下采样、核估计和RealBASICVSR(真实视频超分辨率模型)等处理方法。其中，双三次下采样属于比较粗糙的线性退化，退化性能较差；核估计方法能够模拟退化方式有限，通常受限于已知退化方式；卷积网络通常聚焦于局部信息，长距离特征提取能力不足，无法充分利用视频帧的有效信息，准确性不足。
[0004]因此，目前的视频质量提升技术存在视频质量提升受限的问题。
技术实现思路
[0005]基于此，有必要针对上述技术问题，提供一种能够提升视频质量的模型训练、视频质量提升方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种用于视频质量提升的模型训练方法。所述方法包括：
[0007]获取待训练的视频质量提升模型的第一视频样本和第二视频样本；所述待训练的视频质量提升模型包含待训练的退化模型和待训练的超分辨率模型；所述第二视频样本的视频分辨率高于所述第一视频样本的视频分辨率；
[0008]根据所述第一视频样本和所述第二视频样本，对所述待训练的退化模型进行训练，得到训练后的退化模型；
[0009]将所述待训练的视频质量提升模型中的待训练的退化模型，更新为所述训练后的退化模型，得到更新后的视频质量提升模型；
[0010]根据所述第一视频样本和所述第二视频样本，对所述更新后的视频质量提升模型中的待训练的超分辨率模型进行训练，得到训练后的超分辨率模型；
[0011]将所述更新后的视频质量提升模型中的待训练的超分辨率模型，更新为所述训练后的超分辨率模型，得到训练后的视频质量提升模型。
[0012]在其中一个实施例中，所述根据所述第一视频样本和所述第二视频样本，对所述更新后的视频质量提升模型中的待训练的超分辨率模型进行训练，得到训练后的超分辨率模型，包括：
[0013]将所述第一视频样本从第一方向输入至所述更新后的视频质量提升模型，依次得到所述待训练的超分辨率模型输出的第一超分辨率视频和所述训练后的退化模型输出的第一退化视频，根据所述第一视频样本、所述第一超分辨率视频和所述第一退化视频，确定
第一损失值；
[0014]将所述第二视频样本从第二方向输入至所述更新后的视频质量提升模型，依次得到所述训练后的退化模型输出的第二退化视频和所述待训练的超分辨率模型输出的第二超分辨率视频，根据所述第二视频样本、所述第二退化视频和所述第二超分辨率视频，确定第二损失值；
[0015]根据所述第一损失值和所述第二损失值，对所述更新后的视频质量提升模型进行训练，得到所述训练后的超分辨率模型。
[0016]在其中一个实施例中，所述根据所述第一视频样本、所述第一超分辨率视频和所述第一退化视频，确定第一损失值，包括：
[0017]根据所述第一视频样本和所述第一退化视频，确定循环一致性损失值；
[0018]根据所述第一视频样本和所述第一超分辨率视频，确定结构感知损失值；
[0019]根据所述第一超分辨率视频和所述第二视频样本，确定联合对抗损失值；
[0020]根据所述循环一致性损失值、所述结构感知损失值和所述联合对抗损失值，得到所述第一损失值。
[0021]在其中一个实施例中，所述根据所述第一视频样本和所述第二视频样本，对所述待训练的退化模型进行训练，得到训练后的退化模型，包括：
[0022]将所述第二视频样本输入至所述待训练的退化模型，得到所述第二视频样本对应的第三退化视频；
[0023]根据所述第二视频样本、所述第三退化视频和所述第一视频样本，确定第三损失值；
[0024]根据所述第三损失值，对所述待训练的退化模型进行训练，得到所述训练后的退化模型。
[0025]在其中一个实施例中，所述将所述第二视频样本输入至所述待训练的退化模型，得到所述第二视频样本对应的第三退化视频，包括：
[0026]对所述第二视频样本对应的视频帧序列进行分组，得到至少一组视频帧；
[0027]将每组所述视频帧并行输入至所述待训练的退化模型，通过所述待训练的退化模型对所述视频帧进行特征融合，得到视频帧融合特征；
[0028]根据所述视频帧融合特征进行视频重建，得到所述第三退化视频。
[0029]第二方面，本申请提供了一种视频质量提升方法。所述方法包括：
[0030]对第一视频对应的视频帧序列进行分组，得到至少一组第一视频帧；
[0031]将每组所述第一视频帧输入至训练后的视频质量提升模型，得到所述训练后的视频质量提升模型输出的第二视频帧；所述训练后的视频质量提升模型根据用于视频质量提升的模型训练方法训练得到；
[0032]对所述第二视频帧进行组合，得到第二视频；所述第二视频的视频分辨率高于所述第一视频的视频分辨率；
[0033]根据预设的视频显示参数，对所述第二视频进行参数调整，得到目标第二视频。
[0034]第三方面，本申请还提供了一种用于视频质量提升的模型训练装置。所述装置包括：
[0035]样本获取模块，用于获取待训练的视频质量提升模型的第一视频样本和第二视频
样本；所述待训练的视频质量提升模型包含待训练的退化模型和待训练的超分辨率模型；所述第二视频样本的视频分辨率高于所述第一视频样本的视频分辨率；
[0036]第一训练模块，用于根据所述第一视频样本和所述第二视频样本，对所述待训练的退化模型进行训练，得到训练后的退化模型；
[0037]第一更新模块，用于将所述待训练的视频质量提升模型中的待训练的退化模型，更新为所述训练后的退化模型，得到更新后的视频质量提升模型；
[0038]第二训练模块，用于根据所述第一视频样本和所述第二视频样本，对所述更新后的视频质量提升模型中的待训练的超分辨率模型进行训练，得到训练后的超分辨率模型；
[0039]第二更新模块，用于将所述更新后的视频质量提升模型中的待训练的超分辨率模型，更新为所述训练后的超分辨率模型，得到训练后的视频质量提升模型。
[0040]第四方面，本申请还提供了一种视频质量提升装置。所述装置包括：
[0041]视频分组模块，用于对第一视频对应的视频帧序列进行分组，得到至少一组第一视频帧；
[0042]质量提升模块，用于将每组所述第一视频帧输入至训练后的视频质量提升模型，得到所述训练后的视频质量提升模型输出的第二视频帧；所述训练后的视频质量提升模型根据用本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于视频质量提升的模型训练方法，其特征在于，所述方法包括：获取待训练的视频质量提升模型的第一视频样本和第二视频样本；所述待训练的视频质量提升模型包含待训练的退化模型和待训练的超分辨率模型；所述第二视频样本的视频分辨率高于所述第一视频样本的视频分辨率；根据所述第一视频样本和所述第二视频样本，对所述待训练的退化模型进行训练，得到训练后的退化模型；将所述待训练的视频质量提升模型中的待训练的退化模型，更新为所述训练后的退化模型，得到更新后的视频质量提升模型；根据所述第一视频样本和所述第二视频样本，对所述更新后的视频质量提升模型中的待训练的超分辨率模型进行训练，得到训练后的超分辨率模型；将所述更新后的视频质量提升模型中的待训练的超分辨率模型，更新为所述训练后的超分辨率模型，得到训练后的视频质量提升模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一视频样本和所述第二视频样本，对所述更新后的视频质量提升模型中的待训练的超分辨率模型进行训练，得到训练后的超分辨率模型，包括：将所述第一视频样本从第一方向输入至所述更新后的视频质量提升模型，依次得到所述待训练的超分辨率模型输出的第一超分辨率视频和所述训练后的退化模型输出的第一退化视频，根据所述第一视频样本、所述第一超分辨率视频和所述第一退化视频，确定第一损失值；将所述第二视频样本从第二方向输入至所述更新后的视频质量提升模型，依次得到所述训练后的退化模型输出的第二退化视频和所述待训练的超分辨率模型输出的第二超分辨率视频，根据所述第二视频样本、所述第二退化视频和所述第二超分辨率视频，确定第二损失值；根据所述第一损失值和所述第二损失值，对所述更新后的视频质量提升模型进行训练，得到所述训练后的超分辨率模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一视频样本、所述第一超分辨率视频和所述第一退化视频，确定第一损失值，包括：根据所述第一视频样本和所述第一退化视频，确定循环一致性损失值；根据所述第一视频样本和所述第一超分辨率视频，确定结构感知损失值；根据所述第一超分辨率视频和所述第二视频样本，确定联合对抗损失值；根据所述循环一致性损失值、所述结构感知损失值和所述联合对抗损失值，得到所述第一损失值。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一视频样本和所述第二视频样本，对所述待训练的退化模型进行训练，得到训练后的退化模型，包括：将所述第二视频样本输入至所述待训练的退化模型，得到所述第二视频样本对应的第三退化视频；根据所述第二视频样本、所述第三退化视频和所述第一视频样本，确定第三损失值；根据所述第三损失值，对所述待训练的退化模型进行训练，得到所述训练后的退化模型。
5.根据权利要求4所述的方法，其特征在于，所述将所述第二视频样本输入至所述待训练的退化模型，得到所述第二...
【专利技术属性】
技术研发人员：徐雪，杨洁琼，张楚熠，张驰，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。