本申请公开了一种移动端视频画质增强的方法、装置、介质及电子设备，首先获取视频第一帧的图像，作为第一图像，并将第一图像输入预先训练的图像增强模型中，以获取图像增强模型输出的第一增强图像，获取下一帧的图像，作为第二图像，并将第一图像和第二图像输入预先训练的光流估计模型中，以获取光流估计模型输出的稠密光流和光流评价值，若光流评价值超过阈值，则将第一增强图像、第二图像和稠密光流输入预先训练的光流增强模型中，确定第二增强图像，之后将第二图像作为第一图像，将第二增强图像作为第一增强图像，并获取下一帧的图像，将下一帧的图像作为第二图像，重复上述优化第二图像的过程，直到所有图像均被优化后停止。直到所有图像均被优化后停止。直到所有图像均被优化后停止。
【技术实现步骤摘要】
一种移动端视频画质增强的方法、装置、介质及电子设备
[0001]本申请涉及计算机
，尤其涉及一种移动端视频画质增强的方法、装置、介质及电子设备。
技术介绍
[0002]为了提高用户观看视频的用户体验，往往会使用视频增强技术，以提高用户所观看到的视频的清晰度，而由于提升视频的清晰度需要使用到复杂的神经网络，需要占用大量的算力资源，因此难以在用户所使用的客户端中提升视频的清晰度。
[0003]目前，提高用户所观看到的视频的清晰度的方式主要为：将视频上传至云端服务器，由云端服务器通过复杂的神经网络，提高视频的清晰度后，将提升清晰度的视频发送到用户所使用的客户端。
[0004]这种方式虽然能提升用户所看到的视频的清晰度，当时需要先将视频上传到云端服务器，之后又需要从云端服务器下载视频，受限于客户端的网络状态和云端服务器的负载状态，可能会导致视频播放的卡顿。
[0005]因此，如何提升视频的清晰度的同时，保证视频播放的流畅性，则是一个亟待解决的问题。
技术实现思路
[0006]本申请提供一种移动端视频画质增强的方法、装置、介质及电子设备，以部分的解决提升视频的清晰度的同时，保证视频播放的流畅性的技术问题。
[0007]本申请采用下述技术方案：
[0008]本申请提供了一种移动端视频画质增强的方法，包括：
[0009]获取视频第一帧的图像，作为第一图像，并将所述第一图像输入预先训练的图像增强模型中，以获取所述图像增强模型输出的第一增强图像；
[0010]获取下一帧的图像，作为第二图像，并将所述第一图像和所述第二图像输入预先训练的光流估计模型中，以获取所述光流估计模型输出的稠密光流和光流评价值；
[0011]若所述光流评价值超过阈值，则将所述第一增强图像、所述第二图像和所述稠密光流输入预先训练的光流增强模型中，确定第二增强图像；
[0012]将所述第二图像作为第一图像，将所述第二增强图像作为第一增强图像，并获取下一帧的图像，将下一帧的图像作为第二图像，重复上述优化所述第二图像的过程，以获取新确定的所述第二图像的增强图像，直到所有图像均被优化后停止。
[0013]可选地，若所述光流评价值超过阈值，则将所述第一增强图像、所述第二图像和所述稠密光流输入预先训练的光流增强模型中，确定第二增强图像，具体包括：
[0014]若所述光流评价值未超过阈值，则将所述第二图像输入预先训练的图像增强模型中，确定第二增强图像。
[0015]可选地，获取视频第一帧的图像，作为第一图像，具体包括：
[0016]获取视频第一帧的图像，并将视频第一帧的图像压缩为预设分辨率的图像；
[0017]将压缩后的图像作为第一压缩图像。
[0018]可选地，训练所述光流增强模型，具体包括：
[0019]获取训练样本，其中，所述训练样本包括：第三图像的真实图像、第四图像的真实图像、退化后的第四退化图像和稠密光流，其中，所述第三图像的真实图像和所述第四图像的真实图像是通过提取高清视频中的某两个连续的帧获取的，所述第四退化图像通过对所述第四图像的真实图像加入噪声、加入模糊、降低分辨率得到，所述稠密光流是通过预设的算法，将退化后的第三退化图像和所述第四退化图像作为输入得到；
[0020]将所述第三图像的真实图像、所述第四退化图像以及所述稠密光流输入待训练的所述光流增强模型中，获取所述光流增强模型输出的预测的第四增强图像；
[0021]以最小化所述预测的第四增强图像和所述第四图像的真实图像之间的差异为优化目标，对所述光流增强模型进行训练。
[0022]可选地，训练所述光流估计模型，具体包括：
[0023]获取训练样本，其中，所述训练样本包括：所述第三退化图像、所述第四退化图像、所述稠密光流的真实值，其中，所述稠密光流的真实值通过预设的算法将所述第三退化图像和所述第四退化图像作为输入得到；
[0024]将所述第三退化图像以及所述第四退化图像输入待训练的所述光流估计模型中，获取所述光流估计模型输出的预测的稠密光流；
[0025]以最小化所述预测的稠密光流和所述稠密光流的真实值之间的差异为优化目标，对所述光流增强模型进行训练。
[0026]可选地，训练所述光流估计模型、训练所述光流增强模型，具体包括：
[0027]获取训练样本，其中，所述训练样本包括：所述第三图像的真实图像、所述第三退化图像、所述第四图像的真实图像、所述第四退化图像；
[0028]将所述第三退化图像以及所述第四退化图像输入待训练的所述光流估计模型中，获取所述光流估计模型输出的预测的稠密光流和预测的光流得分；
[0029]将所述预测的稠密光流、所述第三图像的真实图像、所述第四退化图像输入待训练的所述光流增强模型中，获取所述光流增强模型输出的预测的第四增强图像；
[0030]根据所述预测的第四增强图像、所述第四图像的真实图像，确定光流评价值的真实值；
[0031]以最小化所述预测的第四增强图像和所述第四图像的真实图像之间的差异，以及以最小化所述预测的光流评价值和光流评价值的真实值为优化目标，对所述光流估计模型以及光流增强模型进行联合训练。
[0032]可选地，根据所述预测的第四增强图像、第四图像的真实图像，确定光流评价值的真实值，具体包括：
[0033]根据所述预测的第四增强图像、所述第四图像的真实图像，确定所述预测的第四增强图像和所述第四图像的真实图像中各位置的像素的平均颜色相似度；
[0034]根据所述平均颜色相似度确定所述光流评价值的真实值。
[0035]本申请提供了一种移动端视频画质增强的装置，包括：
[0036]第一获取模块，用于获取视频第一帧的图像，作为第一图像，并将所述第一图像输
入预先训练的图像增强模型中，以获取所述图像增强模型输出的第一增强图像；
[0037]第二获取模块，用于获取下一帧的图像，作为第二图像，并将所述第一图像和所述第二图像输入预先训练的光流估计模型中，以获取所述光流估计模型输出的稠密光流和光流评价值；
[0038]确定模块，用于若所述光流评价值超过阈值，则将所述第一增强图像、所述第二图像和所述稠密光流输入预先训练的光流增强模型中，确定第二增强图像；
[0039]循环模块，用于将所述第二图像作为第一图像，将所述第二增强图像作为第一增强图像，并获取下一帧的图像，将下一帧的图像作为第二图像，重复上述优化所述第二图像的过程，以获取新确定的所述第二图像的增强图像，直到所有图像均被优化后停止。
[0040]本申请提供了一种计算机可读介质，所述介质存储有计算机程序，所述计算机程序被处理器执行时实现上述移动端视频画质增强的方法。
[0041]本申请提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述移动端视频画质增强的方法。
[0042]本本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种移动端视频画质增强的方法，其特征在于：获取视频第一帧的图像，作为第一图像，并将所述第一图像输入预先训练的图像增强模型中，以获取所述图像增强模型输出的第一增强图像；获取下一帧的图像，作为第二图像，并将所述第一图像和所述第二图像输入预先训练的光流估计模型中，以获取所述光流估计模型输出的稠密光流和光流评价值；若所述光流评价值超过阈值，则将所述第一增强图像、所述第二图像和所述稠密光流输入预先训练的光流增强模型中，确定第二增强图像；将所述第二图像作为第一图像，将所述第二增强图像作为第一增强图像，并获取下一帧的图像，将下一帧的图像作为第二图像，重复上述优化所述第二图像的过程，以获取新确定的所述第二图像的增强图像，直到所有图像均被优化后停止。2.根据权利要求1所述的方法，其特征在于，若所述光流评价值超过阈值，则将所述第一增强图像、所述第二图像和所述稠密光流输入预先训练的光流增强模型中，确定第二增强图像，具体包括：若所述光流评价值未超过阈值，则将所述第二图像输入预先训练的图像增强模型中，确定第二增强图像。3.根据权利要求1所述的方法，其特征在于，获取视频第一帧的图像，作为第一图像，具体包括：获取视频第一帧的图像，并将视频第一帧的图像压缩为预设分辨率的图像；将压缩后的图像作为第一压缩图像。4.根据权利要求1所述的方法，其特征在于，训练所述光流增强模型，具体包括：获取训练样本，其中，所述训练样本包括：第三图像的真实图像、第四图像的真实图像、退化后的第四退化图像和稠密光流，其中，所述第三图像的真实图像和所述第四图像的真实图像是通过提取高清视频中的某两个连续的帧获取的，所述第四退化图像通过对所述第四图像的真实图像加入噪声、加入模糊、降低分辨率得到，所述稠密光流是通过预设的算法，将退化后的第三退化图像和所述第四退化图像作为输入得到；将所述第三图像的真实图像、所述第四退化图像以及所述稠密光流输入待训练的所述光流增强模型中，获取所述光流增强模型输出的预测的第四增强图像；以最小化所述预测的第四增强图像和所述第四图像的真实图像之间的差异为优化目标，对所述光流增强模型进行训练。5.根据权利要求1所述的方法，其特征在于，训练所述光流估计模型，具体包括：获取训练样本，其中，所述训练样本包括：所述第三退化图像、所述第四退化图像和所述稠密光流的真实值；将所述第三退化图像以及所述第四退化图像输入待训练的所述光流估计模型中，获取所述光流估计模型输出的预测的稠密光流；以最小化所述预测的稠密光流和所述稠密光流的真实值之间的差异为优化目...
【专利技术属性】
技术研发人员：邹秀鸿，
申请(专利权)人：广州光锥元信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。