本申请实施例公开了一种视频帧图像的实时增强处理方法及装置，其中，该方法包括：获取包含有图像样本对的图像样本集；将图像样本对中的低质量图像输入至初始增强模型中进行训练，生成增强图像，并通过在模型尾部处设置的图像放大层对增强图像进行放大处理；根据放大后的增强图像和高质量图像调整模型的权重参数，直至满足迭代结束条件，得到经过训练的初始增强模型，并从经过训练的初始增强模型中移除图像放大层得到目标增强模型；利用目标增强模型对待处理视频中各个帧图像进行增强处理得到增强帧图像。本申请通过在模型尾部处添加图像放大层，提高了模型训练要求，有效提升了模型的图像增强效果，且能够高效地实现对视频画面的实时增强处理。画面的实时增强处理。画面的实时增强处理。
【技术实现步骤摘要】
视频帧图像的实时增强处理方法及装置
[0001]本申请实施例涉及互联网
，具体涉及一种视频帧图像的实时增强处理方法及装置。
技术介绍
[0002]视频画面质量是影响用户观看体验的关键因素。由于受到多种因素的影响，尤其是在直播场景中，视频画面质量时常无法得到保证，影响了用户的观看体验。为了提升画面质量，可采用画面增强算法对图像进行增强处理，然而，现有的画面增强算法通常需要对每个像素位置进行复杂的计算，其计算量较大，处理速度较慢，难以适用于对于实时性要求较高的场景。
技术实现思路
[0003]鉴于上述问题，本申请提出了一种视频帧图像的实时增强处理方法、装置、计算设备及计算机存储介质，用于解决以下问题：现有的画面增强算法的计算量较大，处理速度较慢，难以适用于对于实时性要求较高的场景。
[0004]根据本申请实施例的一个方面，提供了一种视频帧图像的实时增强处理方法，包括：
[0005]获取包含有图像样本对的图像样本集，每个图像样本对包括低质量图像和低质量图像对应的高质量图像；
[0006]将图像样本对中的低质量图像输入至初始增强模型中进行训练，生成对应的增强图像，并通过在初始增强模型中尾部处设置的图像放大层对增强图像进行放大处理；
[0007]根据放大后的增强图像和图像样本对中的高质量图像，调整初始增强模型的权重参数，直至满足迭代结束条件，得到经过训练的初始增强模型，并从经过训练的初始增强模型中移除图像放大层得到目标增强模型；
[0008]利用目标增强模型对待处理视频中的各个帧图像进行增强处理，得到各个帧图像对应的增强帧图像。
[0009]进一步地，将图像样本对中的低质量图像输入至初始增强模型中进行训练，生成对应的增强图像进一步包括：
[0010]在初始增强模型中，对低质量图像进行特征提取得到特征图，采用像素逆重组操作对特征图进行下采样，并通过卷积层和网络基础块对下采样后的特征图进行处理得到处理后的特征图；
[0011]采用像素重组操作对处理后的特征图进行上采样，生成低质量图像对应的增强图像。
[0012]进一步地，通过在初始增强模型中尾部处设置的图像放大层对增强图像进行放大处理进一步包括：
[0013]通过图像放大层采用双线性插值操作对增强图像进行放大处理，以将增强图像的
图像尺寸放大至N倍，得到放大后的增强图像；其中，N大于1。
[0014]进一步地，图像样本对中所包括的高质量图像的图像尺寸是低质量图像的N倍。
[0015]进一步地，根据放大后的增强图像和图像样本对中的高质量图像，调整初始增强模型的权重参数进一步包括：
[0016]对低质量图像进行边缘检测，得到边缘检测结果；
[0017]依据边缘检测结果，构造基于边缘权重的损失函数；
[0018]依据损失函数，计算放大后的增强图像与图像样本对中的高质量图像之间的损失，得到损失函数的输出值；
[0019]根据输出值，进行反向传播，调整初始增强模型的权重参数。
[0020]进一步地，依据边缘检测结果，构造基于边缘权重的损失函数进一步包括：
[0021]依据边缘检测结果生成mask图，mask图中记录有各个像素位置的边缘权重；
[0022]根据mask图中所记录的各个像素位置的边缘权重，构造基于边缘权重的损失函数。
[0023]进一步地，迭代结束条件可包括：迭代次数达到迭代次数阈值；和/或，损失函数的输出值小于损失阈值。
[0024]进一步地，利用目标增强模型对待处理视频中的各个帧图像进行增强处理，得到各个帧图像对应的增强帧图像进一步包括：
[0025]采用帧并行方式，利用目标增强模型对待处理视频中的各个帧图像进行增强处理，得到各个帧图像对应的增强帧图像。
[0026]进一步地，采用帧并行方式，利用目标增强模型对待处理视频中的各个帧图像进行增强处理，得到各个帧图像对应的增强帧图像进一步包括：
[0027]将目标增强模型部署在多个图像处理器中；
[0028]将待处理视频中的各个帧图像分发至多个图像处理器，由多个图像处理器运行所部署的目标增强模型对接收到的帧图像进行增强处理，得到帧图像对应的增强帧图像。
[0029]进一步地，在利用目标增强模型对待处理视频中的各个帧图像进行增强处理，得到各个帧图像对应的增强帧图像之后，方法还包括：
[0030]按照各个帧图像在待处理视频中的排列顺序，对各个帧图像对应的增强帧图像进行排列，形成增强视频。
[0031]进一步地，低质量图像为图像质量参数低于预设阈值的图像，高质量图像为图像质量参数高于预设阈值的图像。
[0032]根据本申请实施例的另一方面，提供了一种视频帧图像的实时增强处理装置，包括：
[0033]获取模块，适于获取包含有图像样本对的图像样本集，每个图像样本对包括低质量图像和低质量图像对应的高质量图像；
[0034]训练模块，适于将图像样本对中的低质量图像输入至初始增强模型中进行训练，生成对应的增强图像，并通过在初始增强模型中尾部处设置的图像放大层对增强图像进行放大处理；根据放大后的增强图像和图像样本对中的高质量图像，调整初始增强模型的权重参数，直至满足迭代结束条件，得到经过训练的初始增强模型，并从经过训练的初始增强模型中移除图像放大层得到目标增强模型；
[0035]应用模块，适于利用目标增强模型对待处理视频中的各个帧图像进行增强处理，得到各个帧图像对应的增强帧图像。
[0036]根据本申请实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
[0037]存储器用于存放至少一可执行指令，可执行指令使处理器执行上述视频帧图像的实时增强处理方法对应的操作。
[0038]根据本申请实施例的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述视频帧图像的实时增强处理方法对应的操作。
[0039]根据本申请实施例提供的视频帧图像的实时增强处理方法及装置，在模型训练阶段，在初始增强模型中的尾部处添加了无需参数训练的图像放大层，通过图像放大层对模型生成的低质量图像对应的增强图像进行放大处理，提高了模型训练要求，提高了模拟真实图像的难度；从经过训练的初始增强模型中移除图像放大层后作为目标增强模型，目标增强模型不仅具有较好的图像增强效果，而且具有较高的处理速度；在特征图转换的过程中采用像素逆重组操作和像素重组操作，能够在保证图像增强效果的前提下大幅度地缩小模型的计算量，加快处理速度；并且，将图像的边缘特征融入至损失函数中构造基于边缘权重的损失函数，有效地引导模型优先学习对于人眼来说更为敏感的高频信号，获得更好的图像增强效果，更好地保护画面纹理细节；另外，将目标增强模型部署在多个图像处理器中，采用帧并行方式，利用目标增强模型对待处理视频中的各个帧图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频帧图像的实时增强处理方法，包括：获取包含有图像样本对的图像样本集，每个图像样本对包括低质量图像和所述低质量图像对应的高质量图像；将所述图像样本对中的低质量图像输入至初始增强模型中进行训练，生成对应的增强图像，并通过在所述初始增强模型中尾部处设置的图像放大层对所述增强图像进行放大处理；根据放大后的增强图像和所述图像样本对中的高质量图像，调整所述初始增强模型的权重参数，直至满足迭代结束条件，得到经过训练的初始增强模型，并从所述经过训练的初始增强模型中移除所述图像放大层得到目标增强模型；利用所述目标增强模型对待处理视频中的各个帧图像进行增强处理，得到所述各个帧图像对应的增强帧图像。2.根据权利要求1所述的方法，其中，所述将所述图像样本对中的低质量图像输入至初始增强模型中进行训练，生成对应的增强图像进一步包括：在所述初始增强模型中，对所述低质量图像进行特征提取得到特征图，采用像素逆重组操作对所述特征图进行下采样，并通过卷积层和网络基础块对下采样后的特征图进行处理得到处理后的特征图；采用像素重组操作对所述处理后的特征图进行上采样，生成所述低质量图像对应的增强图像。3.根据权利要求1所述的方法，其中，所述通过在所述初始增强模型中尾部处设置的图像放大层对所述增强图像进行放大处理进一步包括：通过所述图像放大层采用双线性插值操作对所述增强图像进行放大处理，以将所述增强图像的图像尺寸放大至N倍，得到放大后的增强图像；其中，N大于1。4.根据权利要求3所述的方法，其中，所述图像样本对中所包括的高质量图像的图像尺寸是低质量图像的N倍。5.根据权利要求1
‑
4任一项所述的方法，其中，所述根据放大后的增强图像和所述图像样本对中的高质量图像，调整所述初始增强模型的权重参数进一步包括：对所述低质量图像进行边缘检测，得到边缘检测结果；依据所述边缘检测结果，构造基于边缘权重的损失函数；依据所述损失函数，计算所述放大后的增强图像与所述图像样本对中的高质量图像之间的损失，得到所述损失函数的输出值；根据所述输出值，进行反向传播，调整所述初始增强模型的权重参数。6.根据权利要求5所述的方法，其中，所述依据所述边缘检测结果，构造基于边缘权重的损失函数进一步包括：依据所述边缘检测结果生成mask图，所述mask图中记录有各个像素位置的边缘权重；根据所述mask图中所记录的各个像素位置的边缘权重，构造基于边缘权重的损失函数。7.根据权利要求1
‑
6任一项所述的方法，其中，所述迭代结束条件可包括：迭代次数达到迭代次数阈值；和/或，损失函数的输出值小于损失阈值。8.根据权利要求1
‑
【专利技术属性】
技术研发人员：张雅君，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。