视频增强方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请提供了一种基于人工智能的视频增强方法、装置、电子设备、计算机可读存储介质及计算机程序产品；方法包括：获取视频帧的初始查找表；当视频帧不具有相邻视频帧，视频帧与相邻视频帧属于不同镜头时，将视频帧的初始查找表作为视频帧的增强查找表；当视频帧具有相邻视频帧，且视频帧与相邻视频帧属于相同镜头时，获取视频帧的相邻视频帧的增强查找表，对相邻视频帧的增强查找表与视频帧的初始查找表进行融合处理，得到视频帧的增强查找表；基于视频帧的增强查找表，对视频帧进行图像增强处理，得到视频帧的增强图像，并对多个增强图像进行编码处理，得到所述视频的增强视频。通过本申请，能够提高视频增强的时域稳定性以提升视频增强效果。升视频增强效果。升视频增强效果。

【技术实现步骤摘要】
视频增强方法、装置、设备、存储介质及程序产品


[0001]本申请涉及人工智能技术，尤其涉及一种基于人工智能的视频增强方法
、
装置
、
电子设备
、
计算机可读存储介质及计算机程序产品
。

技术介绍

[0002]人工智能
(AI
，
Artificial Intelligence)
是利用数字计算机或者数字计算机控制的机器模拟
、
延伸和扩展人的智能，感知环境
、
获取知识并使用知识获得最佳结果的理论
、
方法和技术及应用系统
。
[0003]由于图像的质量良莠不齐，因此会对图像执行图像增强算法，从而可以向用户提供高质量的图像，由于视频中的视频帧本质上也是图像，因此可以借鉴图像增强算法对视频进行视频增强处理，但是相关技术中视频增强存在算法复杂度较高以及时域稳定性较差的问题
。

技术实现思路

[0004]本申请实施例提供一种基于人工智能的视频增强方法r/>、
装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于人工智能的视频增强方法，其特征在于，所述方法包括：对所述视频进行解码处理，得到多个视频帧；获取所述视频帧的初始查找表；当所述视频帧不具有相邻视频帧，或者，所述视频帧与所述视频帧的相邻视频帧属于不同镜头时，将所述视频帧的初始查找表作为所述视频帧的增强查找表，其中，所述相邻视频帧为所述视频帧的上一个视频帧或者所述视频帧的下一个视频帧；当所述视频帧具有相邻视频帧，且所述视频帧与所述视频帧的相邻视频帧属于相同镜头时，获取所述视频帧的相邻视频帧的增强查找表，并对所述视频帧的相邻视频帧的增强查找表和所述视频帧的初始查找表进行融合处理，得到所述视频帧的增强查找表；基于所述视频帧的增强查找表，对所述视频帧进行图像增强处理，得到所述视频帧的增强图像，并对多个所述视频帧的增强图像进行编码处理，得到所述视频的增强视频
。2.
根据权利要求1所述的方法，其特征在于，所述获取所述视频帧的初始查找表，包括：对所述视频帧进行分辨率变换处理，得到符合目标分辨率的目标视频帧；获取所述目标视频帧对应每个基础查找表的权重；基于每个所述基础查找表的权重对多个所述基础查找表进行加权求和处理，得到所述视频帧的初始查找表
。3.
根据权利要求2所述的方法，其特征在于，所述初始查找表是通过查找表生成模型得到的；所述方法还包括：获取标签图像样本，并对所述标签图像样本进行退化处理，得到第一图像样本；对所述第一图像样本进行第一裁剪处理，得到第二图像样本，对所述第一图像样本进行第二裁剪处理，得到第三图像样本，并在所述第二图像样本上生成字幕掩膜图像，得到包括所述字幕掩膜图像的第四图像样本；将所述第二图像样本
、
所述第三图像样本以及所述第四图像样本在所述查找表生成模型中进行正向传播，得到正向传播结果；基于所述正向传播结果确定对应所述查找表生成模型的综合损失；将所述综合损失在所述查找表生成模型中进行反向传播，得到所述综合损失收敛至最小值时的参数更新值以及每个所述基础查找表的查找表更新值；基于所述参数更新值更新所述查找表生成模型的参数，并基于每个所述查找表更新值更新对应的基础查找表
。4.
根据权利要求3所述的方法，其特征在于，所述将所述第二图像样本
、
所述第三图像样本以及所述第四图像样本在所述查找表生成模型中进行正向传播，得到正向传播结果，包括：通过所述查找表生成模型对所述第二图像样本进行查找表生成处理，得到所述第二图像样本的第二查找表，并基于所述第二查找表对所述第二图像样本进行图像增强处理，得到所述第二图像样本的第二增强图像；通过所述查找表生成模型对所述第三图像样本进行查找表生成处理，得到所述第三图像样本的第三查找表，并基于所述第三查找表对所述第三图像样本进行图像增强处理，得到所述第三图像样本的第三增强图像；通过所述查找表生成模型对所述第四图像样本进行查找表生成处理，得到所述第四图
像样本的第四查找表，并基于所述第四查找表对所述第四图像样本进行图像增强处理，得到所述第四图像样本的第四增强图像；将所述第二查找表
、
所述第二增强图像
、
所述第三增强图像以及所述第四增强图像，组成所述正向传播结果
。5.
根据权利要求4所述的方法，其特征在于，所述通过所述查找表生成模型对所述第二图像样本进行查找表生成处理，得到所述第二图像样本的第二查找表，包括：通过所述查找表生成模型执行以下处理：对所述第二图像样本进行权重预测处理，得到每个所述基础查找表的权重；基于每个所述基础查找表的权重对多个所述基础查找表进行加权求和处理，得到所述第二图像样本的第二查找表
。6.
根据权利要求4所述的方法，其特征在于，所述基于所述正向传播结果确定对应所述查找表生成模型的综合损失，包括：基于所述第二增强图像与所述标签图像样本之间的整体差异，确定重建损失；基于所述字幕掩膜图像对所述第二增强图像以及所述第四图像样本进行筛选处理，并基于筛选结果与所述第四增强图像的整体差异，确定字幕损失；基于所述第二增强图像以及所述第三增强图像之间的局部差异，确定局部损失；对所述第二查找表进行基于颜色通道的单调性处理，得到查找表损失；对所述重建损失
、
所述字幕损失
、
所述局部损失以及所述查找表损失进行融合处理，得到所述综合损失
。7.
根据权利要求6所述的方法，其特征在于，所述第二增强图像以及所述标签图像样本之间的尺寸相同；基于所述第二增强图像与所述标签图像样本之间的整体差异，确定重建损失，包括：针对所述第二增强图像以及所述标签图像样本中每个相同位置，执行以下处理：确定所述第二增强图像中所述位置的第一像素值以及所述标签图像样本中所述位置的第二像素值；将所述第一像素值与所述第二像素值之间的第一差值作为对应所述位置的损失；将对应多个所述位置的损失进行融合处理，得到所述重建损失
。8.
根据权利要求6所述的方法，其特征在于，所述第二增强图像
、
所述字幕掩膜图像
、
所述第四图像样本以及所述第四增强图像之间的尺寸相同；所述基于所述字幕掩膜图像对所述第二增强图像以及所述第四图像样本进行筛选处理，并基于筛选结果与所述第四增强图像的整体差异，确定字幕损失，包括：针对所述第二增强图像
、
所述字幕掩膜图像
、
所述第四图像样本以及所述第四增强图像中每个相同位置，执行以下处理：确定所述第二增强图像中所述位置的第一像素值
、
所述第四图像样本中所述位置的第三像素值
、
以及所述第四增强图像中所述位置的第四像素值；当所述字幕掩膜图像中所述位置的像素属于字幕时，将所述第三像素值与所述第四像素值的第二差值作为对应所述位置的损失；当所述字幕掩膜图像中所述位置的像素不属于字幕时，将所述第一像素值与所述第四像素值的第三差值作为对应所述位置的损失；
将对应多个所述位置的损失进行融合处理，得到所述字幕损失
。9.
根据权利要求6所述的方法，其特征在于，所述基于所述第二增强图像以及所述第三增强图像之间的局部差异，确定局部损失，包括：确定所述第二图像样本中与所述第三图像样本重叠的第一区域
、
以及所述第三图像样本中与所述第二图像样本重叠的第二区域；确定所述第二增强图像中对应所述第一区域的第一裁剪图像以及所述第三增强图像中对应所述第二区域的第二裁剪图像；针对所述第一裁剪图像
、
以及所述第二裁剪图像中每个相同位置，执行以下处理：确定所述第一裁剪图像中所述位置的第五像素值
、
以及所述第二裁剪图像中所述位置的第六像素值；将所述第五像素值与所述第六像素值之间的第四差值作为对应所述位置的损失；将对应多个所述位置的损失进行融合处理，得到所述局部损失
。10.
根据权利要求6所述的方法，其特征在于，所述对所述第二查找表进行基于颜色通道的单调性处理，得到查找表损失，包括：针对每个所述颜色通道执行以下处理：获取针对所述颜色...

【专利技术属性】
技术研发人员：李浩，张欢荣，孙磊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：