本申请涉及一种视频图像的处理方法和装置，其中，该方法包括：获取待处理的当前视频帧对应的初始帧序列；计算当前视频帧与前序帧集合之间的第一相似性系数，以及当前视频帧与后序帧集合之间的第二相似性系数；根据第一相似性系数和第二相似性系数将初始帧序列转换为目标帧序列，其中，目标帧序列与当前视频帧之间的相似度高于相似度阈值；将目标帧序列输入视频图像处理模型，得到当前视频帧对应的处理结果，其中，视频图像处理模型用于根据目标帧序列对当前视频帧进行视频图像处理。本申请解决了相关技术中视频图像的处理效率较低的技术问题。术问题。术问题。
【技术实现步骤摘要】
一种视频图像的处理方法和装置
[0001]本申请涉及计算机领域，尤其涉及一种视频图像的处理方法和装置。
技术介绍
[0002]随着深度学习技术的发展，基于深度学习的图像处理技术越来越多的被应用到实际任务当中。相比于单帧图像处理技术的视频处理方法，基于连续多帧处理的视频处理方法，不仅可以获取当前帧空间上的信息，还能够获取参考帧的信息，这些参考帧多是时序上的相邻帧。
[0003]现有技术无论在模型训练，还是在模型推理时，在选取参考帧时，通常是选取当前帧前后紧邻的多帧，包括但不限于：选取后向连续多帧作为参考帧；选取前向多帧作为参考帧；同时选取后向和前向多帧作为参考帧。其中，后向指时序上已经出现的，前向指时序上还未出现的。
[0004]视频是由时序上连续多张图片组成的动画场景，通常情况下，相邻帧之间的内容差异性较小，相似性非常高。但是，如若视频存在场景切换的情况，或者内容运动较为剧烈，相邻帧之间的内容或者完全不同，或者差异性非常大。因此，在这种情况下的模型推理过程会选用到内容差异很大的相邻帧作为参考帧，同时由于模型训练时的样本都是相同场景下的序列，模型并不能处理不同场景下的情况，结果会导致预测帧出现伪影的情况，影响视频图像的处理效率。
[0005]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0006]本申请提供了一种视频图像的处理方法和装置，以至少解决相关技术中视频图像的处理效率较低的技术问题。
[0007]根据本申请实施例的一个方面，提供了一种视频图像的处理方法，包括：
[0008]获取待处理的当前视频帧对应的初始帧序列，其中，所述初始帧序列中包括前序帧集合，当前视频帧和后序帧集合，所述前序帧集合中包括所述当前视频帧之前的第一数量的前序视频帧，所述后序帧集合中包括所述当前视频帧之后的第二数量的后序视频帧；
[0009]计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数，其中，所述第一相似性系数用于指示所述当前视频帧与所述前序帧集合之间的相似度，所述第二相似性系数用于指示所述当前视频帧与所述后序帧集合之间的相似度；
[0010]根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列，其中，所述目标帧序列与所述当前视频帧之间的相似度高于相似度阈值；
[0011]将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结果，其中，所述视频图像处理模型用于根据所述目标帧序列对所述当前视频帧进行视频图像处理。
[0012]可选地，根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列包括：
[0013]分别比较所述第一相似性系数和所述第二相似性系数与相似性系数阈值之间的关系；
[0014]根据所述第一相似性系数与相似性系数阈值之间的关系和所述第二相似性系数与相似性系数阈值之间的关系，确定所述目标帧序列。
[0015]可选地，根据所述第一相似性系数与相似性系数阈值之间的关系和所述第二相似性系数与相似性系数阈值之间的关系，确定所述目标帧序列包括：
[0016]在所述第一相似性系数和所述第二相似性系数均大于所述相似性系数阈值的情况下，将所述初始帧序列确定为目标帧序列；
[0017]在所述第一相似性系数和所述第二相似性系数中至少一个小于所述相似性系数阈值的情况下，使用所述第一相似性系数和所述第二相似性系数中较大的相似性系数对应的帧集合替换所述初始帧序列中较小的相似性系数对应的帧集合，得到所述目标帧序列。
[0018]可选地，计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数包括：
[0019]计算所述当前视频帧与所述前序帧集合中每个前序视频帧的相似度；
[0020]将所述当前视频帧与所述前序帧集合中全部前序视频帧的相似度的平均值确定为所述第一相似性系数；
[0021]计算所述当前视频帧与所述后序帧集合中每个后序视频帧的相似度；
[0022]将所述当前视频帧与所述后序帧集合中全部后序视频帧的相似度的平均值确定为所述第二相似性系数。
[0023]可选地，在将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结果之前，所述方法还包括：
[0024]确定多个相似性系数范围；
[0025]获取相似性系数落入所述多个相似性系数范围中每个相似性系数范围的多个帧序列样本和每个帧序列样本对应的原始图，其中，所述帧序列样本包括前序帧集合样本，当前帧样本和后序帧集合样本，所述前序帧集合样本中包括所述当前帧样本之前的所述第一数量的前序帧样本，所述后序帧集合样本中包括所述当前帧样本之后的所述第二数量的后序帧样本，所述原始图是所述当前帧样本所对应的原始图；
[0026]使用具有对应关系的帧序列样本和原始图训练初始视频图像处理模型，得到所述视频图像处理模型。
[0027]可选地，获取相似性系数落入所述多个相似性系数范围中每个相似性系数范围的多个帧序列样本包括：
[0028]确定所述多个相似性系数范围中每个相似性系数范围对应的样本比重，其中，所述样本比重与每个相似性系数范围的数值大小成正比；
[0029]根据每个相似性系数范围对应的样本比重获取落入所述每个相似性系数范围的多个帧序列样本。
[0030]可选地，根据每个相似性系数范围对应的样本比重获取落入所述每个相似性系数范围的多个帧序列样本包括：
[0031]确定帧序列样本的总数量；
[0032]将所述每个相似性系数范围对应的样本比重与所述总数量的乘积确定为所述每个相似性系数范围对应的样本数量；
[0033]获取落入所述每个相似性系数范围的所述样本数量个帧序列样本。
[0034]根据本申请实施例的另一方面，还提供了一种视频图像的处理装置，包括：
[0035]第一获取模块，用于获取待处理的当前视频帧对应的初始帧序列，其中，所述初始帧序列中包括前序帧集合，当前视频帧和后序帧集合，所述前序帧集合中包括所述当前视频帧之前的第一数量的前序视频帧，所述后序帧集合中包括所述当前视频帧之后的第二数量的后序视频帧；
[0036]计算模块，用于计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数，其中，所述第一相似性系数用于指示所述当前视频帧与所述前序帧集合之间的相似度，所述第二相似性系数用于指示所述当前视频帧与所述后序帧集合之间的相似度；
[0037]转换模块，用于根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列，其中，所述目标帧序列与所述当前视频帧之间的相似度高于相似度阈值；
[0038]输入模块，用于将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结果，其中，所述视频图像处理模型本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频图像的处理方法，其特征在于，包括：获取待处理的当前视频帧对应的初始帧序列，其中，所述初始帧序列中包括前序帧集合，当前视频帧和后序帧集合，所述前序帧集合中包括所述当前视频帧之前的第一数量的前序视频帧，所述后序帧集合中包括所述当前视频帧之后的第二数量的后序视频帧；计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数，其中，所述第一相似性系数用于指示所述当前视频帧与所述前序帧集合之间的相似度，所述第二相似性系数用于指示所述当前视频帧与所述后序帧集合之间的相似度；根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列，其中，所述目标帧序列与所述当前视频帧之间的相似度高于相似度阈值；将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结果，其中，所述视频图像处理模型用于根据所述目标帧序列对所述当前视频帧进行视频图像处理。2.根据权利要求1所述的方法，其特征在于，根据所述第一相似性系数和所述第二相似性系数将所述初始帧序列转换为目标帧序列包括：分别比较所述第一相似性系数和所述第二相似性系数与相似性系数阈值之间的关系；根据所述第一相似性系数与相似性系数阈值之间的关系和所述第二相似性系数与相似性系数阈值之间的关系，确定所述目标帧序列。3.根据权利要求2所述的方法，其特征在于，根据所述第一相似性系数与相似性系数阈值之间的关系和所述第二相似性系数与相似性系数阈值之间的关系，确定所述目标帧序列包括：在所述第一相似性系数和所述第二相似性系数均大于所述相似性系数阈值的情况下，将所述初始帧序列确定为目标帧序列；在所述第一相似性系数和所述第二相似性系数中至少一个小于所述相似性系数阈值的情况下，使用所述第一相似性系数和所述第二相似性系数中较大的相似性系数对应的帧集合替换所述初始帧序列中较小的相似性系数对应的帧集合，得到所述目标帧序列。4.根据权利要求1所述的方法，其特征在于，计算所述当前视频帧与所述前序帧集合之间的第一相似性系数，以及所述当前视频帧与所述后序帧集合之间的第二相似性系数包括：计算所述当前视频帧与所述前序帧集合中每个前序视频帧的相似度；将所述当前视频帧与所述前序帧集合中全部前序视频帧的相似度的平均值确定为所述第一相似性系数；计算所述当前视频帧与所述后序帧集合中每个后序视频帧的相似度；将所述当前视频帧与所述后序帧集合中全部后序视频帧的相似度的平均值确定为所述第二相似性系数。5.根据权利要求1所述的方法，其特征在于，在将所述目标帧序列输入视频图像处理模型，得到所述当前视频帧对应的处理结果之前，所述方法还包括：确定多个相似性系数范围；获取相似性系数落入所...
【专利技术属性】
技术研发人员：张海斌，蔡媛，樊鸿飞，汪贤，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。