一种视频帧率提升方法与装置制造方法及图纸

本申请提供一种视频帧率提升方法与装置。方法包括：从初始视频序列中获取第一帧图像和第二帧图像；从第二帧图像中识别出边缘对象；在第二帧图像中确定边缘对象中的目标边缘块，目标边缘块在第一帧图像中没有相似的图像块；确定边缘对象在第二帧图像中对应的相邻块以及第一帧图像中与相邻块相似的匹配图像块；根据相邻块与匹配图像块之间的运动矢量，生成与目标边缘块相似的虚拟边缘块，并将生成的虚拟边缘块与第一帧图像进行拼接，得到第三帧图像；根据第三帧图像和第二帧图像生成内插帧图像，并将内插帧图像插入初始视频序列中的第一帧图像与第二帧图像之间，得到帧率提升后的目标视频序列。利用本申请，能够有效提高视频序列的帧率和质量。列的帧率和质量。列的帧率和质量。

【技术实现步骤摘要】
一种视频帧率提升方法与装置


[0001]本申请涉及图像处理
、尤其涉及一种视频帧率提升方法与装置。

技术介绍

[0002]随着数字视频技术的不断发展，低帧率视频已不能满足人们的视觉需求，为了达到更优视觉效果，需要通过向低帧率视频插入内插帧以对低帧率视频进行帧率提升，从而获得更高帧率的视频。
[0003]目前主要使用块匹配运动估计算法进行运动估计生成内插帧，但是由于运动原因，对于低帧率视频的帧图像中的帧边缘块难以进行准确的运动估计，导致生成的内插帧不准确，使得生成的高帧率视频质量不佳，比如出现块斑，从而影响视觉效果。

技术实现思路

[0004]鉴于以上内容，有必要提供一种视频帧率提升方法与装置，以解决由于无法对帧边缘块进行准确的运动估计导致生成的内插帧不准确的技术问题。
[0005]一方面，本申请提供一种视频帧率提升方法，所述方法包括：获取初始视频序列，并从所述初始视频序列中获取相邻的两个视频帧作为第一帧图像和第二帧图像，从所述第二帧图像中识别出边缘对象，在所述第二帧图像中确定所述边缘对象中的目标边缘块，其中，所述目标边缘块在所述第一帧图像中没有相似的图像块，确定所述边缘对象在所述第二帧图像中对应的相邻块以及所述第一帧图像中与所述相邻块相似的匹配图像块，根据所述相邻块与所述匹配图像块之间的运动矢量，在所述第一帧图像的帧外生成与所述目标边缘块相似的虚拟边缘块，并将生成的虚拟边缘块与所述第一帧图像进行拼接，得到第三帧图像，根据所述第三帧图像和所述第二帧图像生成内插帧图像，并将所述内插帧图像插入所述初始视频序列中的所述第一帧图像与所述第二帧图像之间，得到帧率提升后的目标视频序列。
[0006]在一些实施例中，所述在所述第二帧图像中确定所述边缘对象中的目标边缘块包括：将所述第一帧图像划分为多个第一图像块，并将所述第二帧图像划分为多个第二图像块，将构成所述边缘对象的多个第二图像块确定为初始边缘块，并使用搜索算法在所述多个第一图像块中进行搜索，确定所述第二帧图像中每个初始边缘块在所述第一帧图像中是否存在相似的图像块，将所述第二帧图像中不存在相似的图像块的初始边缘块确定为所述目标边缘块。
[0007]在一些实施例中，所述使用搜索算法在所述多个第一图像块中进行搜索，确定每个初始边缘块在所述第一帧图像中是否存在相似的图像块包括：计算每个初始边缘块与每个第一图像块之间的匹配误差，若任一初始边缘块对应的所有匹配误差均大于或者等于预设阈值，确定所述任一初始边缘块在所述第一帧图像中不存在相似的图像块，或者，若所述任一初始边缘块对应了多个小于所述预设阈值的匹配误差，从小于所述预设阈值的多个匹配误差中选择最小的匹配误差对应的第一图像块作为所述第一帧图像中与所述任一初始
边缘块相似的图像块。
[0008]在一些实施例中，所述在所述第二帧图像中搜索所述边缘对象对应的目标边缘块还包括：根据所述匹配图像块的位置在所述第一帧图像中确定一目标区域，使用搜索算法在所述目标区域中进行搜索，确定所述第二帧图像中每个初始边缘块在构成所述目标区域的多个第一图像块中是否存在相似的图像块，将所述第二帧图像中不存在相似的图像块的初始边缘块确定为所述目标边缘块。
[0009]在一些实施例中，所述确定所述边缘对象在所述第二帧图像中对应的相邻块包括：在所述第二帧图像的帧中心方向选取与任一初始边缘块相邻的一个第二图像块作为所述相邻块，或者，在所述第二帧图像的帧中心方向选取与任一初始边缘块相邻的一个第二图像块，以及与所述第二图像块相邻的预设数量个图像块，将所述第二图像块与所述预设数量个图像块构成的组合块确定为所述相邻块。
[0010]在一些实施例中，所述确定所述边缘对象在所述第二帧图像中对应的相邻块还包括：将所述多个初始边缘块中除了所述目标边缘块之外的任一初始边缘块确定为所述相邻块。
[0011]在一些实施例中，所述根据所述第三帧图像和所述第二帧图像生成内插帧图像包括：在所述第三帧图像中搜索与每个第二图像块相似的第三图像块，根据每个第二图像块与所述相似的第三图像块，计算每个第二图像块对应的目标运动矢量，根据每个目标运动矢量以及所述每个目标运动矢量对应的第二图像块在所述第二帧图像中的原始位置，确定每个第二图像块在所述内插帧图像中的目标位置，使用插值算法计算所述内插帧图像中每个目标位置上的每个像素点的目标像素值，在将所述内插帧图像中所有目标位置上的所有像素点的目标像素值计算完成后，得到所述内插帧图像。
[0012]在一些实施例中，所述运动矢量的计算方式包括：使用块匹配运动估计算法计算出所述运动矢量，包括：获取所述匹配图像块在所述第一帧图像中的第一位置以及所述相邻块在所述第二帧图像中的第二位置，在所述第二帧图像中确定与所述第一位置在所述第二帧图像中对应的第三位置，并根据所述第二位置以及所述第三位置生成所述运动矢量。
[0013]另一方面，本申请提供一种视频帧率提升装置，所述视频帧率提升装置包括：存储器，存储至少一个指令；及处理器，执行所述至少一个指令以实现所述的视频帧率提升方法。
[0014]经过多次测试和验证，在意识到是由于无法在第一帧的多个块中查找到与边缘对象所属的每个块相似的图像块，进而无法计算出准确的运动矢量而导致的上述技术问题。通过上述实施方式，本申请的多个实施例先识别出第二帧图像中的边缘对象，然后确定构成所述边缘对象的多个第一图像块中在所述第一帧图像没有相似的图像块的目标边缘块。对于每个目标边缘块，在所述第一帧图像中生成出所述目标边缘块相似的虚拟边缘块。因此，采用上述方式能够解决由于无法在第一帧的多个块中查找到与边缘对象所属的每个块相似的图像块，进而无法计算出准确的运动矢量导致的无法对边缘对象进行准确的运动估计的技术问题。此外，由于所述相邻块为与所述边缘对象相近的块，因此所述相邻块与所述匹配图像块之间的运动矢量相当于所述边缘对象的运动矢量，根据所述相邻块与所述匹配图像块之间的运动矢量能够在所述第一帧图像中准确地生成所述目标边缘块相似的虚拟边缘块。由于确保了在所述第三帧图像中均能够找到与所述第二帧图像的每个目标边缘块
相似的图像块。因此，在根据所述第三帧图像和所述第二帧图像生成内插帧图像时，能够确保生成的目标运动矢量的准确性，根据准确的目标运动矢量能够生成准确的内插帧图像。所述初始视频帧序列为低帧率视频，在根据准确的内插帧图像对所述初始视频帧序列进行内插时，能够同时提高所述目标视频序列的帧率和质量。
附图说明
[0015]图1是本申请一实施例提供的视频帧率提升装置的结构图。
[0016]图2是本申请一实施例提供的视频帧率提升方法的流程图。
[0017]图3是本申请一实施例提供的边缘对象和相邻块的示意图。
[0018]图4是本申请一实施例提供的第三帧图像的示意图。
[0019]图5是本申请一实施例提供的判断每个初始边缘块是否存在相似的图像块的方法的流程图。
[0020]图6是本申请一实施例提供的目标边缘块的确定方法的流程图。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频帧率提升方法，其特征在于，所述方法包括：获取初始视频序列，并从所述初始视频序列中获取相邻的两个视频帧作为第一帧图像和第二帧图像；从所述第二帧图像中识别出边缘对象；在所述第二帧图像中确定所述边缘对象中的目标边缘块，其中，所述目标边缘块在所述第一帧图像中没有相似的图像块；确定所述边缘对象在所述第二帧图像中对应的相邻块以及所述第一帧图像中与所述相邻块相似的匹配图像块；根据所述相邻块与所述匹配图像块之间的运动矢量，在所述第一帧图像的帧外生成与所述目标边缘块相似的虚拟边缘块，并将生成的虚拟边缘块与所述第一帧图像进行拼接，得到第三帧图像；根据所述第三帧图像和所述第二帧图像生成内插帧图像，并将所述内插帧图像插入所述初始视频序列中的所述第一帧图像与所述第二帧图像之间，得到帧率提升后的目标视频序列。2.如权利要求1所述的视频帧率提升方法，其特征在于，所述在所述第二帧图像中确定所述边缘对象中的目标边缘块包括：将所述第一帧图像划分为多个第一图像块，并将所述第二帧图像划分为多个第二图像块；将构成所述边缘对象的多个第二图像块确定为初始边缘块，并使用搜索算法在所述多个第一图像块中进行搜索，确定所述第二帧图像中每个初始边缘块在所述第一帧图像中是否存在相似的图像块；将所述第二帧图像中不存在相似的图像块的初始边缘块确定为所述目标边缘块。3.如权利要求2所述的视频帧率提升方法，其特征在于，所述使用搜索算法在所述多个第一图像块中进行搜索，确定每个初始边缘块在所述第一帧图像中是否存在相似的图像块包括：计算每个初始边缘块与每个第一图像块之间的匹配误差；若任一初始边缘块对应的所有匹配误差均大于或者等于预设阈值，确定所述任一初始边缘块在所述第一帧图像中不存在相似的图像块；或者若所述任一初始边缘块对应了多个小于所述预设阈值的匹配误差，从小于所述预设阈值的多个匹配误差中选择最小的匹配误差对应的第一图像块作为所述第一帧图像中与所述任一初始边缘块相似的图像块。4.如权利要求2所述的视频帧率提升方法，其特征在于，所述在所述第二帧图像中搜索所述边缘对象对应的目标边缘块还包括：根据所述匹配图像块的位置在所述第一帧图像中确定一目标区域；使用搜索算法在所述...

【专利技术属性】
技术研发人员：伍守豪，
申请(专利权)人：深圳清华大学研究院，
类型：发明
国别省市：