一种视频图像的运动估计方法及装置制造方法及图纸

本申请提供了一种视频图像的运动估计方法及装置，用以提高运动估计的准确性。该方法包括：确定第一图像的后向运动矢量和第二图像帧的前向运动矢量和第一SAD，并根据前向运动矢量确定前向中间帧和第二SAD，以及根据后向运动矢量确定后向中间帧，计算后向中间帧中第i个子图像块与第一图像帧的子图像块之间的第一相似度，和前向中间帧中第i个子图像块与第一图像帧的子图像块之间的第二相似度，根据第一相似度和第一匹配对所对应的第一SAD确定第一匹配误差，并根据第二相似度和第二匹配对所对应的第二SAD确定第二匹配误差；将第一匹配误差和第二匹配误差中较小的匹配误差对应的运动矢量作为待插中间帧中第i个子图像块的运动矢量。动矢量。动矢量。

【技术实现步骤摘要】
一种视频图像的运动估计方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种视频图像的运动估计方法及装置。

技术介绍

[0002]帧率提升技术通过估计前后参考帧之间的运动状态，并通过前后帧和运动状态生成新的内插帧并将其插入原视频中，从而提升视频帧率。帧率提升技术可以实现画面的动态补帧，保证画面的连贯性、清晰度、提升视觉效果和观看体验。现有技术中，在进行视频运动估计时，一般通过前向运动估计或后向运动估计的方式。然而，当视频图像中的前景进行运动时，当上一帧的前景移动到下一帧中上一帧背景所在的位置时，导致背景区域在进行前向运动估计和后向运动估计时得到的运动矢量不准确，进而影响待插帧的准确性。

技术实现思路

[0003]本申请实施例提供了一种视频图像的运动估计方法及装置，用以提高运动估计的准确性。
[0004]第一方面，本申请实施例提供了一种视频图像的运动估计方法，包括：
[0005]获取第一图像帧和第二图像帧，所述第一图像帧为与所述第二图像帧相邻的上一图像帧；所述第一图像帧和第二图像帧分别包括N个子图像块；
[0006]确定所述第一图像帧的每个子图像块的后向运动矢量以及第一绝对误差值SAD，以及所述第二图像帧的每个子图像块的前向运动矢量以及第二SAD；
[0007]根据所述第一图像帧中的N个子图像块以及对应的后向运动矢量确定后向中间帧，并根据所述第二图像帧中的N个子图像块以及对应的所述前向运动矢量确定前向中间帧；
[0008]确定所述后向中间帧的第i个子图像块与第一匹配对中第一图像帧中的子图像块之间的第一相似度，以及所述前向中间帧的第i个子图像块与第二匹配对中第一图像帧中的子图像块之间的第二相似度；
[0009]其中，所述第一匹配对包括用于确定所述后向中间帧中的第i个子图像块使用的后向运动矢量所对应的所述第一图像帧中的第k1个子图像块以及所述第二图像帧中的第k2个子图像块；所述第二匹配对包括用于确定所述前向中间帧中的第i个子图像块使用的前向运动矢量所对应的所述第二图像帧中的第s1个子图像块以及所述第一图像帧中的第s2个子图像块；
[0010]根据所述第一相似度以及所述第一匹配对所对应的第一SAD确定第一匹配误差，并根据所述第二相似度以及所述第二匹配对所对应的第二SAD确定第二匹配误差；
[0011]将所述第一匹配误差和所述第二匹配误差中较小的匹配误差对应的运动矢量作为所述待插中间帧中第i个子图像块的运动矢量。
[0012]基于上述方案，通过前向运动估计和后向运动估计确定前向中间帧和后向中间帧，比较前向中间帧和后向中间帧与源图像的相似度，通过相似度与绝对误差值确定匹配
误差，进而从前向运动矢量和后向运动矢量中筛选出最优运动矢量，该方法可以有效提高运动估计的准确性。
[0013]一种可能的实现方式中，确定所述后向中间帧的第i个子图像块与第一匹配对中第一图像帧中的子图像块之间的第一相似度，包括：获取所述后向中间帧的第i个子图像块的图像边缘信息以及图像细节信息，并获取所述第一匹配对中第一图像帧中的第k1个子图像块的图像边缘信息和图像细节信息；
[0014]确定所述后向中间帧的第i个子图像块的图像边缘信息与所述第k1个子图像块的图像边缘信息之间的第一边缘相似度，以及确定第i个子图像块的图像细节信息与所述第k1个子图像块的图像细节信息之间的第一细节相似度，所述第一边缘相似度与所述第一细节相似度的加权和为所述第一相似度；
[0015]或者，
[0016]确定所述前向中间帧的第i个子图像块与第二匹配对中第一图像帧中的子图像块之间的第一相似度，包括：
[0017]获取所述前向中间帧的第i个子图像块的图像边缘信息以及图像细节信息，并获取所述第二匹配对中第一图像帧中的第s2个子图像块的图像边缘信息和图像细节信息；
[0018]确定所述前向中间帧的第i个子图像块的图像边缘信息与所述第s2个子图像块的图像边缘信息之间的第二边缘相似度，以及确定第i个子图像块的图像细节信息与所述第s2个子图像块的图像细节信息之间的第二细节相似度，所述第二边缘相似度与所述第二细节相似度的加权和为所述第二相似度。
[0019]一种可能的实现方式中，所述方法还包括：确定所述后向中间帧的第i个子图像块与第一匹配对中第一图像帧中的子图像块之间的第一相似度，以及所述前向中间帧的第i个子图像块与第二匹配对中第一图像帧中的子图像块之间的第二相似度之前，确定所述后向中间帧的第i个子图像块的灰度图与所述前向中间帧的第i个子图像块的灰度图之间的灰度误差大于误差阈值；
[0020]所述根据所述第一相似度以及所述第一匹配对所对应的第一SAD确定第一匹配误差，包括：
[0021]根据所述第一相似度调整所述灰度误差为第一值，并将所述第一值与所述第一匹配对所对应的第一SAD的加权和作为所述第一匹配误差；
[0022]根据所述第二相似度以及所述第二匹配对所对应的第二SAD确定第二匹配误差，包括：
[0023]根据所述第二相似度调整所述灰度误差值为第二值，并将所述第二值与所述第二匹配对所对应的第二SAD的加权和作为所述第二匹配误差。
[0024]一种可能的实现方式中，当所述灰度差小于或等于设定阈值时，所述第一匹配误差为所述第一匹配对所对应的第一SAD，所述第二匹配误差为所述第二匹配对所对应的第二SAD；或者，
[0025]所述第一匹配误差为所述灰度误差与所述第一匹配对所对应的第一SAD的加权和，所述第二匹配误差为所述灰度误差与所述第二匹配对所对应的第二SAD的加权和。
[0026]一种可能的实现方式中，获取设定子图像块的图像边缘信息，所述设定子图像块为所述前向中间帧中第i个子图像块，或为所述后向中间帧的第i个子图像块，或为所述第
一图像帧的第k1个子图像块，或为所述第一图像帧中的第s2个子图像块，包括：
[0027]确定所述设定子图像块中的水平方向上的第一像素对比度和垂直方向上的第二像素对比度；所述第一像素对比度是根据所述设定子图像块的中心像素点所在行包括的像素点的像素值确定的，所述第二像素对比度是根据所述中心像素点所在列包括的像素点的像素值确定的；
[0028]将所述第一像素对比度与所述第二像素对比度的和作为滤波系数对所述设定子图像块进行滤波，得到所述设定子图像块的边缘信息。
[0029]一种可能的实现方式中，获取设定子图像块的图像细节信息，所述设定子图像块为所述前向中间帧中第i个子图像块，或所述后向中间帧的第i个子图像块，或所述第一图像帧的第k1个子图像块，或所述第一图像帧中的第s2个子图像块，包括：
[0030]对所述设定子图像块进行高斯滤波，获得所述设定子图像块的图像底层信息，将所述设定子图像块的图像信息减去所述图像底层信息得到所述设定子图像块的图像细节信息。
[0031]一种可能的实现方式中，所述确定所述后向中间帧的第i个子图像块的灰度图与所述前向中间帧的第i个子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频图像的运动估计方法，其特征在于，包括：获取第一图像帧和第二图像帧，所述第一图像帧为与所述第二图像帧相邻的上一图像帧；所述第一图像帧和第二图像帧分别包括N个子图像块；确定所述第一图像帧的每个子图像块的后向运动矢量以及第一绝对误差值SAD，以及所述第二图像帧的每个子图像块的前向运动矢量以及第二SAD；根据所述第一图像帧中的N个子图像块以及对应的后向运动矢量确定后向中间帧，并根据所述第二图像帧中的N个子图像块以及对应的所述前向运动矢量确定前向中间帧；确定所述后向中间帧的第i个子图像块与第一匹配对中第一图像帧中的子图像块之间的第一相似度，以及所述前向中间帧的第i个子图像块与第二匹配对中第一图像帧中的子图像块之间的第二相似度；其中，所述第一匹配对包括用于确定所述后向中间帧中的第i个子图像块使用的后向运动矢量所对应的所述第一图像帧中的第k1个子图像块以及所述第二图像帧中的第k2个子图像块；所述第二匹配对包括用于确定所述前向中间帧中的第i个子图像块使用的前向运动矢量所对应的所述第二图像帧中的第s1个子图像块以及所述第一图像帧中的第s2个子图像块；根据所述第一相似度以及所述第一匹配对所对应的第一SAD确定第一匹配误差，并根据所述第二相似度以及所述第二匹配对所对应的第二SAD确定第二匹配误差；将所述第一匹配误差和所述第二匹配误差中较小的匹配误差对应的运动矢量作为所述待插中间帧中第i个子图像块的运动矢量。2.如权利要求1所述的方法，其特征在于，确定所述后向中间帧的第i个子图像块与第一匹配对中第一图像帧中的子图像块之间的第一相似度，包括：获取所述后向中间帧的第i个子图像块的图像边缘信息以及图像细节信息，并获取所述第一匹配对中第一图像帧中的第k1个子图像块的图像边缘信息和图像细节信息；确定所述后向中间帧的第i个子图像块的图像边缘信息与所述第k1个子图像块的图像边缘信息之间的第一边缘相似度，以及确定第i个子图像块的图像细节信息与所述第k1个子图像块的图像细节信息之间的第一细节相似度，所述第一边缘相似度与所述第一细节相似度的加权和为所述第一相似度；或者，确定所述前向中间帧的第i个子图像块与第二匹配对中第一图像帧中的子图像块之间的第一相似度，包括：获取所述前向中间帧的第i个子图像块的图像边缘信息以及图像细节信息，并获取所述第二匹配对中第一图像帧中的第s2个子图像块的图像边缘信息和图像细节信息；确定所述前向中间帧的第i个子图像块的图像边缘信息与所述第s2个子图像块的图像边缘信息之间的第二边缘相似度，以及确定第i个子图像块的图像细节信息与所述第s2个子图像块的图像细节信息之间的第二细节相似度，所述第二边缘相似度与所述第二细节相似度的加权和为所述第二相似度。3.如权利要求2所述的方法，其特征在于，所述方法还包括：确定所述后向中间帧的第i个子图像块与第一匹配对中第一图像帧中的子图像块之间的第一相似度，以及所述前向中间帧的第i个子图像块与第二匹配对中第一图像帧中的子
图像块之间的第二相似度之前，确定所述后向中间帧的第i个子图像块的灰度图与所述前向中间帧的第i个子图像块的灰度图之间的灰度误差大于误差阈值；所述根据所述第一相似度以及所述第一匹配对所对应的第一SAD确定第一匹配误差，包括：根据所述第一相似度调整所述灰度误差为第一值，并将所述第一值与所述第一匹配对所对应的第一SAD的加权和作为所述第一匹配误差；根据所述第二相似度以及所述第二匹配对所对应的第二SAD确定第二匹配误差，包括：根据所述第二相似度调整所述灰度误差为第二值，并将所述第二值与所述第二匹配对所对应的第二SAD的加权和作为所述第二匹配误差。4.如权利要求3所述的方法，其特征在于，当所述灰度误差小于或等于设定阈值时，所述第一匹配误差为所述第一匹配对所对应的第一SAD，所述第二匹配误差为所述第二匹配对所对应的第二SAD；或者，所述第一匹配误差为所述灰度误差与所述第一匹配对所对应的第一SAD的加权和，所述第二匹配误差为所述灰度误差与所述第二匹配对所对应的第二SAD的加权和。5.如权利要求2
‑
4任一项所述的方法，其特征在于，获取设定子图像块的图...

【专利技术属性】
技术研发人员：韩晶晶，杨韬育，徐赛杰，李锋，余横，汪佳丽，
申请(专利权)人：上海顺久电子科技有限公司，
类型：发明
国别省市：