帧间运动估计方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种帧间运动估计方法、装置及电子设备，该方法包括：根据当前帧图像和已编码帧图像，建立背景模型；根据背景模型，确定当前帧图像的运动目标区域；对运动目标区域的各个运动目标进行跟踪，确定各个运动目标的运动向量；根据该运动向量，获取运动目标区域中的各个像素块的运动向量初始值；对于每个像素块，在参考帧图像中像素块的运动向量初始值指向的搜索点的预设邻域内，查找该像素块的全局最优的匹配参考块，并计算该像素块的运动向量估计值；将每个像素块的运动向量估计值和匹配参考块作为当前帧图像的帧间运动估计参数。这样可以降低帧间运动估计耗时，满足实时编码需求，并提高运动估计精度，从而提高编码视频的质量。

Inter frame motion estimation method, device and electronic equipment

The present invention provides a motion estimation method and device, and electronic device, the method comprises: according to the current frame image encoding and image frame, the background model is built; according to the background model, determine the target region of current frame image; tracking of each moving object region, determine the motion vector of each motion the target; on the basis of the motion vector, obtain the moving object region in each pixel block motion vector of the initial value; for each pixel block, the initial motion vector block value points to the search point preset neighborhood pixels in the reference frame in image matching, the optimal reference block pixel block lookup, and calculation the pixel block motion vector estimation value; the motion vector of each pixel block matching reference block as the estimated value and the current frame image of inter frame motion parameter estimation . This can reduce the time of inter frame motion estimation, meet the real-time coding needs, and improve the accuracy of motion estimation, thus improving the quality of coded video.

【技术实现步骤摘要】
帧间运动估计方法、装置及电子设备
本专利技术涉及视频处理
，尤其是涉及一种帧间运动估计方法、装置及电子设备。
技术介绍
视频编码的流程主要分为预测、变换、量化、熵编码四个步骤，其中预测主要分为帧内预测和帧间预测。视频编码的帧间预测是指利用视频时间域的相关性，使用时间上相邻的已编码图像的已编码像素块预测当前待编码图像的当前像素块，以达到去除视频时域冗余的目的。帧间预测的核心是基于块的运动估计，即为当前图像的每个像素块在之前已编码图像中寻找一个最佳匹配块，从而得到每个像素块对应的运动向量，其中用于预测的图像称为参考图像，参考图像中的像素块称为参考块，当前图像中待预测的像素块称当前像素块，参考块到当前像素块的位移称为运动向量。运动估计是由搜索算法完成的。传统视频编码标准通常采用全搜索、二维对数搜索、三维对数搜索、UMHexagonS搜索、TZ搜索等方法，其中，全搜索复杂度极高，无法满足实时编码需求；其余的快速算法只能得到局部最优参考块，而非全局最优参考块，使得其编码视频的质量不如全搜索的编码视频的质量高。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种帧间运动估计方法、装置及电子设备，以降低帧间运动估计耗时，满足实时编码需求，并提高运动估计精度，使得帧间运动估计更加快速、准确，从而提高编码视频的质量。第一方面，本专利技术实施例提供了一种帧间运动估计方法，包括：根据当前帧图像和已编码帧图像，建立背景模型；根据所述背景模型，确定所述当前帧图像的运动目标区域；对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量；其中，所述参考帧图像为与所述当前帧图像的运动目标最匹配的已编码帧图像；根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值；对于每个所述像素块，在所述参考帧图像中所述像素块的运动向量初始值指向的搜索点的预设邻域内，查找所述像素块的全局最优的匹配参考块，并计算所述像素块的运动向量估计值；将每个所述像素块的运动向量估计值和匹配参考块作为所述当前帧图像的帧间运动估计参数。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述根据当前帧图像和已编码帧图像，建立背景模型，包括：根据当前帧图像和已编码帧图像，采用混合高斯模型算法或旋转不变纹理特征提取算法建立背景模型。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述根据所述背景模型，确定所述当前帧图像的运动目标区域，包括：对比所述背景模型和所述当前帧图像；将所述当前帧图像中与所述背景模型不同的区域确定为所述当前帧图像的运动目标区域。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量，包括：采用时空上下文跟踪算法对所述运动目标区域的各个运动目标进行多运动目标跟踪，得到各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量。结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值，包括：将每个所述像素块对应的运动目标的运动向量确定为所述像素块的运动向量初始值。结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述查找所述像素块的全局最优的匹配参考块，包括：采用全搜索算法、二维对数搜索算法、三维对数搜索算法、UMHexagonS搜索算法或TZ搜索算法，查找所述像素块的全局最优的匹配参考块。结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，所述计算所述像素块的运动向量估计值，包括：计算所述像素块到所述匹配参考块的位移，将所述位移作为所述像素块的运动向量估计值。第二方面，本专利技术实施例还提供一种帧间运动估计装置，包括：模型建立模块，用于根据当前帧图像和已编码帧图像，建立背景模型；区域确定模块，用于根据所述背景模型，确定所述当前帧图像的运动目标区域；向量确定模块，用于对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量；其中，所述参考帧图像为与所述当前帧图像的运动目标最匹配的已编码帧图像；初始值确定模块，用于根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值；查找估计模块，用于对于每个所述像素块，在所述参考帧图像中所述像素块的运动向量初始值指向的搜索点的预设邻域内，查找所述像素块的全局最优的匹配参考块，并计算所述像素块的运动向量估计值；参数确定模块，用于将每个所述像素块的运动向量估计值和匹配参考块作为所述当前帧图像的帧间运动估计参数。第三方面，本专利技术实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。第四方面，本专利技术实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面所述方法。本专利技术实施例带来了以下有益效果：本专利技术实施例中，根据当前帧图像和已编码帧图像，建立背景模型；根据该背景模型，确定当前帧图像的运动目标区域；对该运动目标区域的各个运动目标进行跟踪，确定各个运动目标在当前帧图像与对应的参考帧图像之间的运动向量；其中，参考帧图像为与当前帧图像的运动目标最匹配的已编码帧图像；根据各个运动目标的运动向量，获取运动目标区域中的各个像素块的运动向量初始值；对于每个像素块，在参考帧图像中像素块的运动向量初始值指向的搜索点的预设邻域内，查找该像素块的全局最优的匹配参考块，并计算该像素块的运动向量估计值；将每个像素块的运动向量估计值和匹配参考块作为当前帧图像的帧间运动估计参数。由于搜索点是通过对运动目标的跟踪确定的，因此全局最优的匹配参考块应在搜索点的预设邻域内，进而通过在搜索点的预设邻域内进行查找，可以快速确定对应的像素块的全局最优的匹配参考块和运动向量估计值。这样在降低全搜索的复杂度即降低了帧间运动估计耗时的同时，保证了全搜索的运动估计精度，从而满足了实时编码需求，提高了编码视频的质量。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的帧间运动估计方法的第一种流程示意图；图2为本专利技术实施例提供的帧间运动估计方法的第二种流程示意图；图3为本专利技术实施例提供的帧间运动估计装置的模块组成示意图；图4为本专利技术实本文档来自技高网...

【技术保护点】
一种帧间运动估计方法，其特征在于，包括：根据当前帧图像和已编码帧图像，建立背景模型；根据所述背景模型，确定所述当前帧图像的运动目标区域；对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量；其中，所述参考帧图像为与所述当前帧图像的运动目标最匹配的已编码帧图像；根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值；对于每个所述像素块，在所述参考帧图像中所述像素块的运动向量初始值指向的搜索点的预设邻域内，查找所述像素块的全局最优的匹配参考块，并计算所述像素块的运动向量估计值；将每个所述像素块的运动向量估计值和匹配参考块作为所述当前帧图像的帧间运动估计参数。

【技术特征摘要】
1.一种帧间运动估计方法，其特征在于，包括：根据当前帧图像和已编码帧图像，建立背景模型；根据所述背景模型，确定所述当前帧图像的运动目标区域；对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量；其中，所述参考帧图像为与所述当前帧图像的运动目标最匹配的已编码帧图像；根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值；对于每个所述像素块，在所述参考帧图像中所述像素块的运动向量初始值指向的搜索点的预设邻域内，查找所述像素块的全局最优的匹配参考块，并计算所述像素块的运动向量估计值；将每个所述像素块的运动向量估计值和匹配参考块作为所述当前帧图像的帧间运动估计参数。2.根据权利要求1所述的方法，其特征在于，所述根据当前帧图像和已编码帧图像，建立背景模型，包括：根据当前帧图像和已编码帧图像，采用混合高斯模型算法或旋转不变纹理特征提取算法建立背景模型。3.根据权利要求1所述的方法，其特征在于，所述根据所述背景模型，确定所述当前帧图像的运动目标区域，包括：对比所述背景模型和所述当前帧图像；将所述当前帧图像中与所述背景模型不同的区域确定为所述当前帧图像的运动目标区域。4.根据权利要求1所述的方法，其特征在于，所述对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量，包括：采用时空上下文跟踪算法对所述运动目标区域的各个运动目标进行多运动目标跟踪，得到各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量。5.根据权利要求1所述的方法，其特征在于，所述根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值，包括：将每个所述像素块对应...

【专利技术属性】
技术研发人员：马兆远，王路，邱婧，
申请(专利权)人：司马大大北京智能系统有限公司，
类型：发明
国别省市：北京,11