基于光流场金字塔的图像预测方法和装置及电子设备制造方法及图纸

本发明专利技术涉及基于光流场金字塔的图像预测方法和装置及电子设备。根据一实施例，提供一种使用金字塔光流估计器的图像预测方法，所述金字塔光流估计器包括至少两层光流估计器，所述方法包括：每层光流估计器使用已知图像帧的对应缩放版本和上一层光流估计器产生的上一层预测图像帧作为输入，估计当前层光流场；以及使用所估计的当前层光流场和所述上一层预测图像帧生成当前层预测图像帧，其中，作为第一层光流估计器的输入的上一层预测图像帧为零，且与最后一层光流估计器对应的当前层预测图像帧被作为预测图像帧输出。本发明专利技术的图像预测方法和装置可用于辅助驾驶等领域。

Image Prediction Method and Device Based on Optical Flow Pyramid and Electronic Equipment

The invention relates to an image prediction method and device based on an optical flow pyramid and an electronic device. According to an embodiment, there is provided an image prediction method using a pyramid optical flow estimator comprising at least two layers of optical flow estimators, the method comprising: each layer optical flow estimator uses the corresponding scaled version of a known image frame and the upper layer predicted image frame generated by the previous layer optical flow estimator. As an input, the current layer optical flow field is estimated; and the current layer predicted image frame is generated using the estimated current layer optical flow field and the upper layer predicted image frame, where the upper layer predicted image frame as the input of the first layer optical flow estimator is zero and the current layer predicted image corresponding to the last layer optical flow estimator is generated. The frame is output as a predicted image frame. The image prediction method and device of the present invention can be used in the fields of auxiliary driving, etc.

【技术实现步骤摘要】
基于光流场金字塔的图像预测方法和装置及电子设备
本专利技术总体上涉及图像处理领域，更特别地，涉及一种基于光流场金字塔的图像预测方法和装置、及电子设备。
技术介绍
视频预测可广泛应用于多种领域，例如可以用于辅助驾驶中，基于当前的驾驶环境预测将来的驾驶环境，从而提前采取相应的驾驶策略。一种常用的视频预测方法包括使用光流场，光流场描述图像序列中相邻图像帧之间对应像素的位移矢量，图1A示出了示例性后验光流场，图1B示出了示例性先验光流场。如图1A所示，当已知了前一图像帧1和后一图像帧2时，即可确定图像帧1和图像帧2之间对应像素的光流场，其称为后验光流场，图1A中作为示例示出了圆形像素和三角形像素的位移矢量。如图1B所示，当已知图像帧1，但是并不知道下一图像帧2时，可以基于已知图像帧1估计先验光流场，其表示像素可能的位移矢量及其概率，根据光流场通过对相应的像素应用仿射变换，即可得到可能的图像帧2，例如图1B所示的具有概率A的可能的图像帧2和具有概率B的可能的图像帧2。因此，当根据若干已知图像帧预测出先验光流场时，即可通过像素的仿射变换来获得预测图像帧。针对图像序列预测问题进行光流场的估计时，需本文档来自技高网...

【技术保护点】
1.一种使用金字塔光流估计器的图像预测方法，所述金字塔光流估计器包括至少两层光流估计器，所述方法包括：每层光流估计器使用已知图像帧的对应缩放版本和上一层光流估计器产生的上一层预测图像帧作为输入，估计当前层光流场；以及使用所估计的当前层光流场和所述上一层预测图像帧生成当前层预测图像帧，其中，作为第一层光流估计器的输入的上一层预测图像帧为零，且与最后一层光流估计器对应的当前层预测图像帧被作为预测图像帧输出。

【技术特征摘要】
1.一种使用金字塔光流估计器的图像预测方法，所述金字塔光流估计器包括至少两层光流估计器，所述方法包括：每层光流估计器使用已知图像帧的对应缩放版本和上一层光流估计器产生的上一层预测图像帧作为输入，估计当前层光流场；以及使用所估计的当前层光流场和所述上一层预测图像帧生成当前层预测图像帧，其中，作为第一层光流估计器的输入的上一层预测图像帧为零，且与最后一层光流估计器对应的当前层预测图像帧被作为预测图像帧输出。2.如权利要求1所述的方法，其中，与至少相邻两层光流估计器对应的所述已知图像帧的缩放版本具有彼此不同的图像尺寸。3.如权利要求2所述的方法，其中，与所述至少相邻两层光流估计器中的上一层光流估计器对应的所述已知图像帧的缩放版本的图像尺寸小于与所述至少相邻两层光流估计器中的下一层光流估计器对应的所述已知图像帧的缩放版本的图像尺寸。4.如权利要求3所述的方法，其中，与所述至少相邻两层光流估计器中的上一层光流估计器对应的所述已知图像帧的缩放版本的图像尺寸是与所述至少相邻两层光流估计器中的下一层光流估计器对应的所述已知图像帧的缩放版本的图像尺寸的1/2。5.如权利要求1所述的方法，其中，与所述金字塔光流估计器中的最后一层光流估计器对应的所述已知图像帧的缩放版本的图像尺寸是所述已知图像帧的原始尺寸。6.如权利要求1所述的方法，其中，估计当前层光流场包括：生成随机光流场概率分布；以及对所述随机光流场概率分布进行采样、平均或取最大概率操作以生成所述当前层光流场。7.如权利要求1所述的方法，还包括：将所输出的预测图像帧作为已知图像帧来预测下一个预测图像帧。8.如权利要求1所述的方法，还包括：对所述金字塔光流估计器进行训练。9.如权利要求8所述的方法，其中，对所述金字塔光流估计器进行训练包括：使用光流场真值数据作为监督信号来训练所述金字塔光流估计器在已知图像帧下输出目标图像帧；或者使用所述金字塔光流估计器中的所述至少两层光流估计器生成相应的预测图像帧，并且基于所述预测图像...

【专利技术属性】
技术研发人员：刘景初，
申请(专利权)人：深圳地平线机器人科技有限公司，
类型：发明
国别省市：广东,44