一种光流估计方法和装置制造方法及图纸

本申请提供一种光流估计方法和装置，能够提高相邻两个图像帧到该相邻两个图像帧之间的任意时刻的光流估计的准确度。该方法可以包括：获得第一图像帧和第二图像帧，该第一图像帧和该第二图像帧为图像序列中任意两个相邻的图像帧，该图像序列是对目标场景拍摄得到的；获得第一事件帧，该第一事件帧用于描述该目标场景在该第一图像帧到该第二图像帧之间的时间段内的亮度变化情况；基于该第一图像帧、该第二图像帧和该第一事件帧，确定目标光流，该目标光流为从该第一图像帧到目标时刻的光流，该目标时刻为该第一图像帧与该第二图像帧之间的任意时刻。帧之间的任意时刻。帧之间的任意时刻。

【技术实现步骤摘要】
一种光流估计方法和装置


[0001]本申请涉及计算机视觉领域，特别涉及一种光流估计方法和装置。

技术介绍

[0002]光流(optical flow)是指是利用图像序列中像素点在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
[0003]传统的光流估计方法只能估计第一图像帧与第二图像帧之间的光流(包括从该第一图像帧到该第二图像帧的光流以及从该第二图像帧到该第一图像帧的光流)，其中，第一图像帧和第二图像帧为相邻的两个图像帧，而对于上述两个图像帧到上述两个图像帧之间的任意时刻的光流(包括从该第一图像帧到该任意时刻的光流以及从该第二图像帧到该任意时刻的光流)，只能通过线性运动假设，按照时间长度作为权重进行平均分配。
[0004]由于线性运动是一种假设的情况，与实际情况的差别较大，因此，采用传统的光流计算方法对相邻两个图像帧到该相邻两个图像帧之间的任意时刻的光流进行估计，准确度较低。

技术实现思路

[0005]本申请提供一种光流估计方法和装置，能够提高相邻两个图像帧到该相邻两个图像帧之间的任意时刻的光流估计的准确度。
[0006]第一方面，本申请提供一种光流估计方法。该方法可以包括：获得第一图像帧和第二图像帧，该第一图像帧和该第二图像帧为图像序列中任意两个相邻的图像帧，该图像序列是对目标场景拍摄得到的；获得第一事件帧，该第一事件帧用于描述该目标场景在该第一图像帧到该第二图像帧之间的时间段内的亮度变化情况；基于该第一图像帧、该第二图像帧和该第一事件帧，确定目标光流，该目标光流为从该第一图像帧到目标时刻的光流，该目标时刻为该第一图像帧与该第二图像帧之间的任意时刻。
[0007]在一种可能的实现方式中，该方法可以用于光流估计系统，该光流估计系统可以包括包括像素传感器、事件传感器和光流估计装置，该像素传感器和该事件传感器分别与该光流估计装置连接。该方法例如可以由上述光流估计装置执行。
[0008]还需要说明的是，由于该图像序列是通过像素相机对该目标场景拍摄得到的，因此，该第一图像帧和该第二图像帧中包含该目标场景中的目标对象的像素信息。由于该事件流数据是通过事件相机对该目标场景拍摄得到的，因此，该第一事件流数据可以捕捉到该目标场景中的目标对象在该第一图像帧与该第二图像帧之间的时间段内真实的高速运动信息(包括线性的和非线性的运动)。
[0009]采用本申请提供的光流估计方法，该光流估计装置基于该第一图像帧、该第二图像帧和该第一事件帧，先估计出该第一图像帧与该第二图像帧之间的第一光流；然后，基于该第二事件帧，确定该第一图像帧与该目标时刻的光流相比于该第一图像帧与该第二图像
帧的光流的权重(即第一光流分配掩码)，由于不存在目标对象的运动假设，因此，得到的第一光流分配掩码具备精确分配真实运动光流的特点，因此，通过该第一光流分配掩码对该第一光流进行加权得到的目标光流的准确度更高。
[0010]可选地，该光流估计装置可以通过多种方式获得该第一图像帧和该第二图像帧，本申请对此不做限定。
[0011]在一种可能的实现方式中，该光流估计装置可以接收像素相机发送的该第一图像帧和该第二图像帧。
[0012]在另一种可能的实现方式中，该光流估计装置可以通过输入接口获得其它设备或用于输入的该第一图像帧和该第二图像帧。
[0013]可选地，该目标场景中可以包括至少一个目标对象，该至少一个目标对象中的部分或全部对象处于运动状态。
[0014]可选地，该光流估计装置可以通过多种方式获得该第一事件帧，本申请对此不做限定。
[0015]在一种可能的实现方式中，该光流估计装置可以接收事件相机发送的事件流数据，该事件流数据包括至少一个事件中的每个事件的事件数据，该至少一个事件与该目标场景在该第一图像帧与该第二图像帧之间发生的至少一次亮度变化一一对应，该每个事件的数据包括时间戳、像素点坐标和极性；该光流估计装置可以基于该事件流数据，得到该第一事件帧。也就是说，事件相机可以采集该事件流数据，并将该事件流数据发送至该光流估计装置。
[0016]在另一种可能的实现方式中，该光流估计装置可以接收事件相机发送的该第一事件帧。也就是说，该事件相机可以采集该事件流数据，基于该事件流数据生成该第一事件帧并发送至该光流估计装置。
[0017]需要说明的是，该第一图像帧、该第二图像帧和该第一事件帧的分辨率相同。
[0018]在一种可能的实现方式中，以该第一图像帧包括H
×
W个像素点，H和W均为大于1的整数为例，该第一事件帧可以包括多个通道，该多个通道可以包括第一通道、第二通道、第三通道和第四通道。其中，该第一通道包括H
×
W个第一数值，该H
×
W个第一数值与该H
×
W个像素点的位置一一对应，该第一数值用于表示该第一图像帧中对应位置的像素点的亮度在该第一图像帧到该第二图像帧之间的时间段内增大的次数；该第二通道包括H
×
W个第二数值，该H
×
W个第二数值与该H
×
W个像素点的位置一一对应，该第二数值用于表示该第一图像帧中对应位置的像素点的亮度在该第一图像帧到该第二图像帧之间的时间段内减小的次数；该第三通道包括H
×
W个第三数值，该H
×
W个第三数值与该H
×
W个像素点的位置一一对应，该第三数值用于表示该第一图像帧中对应位置的像素点的亮度在该第一图像帧到该第二图像帧之间的时间段内最后一次增大的时间；该第四通道包括H
×
W个第四数值，该H
×
W个第四数值与该H
×
W个像素点的位置一一对应，该第四数值用于表示该第一图像帧中对应位置的像素点的亮度在该第一图像帧到该第二图像帧之间的时间段内最后一次减小的时间。
[0019]在一种可能的实现方式中，在该光流估计装置基于该第一图像帧、该第二图像帧和该第一事件帧，确定目标光流之前，该光流估计装置可以获得第二事件帧，该第二事件帧用于描述该目标场景在该第一图像帧到该目标时刻之间的时间段内的亮度变化情况；相应
地，该光流估计装置基于该第一图像帧、该第二图像帧和该第一事件帧，确定目标光流，包括：该光流估计装置基于该第一图像帧、该第二图像帧、该第一事件帧和该第二事件帧，确定该目标光流。
[0020]具体地，该光流估计装置可以基于该第一图像帧、该第二图像帧和该第一事件帧，确定第一光流，该第一光流为从该第一图像帧到该第二图像帧的光流；基于该第二事件帧，确定第一光流分配掩码，该第一光流分配掩码用于指示该目标光流相对于该第一光流的权重；基于该第一光流和该第一光流分配掩码，确定该目标光流。
[0021]可选地，该第一光流可以为稀疏光流，也可以为稠密光流，本申请对此不做限定。
[0022]在一种可能的实现方式中，以该第一光流为稠密光流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光流估计方法，其特征在于，包括：获得第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧为图像序列中任意两个相邻的图像帧，所述图像序列是对目标场景拍摄得到的；获得第一事件帧，所述第一事件帧用于描述所述目标场景在所述第一图像帧到所述第二图像帧之间的时间段内的亮度变化情况；基于所述第一图像帧、所述第二图像帧和所述第一事件帧，确定目标光流，所述目标光流为从所述第一图像帧到目标时刻的光流，所述目标时刻为所述第一图像帧与所述第二图像帧之间的任意时刻。2.根据权利要求1所述的方法，其特征在于，在所述基于所述第一图像帧、所述第二图像帧和所述第一事件帧，确定目标光流之前，所述方法还包括：获得第二事件帧，所述第二事件帧用于描述所述目标场景在所述第一图像帧到所述目标时刻之间的时间段内的亮度变化情况；所述基于所述第一图像帧、所述第二图像帧和所述第一事件帧，确定目标光流，包括：基于所述第一图像帧、所述第二图像帧、所述第一事件帧和所述第二事件帧，确定所述目标光流。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像帧、所述第二图像帧、所述第一事件帧和所述第二事件帧，确定所述目标光流，包括：基于所述第一图像帧、所述第二图像帧和所述第一事件帧，确定第一光流，所述第一光流为从所述第一图像帧到所述第二图像帧的光流；基于所述第二事件帧，确定第一光流分配掩码，所述第一光流分配掩码用于指示所述目标光流相对于所述第一光流的权重；基于所述第一光流和所述第一光流分配掩码，确定所述目标光流。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一图像帧、所述第二图像帧和所述第一事件帧，确定第一光流，包括：将所述第一图像帧、所述第二图像帧和所述第一事件帧输入预设的光流估计模型，得到所述第一光流。5.根据权利要求4所述的方法，其特征在于，所述将所述第一图像帧、所述第二图像帧和所述第一事件帧输入预设的光流估计模型，得到所述第一光流，包括：将所述第一图像帧、所述第二图像帧和所述第一事件帧输入所述光流估计模型，并进行循环迭代，得到所述第一光流。6.根据权利要求3
‑
5中任一项所述的方法，其特征在于，所述基于所述第二事件帧，确定第一光流分配掩码，包括：将所述第二事件帧输入预设的光流分配模型，得到所述第一光流分配掩码。7.根据权利要求6所述的方法，其特征在于，所述将所述第二事件帧输入预设的光流分配模型，得到所述第一光流分配掩码，包括：将所述第二事件帧输入所述光流分配模型，并进行循环迭代，得到所述第一光流分配掩码。8.根据权利要求1
‑
7中任一项所述的方法，其特征在于，所述第一图像帧包括H
×
W个像素点，H和W均为大于1的整数，所述第一事件帧包括多个通道，该多个通道包括第一通道、第
二通道、第三通道和第四通道；所述第一通道包括H
×
W个第一数值，所述H
×
W个第一数值与所述H
×
W个像素点的位置一一对应，所述第一数值用于表示所述第一图像帧中对应位置的像素点的亮度在所述第一图像帧到所述第二图像帧之间的时间段内增大的次数；所述第二通道包括H
×
W个第二数值，所述H
×
W个第二数值与所述H
×
W个像素点的位置一一对应，所述第二数值用于表示所述第一图像帧中对应位置的像素点的亮度在所述第一图像帧到所述第二图像帧之间的时间段内减小的次数；所述第三通道包括H
×
W个第三数值，所述H
×
W个第三数值与所述H
×
W个像素点的位置一一对应，所述第三数值用于表示所述第一图像帧中对应位置的像素点的亮度在所述第一图像帧到所述第二图像帧之间的时间段内最后一次增大的时间戳；所述第四通道包括H
×
W个第四数值，所述H
×
W个第四数值与所述H
×
W个像素点的位置一一对应，所述第四数值用于表示所述第一图像帧中对应位置的像素点的亮度在所述第一图像帧到所述第二图像帧之间的时间段内最后一次减小的时间戳。9.根据权利要求1
‑
8中任一项所述的方法，其特征在于，所述获得第一事件帧，包括：获得事件流数据，所述事件流数据包括至少一个事件中的每个事件的事件数据，所述至少一个事件与所述目标场景在所述第一图像帧与所述第二图像帧之间发生的至少一次亮度变化一一对应，所述每个事件的数据包括时间戳、像素点坐标和极性；基于所述事件流数据，得到所述第一事件帧。10.一种光流估计装置，其特征在于，包括：获得模块和光流估计模块；所述获得模块用于获得第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧为图像序列中任意两个相邻的图像帧，所述图像序列是对目标场景拍摄得到的；获得第一事件帧，所述第一...

【专利技术属性】
技术研发人员：王耀园，张子阳，杨晨，王瀛，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：