光流计算方法、装置及电子设备制造方法及图纸

本公开实施例中提供了一种光流计算方法、装置及电子设备，属于数据处理领域，该方法包括：将目标视频中时间区间为[t‑N，t+N]的第一图像集合输入到第一预测网络中，得到第一光流信息；基于所述第一光流信息，利用与所述第一预测网络串行的第二预测网络，对目标视频中时间区间为[t‑M，t+M]的第二图像集合进行光流计算，得到第二光流信息；通过调整M、N和t的值，使所述目标视频中的所有视频帧均经过所述第一预测网络和所述第二预测网络进行光流计算；基于所述第二预测网络得到的第二光流信息，确定所述目标视频的光流值。通过本公开的处理方案，能够准确的计算图像的光流信息。

Optical flow calculation method, device and electronic equipment

【技术实现步骤摘要】
光流计算方法、装置及电子设备
本公开涉及数据处理
，尤其涉及一种光流计算方法、装置及电子设备。
技术介绍
图像处理是指对图像进行分析、加工、和处理，使其满足视觉、心理或其他要求的技术。图像处理是信号处理在图像领域上的一个应用。目前大多数的图像均是以数字形式存储，因而图像处理很多情况下指数字图像处理。此外，基于光学理论的处理方法依然占有重要的地位。图像处理是信号处理的子类，另外与计算机科学、人工智能等领域也有密切的关系。传统的一维信号处理的方法和概念很多仍然可以直接应用在图像处理上，比如降噪、量化等。然而，图像属于二维信号，和一维信号相比，它有自己特殊的一面，处理的方式和角度也有所不同。光流(Opticalflow)是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用，可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等。在实际的光流计算中，如何能够提高光流计算的准确度，成为需要解决的技术问题。
技术实现思路
有鉴于此，本公开实施本文档来自技高网...

【技术保护点】
1.一种光流计算方法，其特征在于，包括：将目标视频中时间区间为[t‑N，t+N]的第一图像集合输入到第一预测网络中，得到第一光流信息，N为小于t的数值；基于所述第一光流信息，利用与所述第一预测网络串行的第二预测网络，对目标视频中时间区间为[t‑M，t+M]的第二图像集合进行光流计算，得到第二光流信息，M为小于N的数值；通过调整M、N和t的值，使所述目标视频中的所有视频帧均经过所述第一预测网络和所述第二预测网络进行光流计算；在所述视频帧均经过所述第一预测网络和所述第二预测网络进行光流计算之后，基于所述第二预测网络得到的第二光流信息，确定所述目标视频的光流值。

【技术特征摘要】
1.一种光流计算方法，其特征在于，包括：将目标视频中时间区间为[t-N，t+N]的第一图像集合输入到第一预测网络中，得到第一光流信息，N为小于t的数值；基于所述第一光流信息，利用与所述第一预测网络串行的第二预测网络，对目标视频中时间区间为[t-M，t+M]的第二图像集合进行光流计算，得到第二光流信息，M为小于N的数值；通过调整M、N和t的值，使所述目标视频中的所有视频帧均经过所述第一预测网络和所述第二预测网络进行光流计算；在所述视频帧均经过所述第一预测网络和所述第二预测网络进行光流计算之后，基于所述第二预测网络得到的第二光流信息，确定所述目标视频的光流值。2.根据权利要求1所述的方法，其特征在于，所述基于所述第二预测网络得到的第二光流信息，确定所述目标视频的光流值，包括：基于所述第二光流信息，利用与所述第二预测网络串行的第三预测网络，对目标视频中时间区间为[t-L，t+L]的第三图像集合进行光流计算，得到第三光流信息，L为小于M的值；基于所述第三光流信息，确定所述目标视频的光流值。3.根据权利要求1所述的方法，其特征在于，所述在所述视频帧均经过所述第一预测网络和所述第二预测网络进行光流计算之后，基于所述第二预测网络得到的第二光流信息，确定所述目标视频的光流值之后，所述方法包括：对所述第一预测网络和所述第二预测网络设置不同的损失函数；基于所述损失函数，对所述第一预测网络和所述第二预测网络进行训练；利用训练后的第一预测网络和第二预测网络，对待预测视频的光流信息进行计算。4.根据权利要求1所述的方法，其特征在于，所述将目标视频中时间区间为[t-N，t+N]的第一图像集合输入到第一预测网络中，得到第一光流信息，包括：在所述第一预测网络中设置图像关联层；基于所述图像关联层，提取所述第一图像集合的图像特征；通过空间卷积运算的方式，确定提取到的所述第一图像集合的图像特征的相关性；基于所述第一图像集合的图像特征的相关性，确定是否计算所述第一光流信息。5.根据权利要求1所述的方法，其特征在于，所述将目标视频中时间区间为[t-N，t+N]的第一图像集合输入到第一预测网络中，得到第一光流信息，包括：在所述第一预测网络中设置多个反卷积ReLU层；针对每个反卷积ReLU层，输入反卷积ReLU层前一层的输出的同时，还输入反卷积ReLU层前一层预测的低尺度的光流和对应模块中的特征层。6.根据权利要求1所述的方法，其特征在于，所述基于所述第一光流信息，利用与所述第一预测网络串行的第二预测网络，对目标视频中时间区间为[t-M，t+M]的第二图像集合进行光流计算，包括：在所述第二预测网络中设置多个卷积层；基于所述多个卷积层，对所述第二图像集合进行图像特征提取；基于提取到的第二图像集合的特征，确定所述第二图像集合的光流信息。7.根据权利要求6所述的方法，其特征在...

【专利技术属性】
技术研发人员：喻冬东，王长虎，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11