一种光流预测方法及装置制造方法及图纸

本发明专利技术提供了一种光流预测方法及装置，涉及计算机视觉技术领域，包括：将两帧连续的待预测图像输入光流预测网络；根据光流预测网络得到预测的光流，其中，光流预测网络的损失通过如下方式确定，包括：根据预设裁剪规则对输入图像进行裁剪，确定两帧裁剪图像；将两帧裁剪图像输入光流预测网络，得到前向光流和后向光流；根据前向光流、后向光流和两帧输入图像进行边界填充映射，确定映射后的两帧映射图像；根据裁剪图像和映射图像确定光流预测网络的损失。本发明专利技术通过对裁剪图像进行边界填充映射，使得运动超出裁剪图像边界的像素在经边界填充映射后仍能通过输入图像的对应像素进行替换，得到正确的图像损失，提高了光流预测的准确性。

【技术实现步骤摘要】
一种光流预测方法及装置
本专利技术涉及计算机视觉
，具体而言，涉及一种光流预测及装置。
技术介绍
随着计算机技术的发展，计算机视觉领域的发展也相当迅速。光流预测是计算机视觉的一项基础任务，在自动驾驶、视频处理、目标检测、行为分析等许多领域中起着重要作用。近年来，由于深度学习的兴起，基于深度学习的光流预测方法逐渐成为了主流。现有基于深度学习的光流预测方法有FlowNet、FlowNet-v2、PWC-Net以及IRR-PWCNet等。其主要优点是精确度高、速度快、部署快、泛化性强。然而，基于深度学习的光流预测方法对训练数据的要求非常高，需要精确标注光流标签。而人工进行大量的光流标注是十分困难的。因此人们尝试制造虚拟数据，例如FlyingChirs数据集等，利用虚拟数据集进行光流模型训练，然后再应用于真实场景，或者是用虚拟数据集训练光流模型后，使用少量的人工标注的稀疏光流标签进行再训练。由于真实场景的光照变化和遮挡变化跟虚拟数据集相比差距很大，因此这样的方法在真实应用中往往性能较差。现有基于深度学习的光流预测方法对标注数据的依赖性非常本文档来自技高网...

【技术保护点】
1.一种光流预测方法，其特征在于，包括：/n将两帧连续的待预测图像输入光流预测网络；/n根据所述光流预测网络得到预测的光流，其中，所述光流预测网络的损失通过如下方式确定，包括：/n根据预设裁剪规则对输入图像进行裁剪，确定两帧裁剪图像；/n将两帧所述裁剪图像输入所述光流预测网络，得到前向光流和后向光流；/n根据所述前向光流、所述后向光流和两帧所述输入图像进行边界填充映射，确定映射后的两帧映射图像，其中，所述边界填充映射用于为运动超出所述裁剪图像边界的像素提供光流损失；/n根据所述裁剪图像和所述映射图像确定所述光流预测网络的所述损失。/n

【技术特征摘要】
1.一种光流预测方法，其特征在于，包括：
将两帧连续的待预测图像输入光流预测网络；
根据所述光流预测网络得到预测的光流，其中，所述光流预测网络的损失通过如下方式确定，包括：
根据预设裁剪规则对输入图像进行裁剪，确定两帧裁剪图像；
将两帧所述裁剪图像输入所述光流预测网络，得到前向光流和后向光流；
根据所述前向光流、所述后向光流和两帧所述输入图像进行边界填充映射，确定映射后的两帧映射图像，其中，所述边界填充映射用于为运动超出所述裁剪图像边界的像素提供光流损失；
根据所述裁剪图像和所述映射图像确定所述光流预测网络的所述损失。


2.根据权利要求1所述的光流预测方法，其特征在于，所述根据预设裁剪规则包括：以距离所述输入图像长度边界第一数量的像素宽度、距离所述输入图像宽度边界第二数量的像素宽度，对所述输入图像进行裁剪。


3.根据权利要求1所述的光流预测方法，其特征在于，所述根据所述前向光流、所述后向光流和两帧所述输入图像进行边界填充映射，确定映射后的两帧映射图像包括：
根据所述前向光流和两帧所述输入图像中的第二输入图像进行所述边界填充映射，确定映射后的第一映射图像；
根据所述后向光流和两帧所述输入图像中的第一输入图像进行所述边界填充映射，确定映射后的第二映射图像。


4.根据权利要求3所述的光流预测方法，其特征在于，所述根据所述前向光流和两帧所述输入图像中的第二输入图像进行所述边界填充映射，确定映射后的第一映射图像包括：
根据所述前向光流和所述第二输入图像，确定所述第一输入图像对应的第一裁剪图像中的每个像素点在所述第二输入图像中对应的坐标；
将所述第二输入图像中所述坐标对应的像素点替换所述第一裁剪图像中的每个所述像素点进行所述边界填充映射，确定所述第一映射图像。


5.根据权利要求4所述的光流预测方法，其特征在于，所述根据所述前向光流和所述第二输入图像，确定所述第一输入图像对应的第一裁剪图像中的每个像素点在所述第二输入图像中对应的坐标包括：
确定所述第一裁剪图像的一个顶点的坐标；
根据所述顶点的坐标、所述第一裁剪图像中的每个所述像素点的坐标以及所述前向光流在每个所述像素点的值，确定每个所述像素点在所述第二输入图像中对应的坐标。


6.根据权利要求3所述的光流预测方法，其特征在于，所述根据所述后向光流和两帧所述输入图像中的第一输入图像进行所述边界填充映射，确定映射后的第二映射图像包括：
根据所述后向光流和所述第一输入图像，确定所述第二输入图像对应的第二裁剪图像中的每个像素点在所述第一输入图像中对应的坐标；
将所述第一输入图像中所述坐标对应的像素点替换所述第二裁剪图像中的每个所述像素点进行所述边界填充映射，确定所述第二映射图像。


7.根据权利要求6所述的光流预测方法，其特征在于，所述根据所述后向光流和所述第一输入图像，确定所述第...

【专利技术属性】
技术研发人员：罗堃铭，叶年进，刘帅成，
申请(专利权)人：北京迈格威科技有限公司，成都旷视金智科技有限公司，
类型：发明
国别省市：北京;11