无监督的多尺度视差/光流融合制造技术

一种用于实现无监督的多尺度视差/光流融合的装置包括接口和处理器。接口可以被配置为从捕获设备接收图像。处理器可以被配置为：(i)从图像中提取特征；(ii)响应于所提取的特征来生成融合的视差图；(iii)通过基于(a)融合的视差图以及(b)第一参数对图像的第一子集执行扭曲来生成再生图像；(iv)执行对样本图像与图像的第一子集中的一个图像的比较；(v)基于第二参数来执行对样本图像的分类；以及(vi)响应于分类是否正确来更新第一参数和第二参数，其中，(a)分类包括指示样本图像是图像的第二子集中的一个图像还是再生图像中的一个再生图像；并且(b)再生图像被用作训练数据集。并且(b)再生图像被用作训练数据集。并且(b)再生图像被用作训练数据集。

【技术实现步骤摘要】
无监督的多尺度视差/光流融合


[0001]本专利技术总体上涉及传感器融合，并且更具体地涉及用于实现无监督的多尺度视差(disparity)/光流融合的方法和/或装置。

技术介绍

[0002]在双相机立体重建中，视差/光流图的准确度和密度对于高级算法而言至关重要。仅在高分辨率图像中计算视差时，该计算可能会受到噪声的影响，并且无法获得密集的视差/光流图。仅在低分辨率图像中计算视差时，获得较为密集但准确度较低的视差。典型地，在高分辨率图像和低分辨率图像两者中计算视差，并将结果合并在一起。然而，手动设计合适的融合算法具有挑战性。常规卷积神经网络(CNN)要求地面真值视差来训练网络。然而，用于训练数据集的这样的地面真值视差并不容易收集。
[0003]期望实现无监督的多尺度视差/光流融合。

技术实现思路

[0004]本专利技术涵盖涉及一种包括接口和处理器的装置的方面。接口可以被配置为从捕获设备接收图像。处理器可以被配置为：(i)从图像中提取特征；(ii)响应于所提取的特征来生成融合的视差图；(iii)通过基于(a)融合的视差图以及(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，包括：接口，其被配置为从捕获设备接收图像；以及处理器，其被配置为：(i)从所述图像中提取特征；(ii)响应于所提取的所述特征来生成融合的视差图；(iii)通过基于(a)所述融合的视差图以及(b)第一参数对所述图像的第一子集执行扭曲来生成再生图像；(iv)执行对样本图像与所述图像的所述第一子集中的一个图像的比较；(v)基于第二参数来执行对所述样本图像的分类；以及(vi)响应于所述分类是否正确来更新所述第一参数和所述第二参数，其中，(a)所述分类包括指示所述样本图像是所述图像的第二子集中的一个图像还是所述再生图像中的一个再生图像；并且(b)所述再生图像被用作训练数据集。2.根据权利要求1所述的装置，其中，(i)所述捕获设备包括被配置作为立体相机的第一相机和第二相机；(ii)所述图像的所述第一子集由所述第一相机捕获；以及(iii)所述图像的所述第二子集由所述第二相机捕获。3.根据权利要求2所述的装置，其中，(i)所述图像的所述第一子集包括左图像；(ii)所述图像的所述第二子集包括右图像；以及(iii)所述训练数据集包括用于视差计算的数据。4.根据权利要求1所述的装置，其中，(i)所述图像的所述第一子集包括在所述图像的序列中的在较早时间被捕获的所述图像；(ii)所述图像的所述第二子集包括在所述图像的所述序列中的、在与所述图像的所述第一子集相比较晚的时间被捕获的所述图像；以及(iii)所述训练数据集包括光流信息。5.根据权利要求1所述的装置，其中，所述样本图像是从所述图像的所述第二子集或所述再生图像中被随机选择的。6.根据权利要求5所述的装置，其中，(a)更新所述第一参数以调整所述再生图像，从而降低所述样本图像的所述分类为正确的概率；以及(b)更...

【专利技术属性】
技术研发人员：杨志侃，
申请(专利权)人：安霸国际有限合伙企业，
类型：发明
国别省市：