用于主动立体声系统的基于学习的匹配技术方案

捕捉场景的第一和第二图像。该第一图像的多个像素中的每一个像素与差异值相关联。与该第一图像和第二图像的多个像素中的每一个像素相关联的图像块被映射为二元向量。因此，图像中像素的数值通过使用保留了像素的数值特性的函数而映射至二元空间。确定与该第一图像的多个像素中的每一个像素相关联的二元向量和在该第二图像中的与上述二元向量相对应的由与该第一图像的多个像素中的每一个像素相关联的差异值所指定的二元向量之间的差值。基于上述二元向量之间所确定的差值，建立该第一图像和第二图像的多个像素之间的对应性。

Learning based matching for active stereo system

【技术实现步骤摘要】
【国外来华专利技术】用于主动立体声系统的基于学习的匹配
技术介绍
在头戴式显示器(HMD)和其它成像系统中，可以通过关联左侧和右侧立体图像以匹配该立体图像之间的像素来获得深度成像。可以通过确定哪些像素在左侧和右侧图像之间最为相似来对像素进行匹配。在左侧和右侧立体图像之间关联的像素可以被用来确定深度信息。例如，左侧图像中的像素的位置与右侧图像中的相对应的像素的位置之间的差异可以被用来使用双眼差异技术计算深度信息。可以产生包含有场景的深度信息的图像，诸如与场景中的物体关于相机视点有多深或多远相关的信息。例如，这样的图像在针对诸如手势跟踪和对象识别之类的应用的感知计算中是有用的，附图说明通过参考附图可以更好地理解本公开，并且可以使得其多种特征和优势对于本领域技术人员是清楚明白的。不同附图中使用同样的附图标记来指示相似或相同的事项。图1是根据本公开至少一个实施例的被配置为针对AR/VR应用产生深度图的主动立体成像系统的框图。图2是图示根据本公开至少一个实施例的图像预处理器的将图像像素投射为二元表示形式的操作的示图。图3是图示根据本公开至少一个实施例的基于本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n捕捉场景的第一图像和第二图像，其中，所述第一图像和所述第二图像形成立体配对并且均包括多个像素，并且进一步其中所述第一图像中的所述多个像素中的每一个像素与差异值相关联；/n将与所述第一图像和所述第二图像的所述多个像素中的每一个像素相关联的图像块映射为二元向量；/n确定与所述第一图像的所述多个像素中的每一个像素相关联的二元向量和该二元向量在所述第二图像中的对应的二元向量之间的差值，所述对应的二元向量由与所述第一图像的所述多个像素中的每一个像素相关联的差异值所指定；并且/n基于所确定的二元向量之间的差值来确定所述第一图像和所述第二图像的所述多个像素之间的对应性。/n

【技术特征摘要】
【国外来华专利技术】20180604 US 15/996,8801.一种方法，包括：
捕捉场景的第一图像和第二图像，其中，所述第一图像和所述第二图像形成立体配对并且均包括多个像素，并且进一步其中所述第一图像中的所述多个像素中的每一个像素与差异值相关联；
将与所述第一图像和所述第二图像的所述多个像素中的每一个像素相关联的图像块映射为二元向量；
确定与所述第一图像的所述多个像素中的每一个像素相关联的二元向量和该二元向量在所述第二图像中的对应的二元向量之间的差值，所述对应的二元向量由与所述第一图像的所述多个像素中的每一个像素相关联的差异值所指定；并且
基于所确定的二元向量之间的差值来确定所述第一图像和所述第二图像的所述多个像素之间的对应性。


2.根据权利要求1所述的方法，进一步包括：
利用差异假设对所述第一图像中的所述多个像素中的每一个像素进行初始化。


3.根据权利要求2所述的方法，进一步包括：
针对所述第一图像中的所述多个像素中的每一个像素采样多个差异假设；并且
基于所述多个差异假设中的最低匹配得分替换与所述第一图像的所述多个像素中的每一个像素相关联的差异值。


4.根据权利要求3所述的方法，其中，采样多个差异假设包括：将与每个像素的差异值相关联的匹配成本相对于与该像素的一个或多个相邻像素的差异值相关联的匹配成本进行比较。


5.根据权利要求1所述的方法，其中，将与所述多个像素中的每一个像素相关联的图像块映射为二元向量进一步包括：
将所述第一图像和所述第二图像的所述多个像素中的每个像素作为输入信号提供至二元决策树，其中，所述二元决策树输出其输入信号的二元向量表示形式。


6.根据权利要求5所述的方法，进一步包括：
通过遍历所述二元决策树对与所述第一图像和所述第二图像的所述多个像素相关联的所述图像块进行稀疏采样。


7.根据权利要求1所述的方法，其中，确定与所述第一图像的所述多个像素中的每一个像素相关联的二元向量和该二元向量在所述第二图像中的对应的二元向量之间的差值进一步包括：
计算所述二元向量之间的汉明距离。


8.根据前述权利要求中任一项所述的方法，进一步包括：
至少部分基于所述第一图像和所述第二图像的所述多个像素之间的所确定的对应性来生成差异图。


9.一种电子设备，包括：
一对相机，用于捕捉场景的第一图像和第二图像，其中，所述第一图像和所述第二图像形成立体配对并且各自包括多个像素，并且进一步其中所述第一图像中的所述多个像素中的每一个像素与差异值相关联；和
处理器，所述处理器被配置为：
将与所述第一图像和所述第二图像的所述多个像素中的每一个像素相关联的图像块映射为二元向量；
确定与所述第一图像的所述多个像素中的每一个像素相关联的所述二元向量和该二元向量在所...

【专利技术属性】
技术研发人员：朱利安·帕斯卡尔·克里斯多佛·瓦伦汀，肖恩·瑞安·法内洛，阿达尔什·普拉卡什·穆尔蒂·寇德莱，克里斯多佛·雷曼，弗拉迪米尔·坦科维奇，菲利普·L·戴维森，沙赫拉姆·伊扎迪，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US