用于表示物理场景的方法和设备技术

本发明专利技术描述用于通过获得关于物理场景的信息构建所述物理场景的数字表示的系统、方法和装置。基于所述信息，可识别所述物理场景内的平面表面的初始部分。在本发明专利技术的一个方面中，构建物理场景的数字表示可包含：获得关于所述物理场景的信息；识别所述物理场景内的平面表面；选择放置在所述平面表面上方的所述物理场景内的物理对象；检测与所述物理对象相关联的特性；使用与所述物理对象相关联的所述特性产生三维3D重建对象；以及将所述平面表面表示为扩增现实AR环境中的扩增现实平面，其中所述AR环境中的所述AR平面能够支持其顶部上的3D重建对象。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术大体涉及扩增现实环境，且更确切地说涉及现实世界周围环境的基于机器的辨识。
技术介绍
在扩增现实(AR)环境中，用户可检视人工或虚拟图形与用户的自然周围环境的集成。在AR的一些较早实施方案中，用户可经由(例如)扩增现实护目镜参看任意显示在用户的自然周围环境当中或内的图形。举例来说，随机蝴蝶的图形可沿着AR护目镜的视线飞行，同时用户继续检视他的或她的自然周围环境，而不管所述蝴蝶与用户正自然地查看的任何事物是否具有任何关联性。在AR的较复杂实施方案中，用户可能够将AR特征或图形直接应用到用户的自然周围环境的对象或结构。举例来说，用户可能想要引导蝴蝶的图形在墙壁或台子上着陆，这首先需要AR环境辨识事实上所述墙壁或台子实际上存在于用户的视野中何处。在其它情况下，机器人或其它自动机器可在尝试在自然周围环境中定向其自身时应用AR领域中的类似概念和技术。举例来说，机器人可需要理解墙壁和台子存在于周围环境中何处，使得机器人并不会跑到墙壁或台子中。在其它情况下，机器人可通过(例如)识别台子上的杯子且拿起所述杯子而与自然周围环境交互。执行此任务可首先需要机器人成功地识别杯子，且在一些情况下需要成功地识别上面放置杯子的台子。然而，实时实现自然周围环境的基于机器的辨识已证明是难以解决的问题，因为(例如)现有技术不能足够快速或足够高效节能以用于实时目的。因此，在此项技术中需要在实时设定中自然周围环境的基于机器的辨识的改进的方法。
技术实现思路
本专利技术大体涉及扩增现实环境，且更确切地说涉及现实世界周围环境的基于机器的辨识。描述用于通过获得关于物理场景的信息构建物理场景的数字表示的系统、方法和装置。基于所述信息，可识别物理场景内的平面表面的初始部分。在某些方面中，来自物理场景的物理对象可选定和经重建为三维(3D)经重建对象。所述平面表面可表示为扩增现实(AR)环境中的扩增现实平面，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。在某些方面中，还可基于所述至少一个所俘获图像识别平面表面的额外部分。基于确定与额外部分相关联的至少一个视觉特性同与已经识别为平面表面的一部分的一或多个部分相关联的至少一个对应视觉特性之间的相似度而将额外部分中的每一者识别为平面表面的一部分。用于构建物理场景的数字表示的实例方法可包含：获得关于物理场景的信息；识别物理场景内的平面表面；选择放置在平面表面上方的物理场景内的物理对象；检测与物理对象相关联的特性；使用与物理对象相关联的特性产生三维(3D)经重建对象；以及将平面表面表示为扩增现实(AR)环境中的扩增现实平面，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。在所述方法的某些方面中，识别用于选择的物理对象可包含：识别平面表面中的一或多个区，其中所述一或多个区对应于平面表面上的物理对象的位置，其中所获得的信息包括物理对象的一或多个特征点，其中每一特征点指示物理对象的外表面上的点相对于平面表面的位置；以及基于一或多个凸面区的位置和所述一或多个特征点识别物理对象的一或多个外表面。在所述方法的某些方面中，将平面表面表示为AR平面可包含分析包括所述物理对象的物理场景的至少两个图像，以及基于对物理场景的所述至少两个图像的分析创建AR平面使得所述AR平面对应于所述物理场景且排除对应于所述物理对象的至少一个区。所创建的AR平面可包含多个单元，所述多个单元的每一单元表示物理场景中的不含物理对象的区。在某些方面中，分析物理场景的所述至少两个图像可包含：使用相机俘获第一位置处的物理场景的第一图像，其中所述第一图像包含物理对象；确定相机已从所述第一位置向第二位置移动的距离；使用所述相机俘获第二位置处的物理场景的第二图像，其中所述第二图像包含物理对象；以及使用所述第一图像和所述第二图像确定所述物理对象的深度信息。在所述方法的某些方面中，产生3D重建对象可包含：获得物理对象的一或多个特征点，其中所述一或多个特征点的每一特征点指示物理对象的外表面上的点相对于平面表面的位置；使用与平面表面相关联的信息和所述一或多个特征点估计物理对象的不可见的部分的形状；以及基于所述估计构建所述3D重建对象。在某些情况下，所述估计包括将所述信息和所述一或多个特征点变换为平面表面的前平行视角。在一些情况下，所述估计包括样条表示、反射对称对象表示、平面表示或弯曲表示中的至少一者。在本专利技术的某些方面中，构建物理对象的数字表示可包含基于平面表面的被物理对象遮挡的部分的形状在垂直于平面表面的方向上挤压对象。在所述方法的某些方面中，将平面表面表示为AR平面可包含：识别物理场景内的平面表面的初始部分；识别平面表面的额外部分，其中所述额外部分中的每一者基于确定与额外部分相关联的至少一个视觉或几何性质同与已经识别为平面表面的一部分的一或多个部分相关联的至少一个对应视觉或几何性质之间的相似度而识别为平面表面的一部分。在某些实施方案中，识别平面表面的额外部分可包含：建立平面表面在其内驻留的平面区的模型；将所述平面区分割为多个单元；以及将每一单元评估为平面表面的潜在额外部分。评估每一单元可包含以下反复步骤：针对识别为平面表面的额外部分的每一单元，识别尚未识别为平面表面的一部分的相邻单元；以及针对每一经识别的相邻单元，将所述相邻单元评估为平面表面的潜在部分。用于构建物理场景的数字表示的实例装置可包含存储器、用于获得关于物理场景的信息的相机，和耦合到存储器的处理器。所述处理器可经配置用于：识别物理场景内的平面表面；选择放置在平面表面上方的物理场景内的物理对象；检测与物理对象相关联的特性；使用与物理对象相关联的特性产生三维(3D)经重建对象；以及将平面表面表示为扩增现实(AR)环境中的扩增现实平面，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。在所述装置的某些方面中，识别用于选择的物理对象可包含：识别平面表面中的一或多个区，其中所述一或多个区对应于平面表面上的物理对象的位置，其中所获得的信息包括物理对象的一或多个特征点，其中每一特征点指示物理对象的外表面上的点相对于平面表面的位置；以及基于一或多个凸面区的位置和所述一或多个特征点识别物理对象的一或多个外表面。在所述装置的某些方面中，将平面表面表示为AR平面可包含分析包括所述物理对象的物理场景的至少两个图像，以及基于对物理场景的所述至少两个图像的分析创建AR平面使得所述AR平面对应于所述物理场景且排除对应于所述物理对象的至少一个本文档来自技高网...

【技术保护点】
一种用于构建物理场景的数字表示的方法，其包括：获得关于含有至少一平面表面和位于所述平面表面上的一或多个物理对象的所述物理场景的信息；识别所述物理场景内的所述平面表面；确定对应于所述平面表面的AR平面，其中所述AR平面包括所述平面表面的至少一部分且包围与位于所述平面表面上的所述一或多个物理对象的第一对象相关联的至少一个孔；至少部分地基于关于所述AR平面的信息确定与所述第一对象相关联的一或多个特性；使用与所述第一对象相关联的所述特性和与所述AR平面相关联的信息产生所述第一对象的三维3D模型；以及产生包括所述AR平面和所述第一对象的所述3D模型的AR环境的数字表示。

【技术特征摘要】
【国外来华专利技术】2013.08.30 US 61/872,152;2013.08.30 US 61/872,376;1.一种用于构建物理场景的数字表示的方法，其包括：
获得关于含有至少一平面表面和位于所述平面表面上的一或多个物理对象的所
述物理场景的信息；
识别所述物理场景内的所述平面表面；
确定对应于所述平面表面的AR平面，其中所述AR平面包括所述平面表面的至
少一部分且包围与位于所述平面表面上的所述一或多个物理对象的第一对象相关
联的至少一个孔；
至少部分地基于关于所述AR平面的信息确定与所述第一对象相关联的一或多个
特性；
使用与所述第一对象相关联的所述特性和与所述AR平面相关联的信息产生所述
第一对象的三维3D模型；以及
产生包括所述AR平面和所述第一对象的所述3D模型的AR环境的数字表示。
2.根据权利要求1所述的方法，确定与所述第一对象相关联的一或多个特性进一步基
于识别至少一个或多个特征点。
3.根据权利要求1所述的方法，其中所述AR平面包括多个单元，所述多个单元的每
一单元表示其中虚拟对象可导航而不会与所述第一对象冲突的区。
4.根据权利要求1所述的方法，其中确定与所述第一对象相关联的一或多个特性包
括：
识别所述平面表面中的一或多个区，其中所述一或多个区对应于所述平面表面上
的所述第一对象的位置；以及
基于一或多个凸面区的位置和所述一或多个特征点确定所述第一对象的一或多
个外表面。
5.根据权利要求1所述的方法，其中确定对应于所述平面表面的AR平面包括：
分析包括所述第一对象的所述物理场景的至少两个图像；以及
基于对所述物理场景的所述至少两个图像的分析创建所述AR平面使得所述AR

\t平面对应于所述物理场景且排除对应于所述第一对象的至少一个区。
6.根据权利要求5所述的方法，其中分析所述物理场景的所述至少两个图像包括：
使用相机俘获第一位置处的所述物理场景的第一图像，其中所述第一图像包含所
述第一对象；
确定所述相机已从所述第一位置向第二位置移动的距离；
使用所述相机俘获所述第二位置处的所述物理场景的第二图像，其中所述第二图
像包含所述第一对象；以及
使用所述第一图像和所述第二图像确定所述第一对象的深度信息。
7.根据权利要求1所述的方法，其中产生所述第一对象的所述3D模型包括：
获得所述第一对象的一或多个特征点，其中所述一或多个特征点的每一特征点
指示所述第一对象的外表面上的点相对于所述平面表面的位置；
使用与所述AR平面和所述一或多个特征点相关联的信息估计所述第一对象的不
可见的部分的形状；以及
基于所述估计构建3D重建对象。
8.根据权利要求7所述的方法，其中所述估计包括以下各项中的至少一者：
样条表示，
经反射对称对象表示，
平面表示，或
弯曲表示。
9.根据权利要求1所述的方法，其中构建所述第一对象的所述数字表示包含基于所
述平面表面的被所述第一对象遮挡的部分的形状在垂直于所述平面表面的方向上
挤压对象。
10.根据权利要求1所述的方法，其中确定对应于所述平面表面的所述AR平面包括：
识别所述物理场景内的所述平面表面的初始部分；
识别所述平面表面的额外部分，其中所述额外部分中的每一者基于确定与所述额
外部分相关联的至少一个视觉或几何性质同与已经识别为所述平面表面的一部分

\t的一或多个部分相关联的至少一个对应视觉或几何性质之间的相似度而识别为所
述平面表面的一部分。
11.根据权利要求10所述的方法，其中识别所述平面表面的所述额外部分包括：
建立所述平面表面在其内驻留的平面区的模型；
将所述平面区分割成多个单元；以及
将每一单元评估为所述平面表面的潜在额外部分。
12.根据权利要求11所述的方法，其中评估每一单元包括以下反复步骤：
针对识别为所述平面表面的额外部分的每一单元，识别尚未被识别为所述平面表
面的一部分的相邻单元；以及
针对每一经识别相邻单元，将所述相邻单元评估为所述平面表面的潜在部分。
13.一种用于构建物理场景的数字表示的装置，其包括：
存储器；
相机，其用于获得关于所述物理场景的信息；以及
处理器，其耦合到所述存储器且经配置以：
获得关于含有至少一平面表面和位于所述平面表面上的一或多个物理对象的
所述物理场景的信息；
识别所述物理场景内的所述平面表面；
确定对应于所述平面表面的AR平面，其中所述AR平面包括所述平面表面的
至少一部分且包围与位于所述平面表面上的所述一或多个物理对象的第一对象
相关联的至少一个孔；
至少部分地基于关于所述AR平面的信息确定与所述第一对象相关联的一或
多个特性；
使用与所述第一对象相关联的所述特性和与所述AR平面相关联的信息产生
所述第一对象的三维3D模型；以及
产生包括所述AR平面和所述第一对象的所述3D模型的AR环境的数字表示。
14.根据权利要求13所述的装置，其中所述处理器进一步经配置以确定与所述第一对
象相关联的一或多个特性是进一步基于识别至少一个或多个特征点。
15.根据权利要求13所述的装置，其中所述AR平面包括多个单元，所述多个单元的
每一单元表示其中虚拟对象可导航而不会与所述第一对象冲突的区。
16.根据权利要求13所述的装置，其中确定与所述第一对象相关联的一或多个特性包<...

【专利技术属性】
技术研发人员：伊雷妮·赖斯纳科尔曼，伊斯特万·希克勒希，潘琪，迈克尔·盖尔沃茨，安德鲁·吉，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US