使用移动机器人通过动态相机定位和照明进行的空间捕获、建模和纹理重建制造技术

提供了一种方法，所述方法包括以下方法操作：使用具有多个传感器的机器人来获取关于本地环境的传感器数据；处理所述传感器数据以生成所述本地环境的空间模型，所述空间模型限定对应于所述本地环境中的真实表面的虚拟表面；进一步处理所述传感器数据以生成与由所述空间模型限定的所述虚拟表面相关联的纹理信息；跟踪头戴式显示器(HMD)在所述本地环境中的位置和取向；使用所述空间模型、所述纹理信息以及所述HMD的所跟踪的位置和取向来渲染对应于所述本地环境的虚拟空间的视图；通过所述HMD呈现虚拟环境的视图。

【技术实现步骤摘要】
【国外来华专利技术】使用移动机器人通过动态相机定位和照明进行的空间捕获、建模和纹理重建专利技术人：M.泰勒，E.贝兰1.
本公开涉及使用移动机器人通过动态相机定位和照明进行的空间捕获、建模和纹理重建，以及相关方法、设备和系统。
技术介绍
2.相关技术说明视频游戏产业多年以来已发生了许多变化。随着计算能力的扩展，视频游戏的开发者同样创建了利用这些提高的计算能力的游戏软件。为此，视频游戏开发者一直在编码结合了复杂操作和数学运算的游戏，以产生非常详细且吸引人的游戏体验。示例性游戏平台包括SonySony(PS2)、Sony(PS3)和Sony(PS4)，它们各自以游戏控制台的形式出售。众所周知，游戏控制台被设计为连接到显示器(通常是电视机)并通过手持控制器实现用户交互。游戏控制台被设计有专用处理硬件，包括CPU、用于处理密集图形操作的图形合成器、用于执行几何变换的向量单元以及其他胶合硬件、固件和软件。游戏控制台可以进一步设计有光盘读取器，所述光盘读取器用于通过游戏控制台接收用于本地游戏的游戏光盘。还可以进行在线游戏，其中用户可以通过因特网与其他用户以交互方式进行游戏对抗或一起玩游戏。随着游戏的复杂性持续激发玩家的兴趣，游戏和硬件制造商持续进行革新以启用附加的交互和计算机程序。计算机游戏产业中的增长趋势是开发增加用户与游戏系统之间的交互的游戏。实现更丰富的交互式体验的一种方式是使用无线游戏控制器，所述无线游戏控制器的移动由游戏系统跟踪以便跟踪玩家的移动并将这些移动用作游戏的输入。一般而言，手势输入是指使诸如计算系统、视频游戏控制台、智能家电等电子装置对由玩家做出并由电子装置捕获的一些手势做出反应。实现更加有沉浸感的交互体验的另一种方式是使用头戴式显示器(HMD)。头戴式显示器由用户佩戴并且可以被配置为呈现各种图形，诸如虚拟空间的视图。在头戴式显示器上呈现的图形可以覆盖用户的大部分或甚至全部视野。因此，头戴式显示器可以为用户提供视觉沉浸式体验。当头戴式显示器(HMD)以响应于用户移动的方式渲染虚拟环境的三维实时视图时，HMD提供沉浸式虚拟现实体验。佩戴HMD的用户被提供所有方向上的移动自由度，并因此可以经由HMD被提供虚拟环境在所有方向上的视图。生成用于在HMD上渲染的高质量视频(例如，高分辨率和高帧速率)所需的处理资源非常可观，因此可以由单独的计算装置(诸如个人计算机或游戏控制台)来处理。在这样的系统中，计算装置生成用于渲染到HMD的视频，并将视频传输到HMD。然而，当佩戴HMD时，用户无法看到他们所处的本地环境。正是在这种背景下，出现了本公开的实现方式。
技术实现思路
本公开的实现方式包括涉及使用移动机器人通过动态相机定位和照明进行的空间捕获、建模和纹理重建的装置、方法和系统。在一些实现方式中，提供了一种方法，所述方法包括以下方法操作：使用具有多个传感器的机器人来获取关于本地环境的传感器数据；处理所述传感器数据以生成所述本地环境的空间模型，所述空间模型限定对应于所述本地环境中的真实表面的虚拟表面；进一步处理所述传感器数据以生成与由所述空间模型限定的所述虚拟表面相关联的纹理信息；跟踪头戴式显示器(HMD)在所述本地环境中的位置和取向；使用所述空间模型、所述纹理信息以及所述HMD的所跟踪的位置和取向来渲染对应于所述本地环境的虚拟空间的视图；通过所述HMD呈现虚拟环境的视图。在一些实现方式中，所述HMD在所述本地环境中的所述位置限定所述虚拟空间的所述视图被渲染的视角。在一些实现方式中，所述HMD在所述本地环境中的所述取向限定所述虚拟空间的所述视图的方向。在一些实现方式中，渲染所述虚拟空间的所述视图包括使用与由所述空间模型限定的所述虚拟表面中的一个或多个相关联的所述纹理信息来渲染所述虚拟表面中的所述一个或多个。在一些实现方式中，所述传感器包括至少一个图像捕获装置和至少一个深度相机，并且其中所述传感器数据包括由所述图像捕获装置捕获的图像数据和由所述深度相机捕获的深度数据。在一些实现方式中，所述纹理信息包括漫反射映射、凹凸映射和/或高光映射中的一者或多者。在一些实现方式中，使用所述机器人来获取传感器数据包括将所述机器人移动到所述本地环境内的多个位置，并且在所述位置中的每一个处使用所述机器人的所述传感器来感测所述本地环境并生成所述传感器数据。在一些实现方式中，获取所述传感器数据包括从多个角度捕获所述本地环境中的真实表面的图像；并且处理所述传感器数据以生成所述纹理信息包括处理从所述多个角度捕获的所述图像，以生成由所述空间模型限定的对应于所述真实表面的给定虚拟表面的纹理信息。在一些实现方式中，提供了一种方法，所述方法包括：使用机器人在本地环境中实现多个照明条件，并且使用所述机器人的多个传感器来在所述多个照明条件下获取关于所述本地环境的传感器数据；处理所述传感器数据以生成所述本地环境的空间模型，所述空间模型限定对应于所述本地环境中的真实表面的虚拟表面；进一步处理所述传感器数据以生成与由所述空间模型限定的所述虚拟表面相关联的纹理信息。在一些实现方式中，使用所述机器人来实现所述多个照明条件包括通过所述机器人访问家居照明控制系统以控制所述本地环境中的一个或多个灯。在一些实现方式中，使用所述机器人来实现所述多个照明条件包括使用包括在所述机器人中的灯来照亮所述本地环境的至少一部分。在一些实现方式中，使用所述机器人来实现所述多个照明条件包括将所述机器人移动到一个或多个位置，以便阻挡来自所述本地环境中的光源的光以免其直接到达所述本地环境中的表面。在一些实现方式中，所述传感器包括至少一个图像捕获装置和至少一个深度相机，并且其中所述传感器数据包括由所述图像捕获装置捕获的图像数据和由所述深度相机捕获的深度数据。在一些实现方式中，所述纹理信息包括漫反射映射、凹凸映射和/或高光映射中的一者或多者。在一些实现方式中，使用所述机器人来获取传感器数据包括将所述机器人移动到所述本地环境内的多个位置，并且在所述位置中的每一个处使用所述机器人的所述传感器来感测所述本地环境并生成所述传感器数据。在一些实现方式中，提供了一种由机器人在本地环境中执行的方法，所述方法包括：通过位于所述本地环境中的第一位置处的所述机器人的图像捕获装置捕获所述本地环境的第一图像，其中捕获所述第一图像包括对所述本地环境中的真实表面的捕获；处理所述第一图像以确定所述真实表面的纹理信息，并进一步确定所述真实表面的所确定的纹理信息中存在可能误差；响应于确定所述可能误差，将所述机器人移动到第二位置，并通过所述图像捕获装置在所述第二位置处捕获所述本地环境的第二图像，其中捕获所述第二图像包括从由所述第二位置限定的视角对所述真实表面的捕获；处理所述第二图像以验证所述真实表面的所述所确定的纹理信息中的所述可能误差，并校正所述真实表面的所述所确定的纹理信息中的所述可能误差。在一些实现方式中，处理所述第二图像以验证所述真实表面的所述所确定的纹理信息中的所述可本文档来自技高网...

【技术保护点】
1.一种方法，其包括：/n使用具有多个传感器的机器人来获取关于本地环境的传感器数据；/n处理所述传感器数据以生成所述本地环境的空间模型，所述空间模型限定对应于所述本地环境中的真实表面的虚拟表面；/n进一步处理所述传感器数据以生成与由所述空间模型限定的所述虚拟表面相关联的纹理信息；/n跟踪头戴式显示器(HMD)在所述本地环境中的位置和取向；/n使用所述空间模型、所述纹理信息以及所述HMD的所跟踪的位置和取向来渲染对应于所述本地环境的虚拟空间的视图；/n通过所述HMD呈现虚拟环境的视图。/n

【技术特征摘要】
【国外来华专利技术】20171222 US 15/853,6671.一种方法，其包括：
使用具有多个传感器的机器人来获取关于本地环境的传感器数据；
处理所述传感器数据以生成所述本地环境的空间模型，所述空间模型限定对应于所述本地环境中的真实表面的虚拟表面；
进一步处理所述传感器数据以生成与由所述空间模型限定的所述虚拟表面相关联的纹理信息；
跟踪头戴式显示器(HMD)在所述本地环境中的位置和取向；
使用所述空间模型、所述纹理信息以及所述HMD的所跟踪的位置和取向来渲染对应于所述本地环境的虚拟空间的视图；
通过所述HMD呈现虚拟环境的视图。


2.根据权利要求1所述的方法，其中所述HMD在所述本地环境中的所述位置限定所述虚拟空间的所述视图被渲染的视角。


3.根据权利要求1所述的方法，其中所述HMD在所述本地环境中的所述取向限定所述虚拟空间的所述视图的方向。


4.根据权利要求1所述的方法，其中渲染所述虚拟空间的所述视图包括使用与由所述空间模型限定的所述虚拟表面中的一个或多个相关联的所述纹理信息来渲染所述虚拟表面中的所述一个或多个。


5.根据权利要求1所述的方法，其中所述传感器包括至少一个图像捕获装置和至少一个深度相机，并且其中所述传感器数据包括由所述图像捕获装置捕获的图像数据和由所述深度相机捕获的深度数据。


6.根据权利要求1所述的方法，其中所述纹理信息包括漫反射映射、凹凸映射和/或高光映射中的一者或多者。


7.根据权利要求1所述的方法，其中使用所述机器人来获取传感器数据包括将所述机器人移动到所述本地环境内的多个位置，并且在所述位置中的每一个处使用所述机器人的所述传感器来感测所述本地环境并生成所述传感器数据。


8.根据权利要求1所述的方法，
其中获取所述传感器数据包括从多个角度捕获所述本地环境中的真实表面的图像；
其中处理所述传感器数据以生成所述纹理信息包括处理从所述多个角度捕获的所述图像，以生成由所述空间模型限定的对应于所述真实表面的给定虚拟表面的纹理信息。


9.一种方法，其包括：
使用机器人在本地环境中实现多个照明条件，并且使用所述机器人的多个传感器来在所述多个照明条件下获取关于所述本地环境的传感器数据；
处理所述传感器数据以生成所述本地环境的空间模型，所述空间模型限定对应于所述本地环境中的真实表面的虚拟表面；
进一步处理所述传感器数据以生成与由所述空间模型限定的所述虚拟表面相关联的纹理信息。


10.根据权利要求9所述的方法，其中使用所述机器人来实现所述多个照明条件包括通过所述机器人访问家居照明控制系统以控制所述本地环境中的一个或多个灯。


11.根据权利要求9所述的方法，其中使用所述机器人来实现所述多个照明条件包括使用包括在所述机器人中的灯来照亮所述本地环境的至少一部分。


12.根据权利要求9所述的方法，其中使用所述机器人来实现所述多个照明条件包括将所述机器人移动到一个或多个位置，以便阻挡来自所述本地环境中的光源的光以免其直接到达...

【专利技术属性】
技术研发人员：M泰勒，E贝兰，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本;JP