用于俘获和移动真实世界对象的3D模型和真实比例元数据的方法和系统技术方案

在一些实施例中，提供用于辅助用户设想经修改真实世界环境将如何呈现的方法和系统。成像装置可俘获一个或一个以上对象或环境的多个图像。可基于所述图像产生每一对象或环境的三维模型。接着可使用这些模型产生经修改环境的逼真图像。举例来说，图像可以环境(例如，起居室)中的额外对象(例如，躺椅)来显示所述环境。所述图像可为逼真的，因为其可准确地表示所述对象相对于所述环境中的维度的维度。因为可针对所述环境和对象两者产生三维模型，所以用户可能够操纵所述图像以例如在所述环境内再定位和/或再定向所述对象且从不同视角检视所述环境。

【技术实现步骤摘要】
【国外来华专利技术】用于俘获和移动真实世界对象的3D模型和真实比例元数据的方法和系统相关申请案的交叉参考本申请案主张2011年12月1日申请的标题为“用于俘获和移动真实世界对象的3D模型和真实比例元数据的方法和系统(METHODSANDSYSTEMSFORCAPTURINGANDMOVING3DMODELSANDTRUE-SCALEMETADATAOFREALWORLDOBJECTS)”的第61/565,663号美国临时申请案以及2012年7月27日申请的标题为“用于俘获和移动真实世界对象的3D模型和真实比例元数据的方法和系统(METHODSANDSYSTEMSFORCAPTURINGANDMOVING3DMODELSANDTRUE-SCALEMETADATAOFREALWORLDOBJECTS)”的第13/560,678号美国非临时申请案的权益和优先权。这些参考的每一者全文出于所有目的以引用的方式并入本文中。
技术介绍
想象不同环境中的对象是各种情形中经常遇到的一项困难的任务。举例来说，潜在购买者可能希望想象商店内呈列的躺椅在他的起居室内将看上去如何。虽然他可能喜欢商店内躺椅的颜色，但可能难以想象此颜色将如何与房间的其它元素匹配。
技术实现思路
在一些实施例中，提供用于辅助用户设想经修改真实世界或虚拟环境将如何呈现的方法和系统。成像装置可俘获一个或一个以上对象或环境的多个图像。可基于所述图像产生每一对象或环境的三维模型。接着可使用这些模型产生经修改环境的逼真图像。举例来说，图像可以环境中的额外对象来显示所述环境(例如，以新躺椅扩增真实世界起居室环境的模型，或以真实世界货车扩增虚拟视频游戏环境的模型)。所述图像可为逼真的，因为其可准确地表示对象相对于环境中的维度的维度。此外，基于图像的模型产生可允许环境和对象的颜色、纹理等的准确描绘，使得用户可准确地想象对环境的潜在修改。另外，一个或一个以上对象可包含其它物理性质(例如，质量或密度)的估计值，使得例如可估计特定位置中的对象是否稳定、其是否将挤压另一对象、其是否可在给定特定力的施加的情况下移动等。因为可针对环境和对象两者产生三维模型，所以用户可能够操纵图像以例如在环境内再定位和/或再定向对象且从不同视角检视环境。在一些实施例中，图像俘获、模型产生、经修改环境产生和经修改环境的显示全部在单一移动装置上执行。在一些实施例中，提供一种用于使用移动装置呈现经扩增真实世界环境的表示的方法。所述方法可包含存取指示真实世界对象的多个图像的第一信息，以及存取指示真实世界环境的多个图像的第二信息。所述方法还可包含基于第一信息产生对象的对象模型，以及基于第二信息产生环境的环境模型。所述方法还可包含接收指示识别扩增所述环境的请求的用户输入的第三信息，以及基于对象模型和环境模型产生经修改环境模型。所述方法可更进一步包含使用移动装置呈现经修改环境模型。在一些实施例中，提供一种用于共享真实世界对象的模型的方法。所述方法可包含存取指示真实世界对象的多个图像的第一信息。所述方法还可包含基于第一信息产生对象的对象模型，以及接收指示识别对象的三维模型与另一用户共享的请求的用户输入的第二信息。所述方法还可包含经由网络将三维模型发射到另一移动装置。在一些实施例中，提供一种用于使用移动装置呈现经扩增真实世界环境的表示的系统。所述系统可包含成像装置，其经配置以俘获真实世界环境的图像和真实世界对象的图像。所述系统还可包含模型产生器，其经配置以基于真实世界对象的图像产生真实世界对象的对象模型，且基于真实世界环境的图像产生真实世界环境的环境模型。所述系统可进一步包含用户输入组件，其经配置以接收指示识别扩增所述环境的请求的用户输入的信息。所述系统可额外包含：模型交互器，其经配置以基于对象模型和环境模型产生经修改环境模型；以及显示器，其经配置以呈现经修改环境模型。在一些实施例中，提供一种用于使用移动装置呈现经扩增真实世界环境的表示的系统。所述系统可包含用于存取指示真实世界对象的多个图像的第一信息的装置，以及用于存取指示真实世界环境的多个图像的第二信息的装置。所述系统还可包含用于基于第一信息产生对象的对象模型的装置，以及用于基于第二信息产生环境的环境模型的装置。所述系统可进一步包含用于接收指示识别扩增所述环境的请求的用户输入的第三信息的装置，以及用于基于对象模型和环境模型产生经修改环境模型的装置。所述系统可更进一步包含用于呈现经修改环境模型的装置。在一些实施例中，提供一种含有程序的计算机可读媒体，所述程序执行以下步骤：存取指示真实世界对象的多个图像的第一信息；以及存取指示真实世界环境的多个图像的第二信息。所述程序还可执行以下步骤：基于第一信息产生对象的对象模型；以及基于第二信息产生环境的环境模型。所述程序可进一步执行以下步骤：接收指示识别扩增所述环境的请求的用户输入的第三信息；基于对象模型和环境模型产生经修改环境模型；以及呈现经修改环境模型。在一些实施例中，提供一种用于使用移动装置呈现经扩增真实世界环境的表示的方法。所述方法可包含：基于真实世界对象的多个图像存取所述对象的对象模型，所述对象模型已基于对象的多个图像产生；以及基于真实世界环境的多个图像存取所述环境的环境模型，所述环境模型已基于环境的多个图像产生。所述方法还可包含接收指示识别所述环境为经扩增的请求的用户输入的信息，以及基于环境模型和对象模型产生经修改环境模型。所述方法可进一步包含呈现经修改环境模型。附图说明图1说明根据一个实施例用于允许用户设想经修改逼真环境的方法。图2说明根据一实施例用于产生模型的方法。图3A-3C展示识别和匹配图像上的特征的实例。图4说明根据一实施例用于产生一个或一个以上模型的方法。图5A-5C展示用于以新对象扩增环境模型的用户接口的实例。图6A-6B展示用于与模型产生和/或修改系统交互的用户接口的实例。图7展示根据一实施例扩增虚拟环境模型的方法。图8展示根据一个实施例用于产生、修改和/或显示三维模型的系统。图9展示根据一个实施例用于产生、修改和/或显示三维模型的系统。图10说明计算机系统的实施例。具体实施方式在一些实施例中，提供用于辅助用户设想经修改真实世界或虚拟环境将如何呈现的方法和系统。成像装置可俘获一个或一个以上对象或环境的多个图像。举例来说，可俘获多个离散图像(例如，图片)，或可俘获视频且可识别多个帧(例如，可自动提取所有帧，可提取规则间隔的帧，或可提取具有例如可区分性、清晰性等特征的帧)。可基于图像产生每一对象或环境的三维模型。接着可使用这些模型产生经修改环境的逼真图像。举例来说，图像可以环境汇中的额外对象来显示所述环境(例如，以新躺椅扩增真实世界起居室环境的模型，或以真实世界货车扩增虚拟视频游戏环境的模型)。所述图像可为逼真的，因为其可准确地表示对象相对于环境中的维度的维度。此外，基于图像的模型产生可允许环境和对象的颜色、纹理等的准确描绘，使得用户可准确地想象对环境的潜在修改。另外，一个或一个以上对象可包含其它物理性质(例如，质量或密度)的估计值，使得例如可估计特定位置中的对象是否稳定、其是否将挤压另一对象、其是否可在给定特定力的施加的情况下移动等。因为可针对环境和对象两者产生三维模型，所以用户可能够操纵图像以例如在环境内再定位和本文档来自技高网...

【技术保护点】
一种用于使用移动装置呈现经扩增真实世界环境的表示的方法，所述方法包括：存取指示真实世界对象的多个图像的第一信息；存取指示真实世界环境的多个图像的第二信息；基于所述第一信息产生所述对象的对象模型；基于所述第二信息产生所述环境的环境模型；接收指示识别扩增所述环境的请求的用户输入的第三信息；基于所述对象模型和所述环境模型产生经修改环境模型；以及使用所述移动装置呈现所述经修改环境模型。

【技术特征摘要】
【国外来华专利技术】2011.12.01 US 61/565,663;2012.07.27 US 13/560,6781.一种用于使用移动装置呈现经扩增真实世界环境的表示的方法，所述方法包括：存取多个图像，其中所述多个图像包括描绘一个或更多个对象的第一组图像和描绘真实世界环境的第二组图像；在所述第一组图像中检测至少一个真实世界对象，其中所述检测基于估计所述真实世界对象的形状，所述估计所述真实世界对象的形状基于在所述多个图像中识别的一个或更多个图像对应性；在所述第二组图像中检测真实世界环境；基于所述第一组图像自动产生所检测的真实世界对象的对象模型，所述对象模型具有维度，所述维度至少部分基于一个或更多个经估计的与用于捕获所述多个图像的成像装置相关的固有参数；基于所述第二组图像产生所述环境的环境模型；接收指示识别扩增所述环境的请求的用户输入的信息；产生包括所述对象模型和所述环境模型的经修改环境模型；以及使用所述移动装置呈现所述经修改环境模型。2.根据权利要求1所述的方法，其进一步包括：自动从所述真实世界对象的视频提取帧，其中所述所提取的帧包括所述真实世界对象的所述第一组图像。3.根据权利要求1所述的方法，其中所述对象模型包括所述对象的所估计质量或密度。4.根据权利要求3所述的方法，其进一步包括：从所述移动装置的用户接收所述对象的所述所估计质量或密度。5.根据权利要求1所述的方法，其中所述对象模型中包含的细节程度取决于存取了所述真实世界对象的多少图像。6.根据权利要求1所述的方法，其中至少部分基于指示所述移动装置的用户的输入的信息确定所述对象模型中包含的细节程度，所述移动装置的所述用户的所述输入指示所述细节程度与同所述对象的所述对象模型的产生相关联的处理时间之间的平衡。7.根据权利要求1所述的方法，其进一步包括：俘获所述真实世界对象的所述第一组图像；以及俘获所述真实世界环境的所述第二组图像。8.根据权利要求1所述的方法，其中在所述移动装置上完整地执行所述方法。9.根据权利要求8所述的方法，其中在经由所述移动装置从用户接收模型修改输入后即刻产生所述经修改环境模型。10.根据权利要求8所述的方法，其中在接收指示第一模型产生用户输入的第一模型产生信息后即刻产生所述对象模型，且在接收指示第二模型产生用户输入的第二模型产生信息后即刻产生所述环境模型。11.一种用于共享真实世界对象的模型的方法，所述方法包括：存取多个图像，其中所述多个图像包括描绘一个或更多个对象的第一组图像和描绘真实世界环境的第二组图像；在所述第一组图像中检测至少一个真实世界对象，其中所述检测基于估计所述真实世界对象的形状，所述估计所述真实世界对象的形状基于在所述多个图像中识别的一个或更多个图像对应性；基于所述第一组图像自动产生所检测的真实世界对象的三维模型，所述三维模型具有维度，所述维度至少部分基于一个或更多个经估计的与用于捕获所述多个图像的成像装置相关的固有参数；接收指示识别与另一用户共享所述对象的所述三维模型的请求的用户输入的信息；以及经由网络将所述三维模型发射到另一移动装置。12.根据权利要求11所述的方法，其中在所述网络上经由社交网络网站发射所述三维模型。13.根据权利要求11所述的方法，其中在蜂窝式电话上完整地执行用于共享真实世界对象的模型的所述方法。14.一种用于使用移动装置呈现经扩增真实世界环境的表示的系统，所述系统包括：成像装置，其经配置以俘获真实世界环境的第一组图像和真实世界对象的第二组图像；特征识别器，其经配置以在所述第一组图像中检测至少一个真实世界对象以及在所述第二组图像中检测真实世...

【专利技术属性】
技术研发人员：桑迪普·瓦达迪，克里希那坎特·S·基马拉马里，凯达·V·甘地，阿努夫哈·贾亚斯瓦，普林斯·古普塔，约瑟·里卡多·莱亚尔·多斯·桑托斯，切尔西·M·德雷克，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US