移动设备上的无标记的多用户多对象增强现实制造技术

本发明专利技术提供允许用户将多个虚拟对象置入到现实世界视频场景中的方法及设备。一些置入对象可与该场景静态相关联，而其它对象被指定为随该场景中的某些移动对象移动。虚拟对象的置入不使用标记。各个分离的移动设备的用户可共享其置入的虚拟对象，以创造多用户多对象的增强现实(AR)体验。

Markup based multiuser and multi object augmented reality on mobile devices

The invention provides a method and device for allowing users to place multiple virtual objects into real-world video scenes. Some objects can be associated with the static scene, while other objects are specified to move along with some moving objects in the scene. The placement of virtual objects does not use markup. Users of separate mobile devices can share virtual objects to create multi-user and multi object augmented reality (AR) experience.

【技术实现步骤摘要】
【国外来华专利技术】移动设备上的无标记的多用户多对象增强现实相关申请案交叉申请本申请案主张2015年9月11日申请之题为「移动设备上的无标记的多用户多对象增强现实」的美国申请案第14/852,247号之优先权，该申请案之全文并入本文中。

技术介绍
增强现实(AR)是一种在现实世界中的用户的视图上叠加计算机生成的图像从而提供复合视图的技术。现代功能强大的移动设备的日益普及与不断扩增的传输带宽结合，使得各种移动AR应用成为可能，为现代用户提供了各种丰富的经验。可能已经开发了一些独立的移动应用以帮助用户半自动地将虚拟的二维(2D)图像或视频置入到所捕获的2D照片或视频。所述图像的置入点通常为预定义标记。
技术实现思路
本文描述了允许将多个虚拟对象置入现实世界视频场景的方法及设备。一些置入对象可与该场景静态相关联，而其它对象被指定为随该场景中的某些移动对象移动。虚拟对象的置入不使用标记。各个分离的移动设备的用户可共享其置入的虚拟对象，以创造多用户多对象的AR体验。在一些实施例中，移动设备包括处理器及耦合到所述处理器的显示器。所述处理器用于从另一移动设备接收虚拟对象。所述接收到的虚拟对象被置入到所述其它移动设备上的本文档来自技高网...

【技术保护点】
一种移动设备，其特征在于，包括：处理器，其耦合到显示器，其中所述处理器用于：接收来自第二移动设备的第二虚拟对象，所述接收到的第二虚拟对象已置入到所述第二移动设备上的第二现实世界视频场景中；以及在显示器上呈现包含有第一虚拟对象及所述接收到的来自所述第二移动设备的第二虚拟对象的第一现实世界视频场景。

【技术特征摘要】
【国外来华专利技术】2015.09.11 US 14/852,2471.一种移动设备，其特征在于，包括：处理器，其耦合到显示器，其中所述处理器用于：接收来自第二移动设备的第二虚拟对象，所述接收到的第二虚拟对象已置入到所述第二移动设备上的第二现实世界视频场景中；以及在显示器上呈现包含有第一虚拟对象及所述接收到的来自所述第二移动设备的第二虚拟对象的第一现实世界视频场景。2.根据权利要求1所述的移动设备，其特征在于，所述处理器用于：接收关于6自由度(DoF)姿态的第一输入，以将所述第一虚拟对象及第三虚拟对象置入到所述第一现实世界视频场景中；以及在所述显示器上呈现包含所述第一、第二及第三虚拟对象的所述第一现实世界视频场景。3.根据权利要求2所述的移动设备，其特征在于，所述处理器用于：基于第二输入将所述第一现实世界视频场景的视频帧分离成包含在所述第一现实世界视频场景内不移动的视频内容的静态部分及包含在所述第一现实世界视频场景内移动的视频内容的动态部分，其中所述第二输入表示所述视频帧的所述动态部分的边界区域。4.根据权利要求3所述的移动设备，其特征在于，所述第一输入表示：所述第一虚拟对象将与所述第一现实世界场景静态相关联；所述第三虚拟对象将动态置入到所述第一现实世界视频场景的所述动态部分并随着所述第一现实世界视频场景的所述动态部分的移动而移动；以及通过所述6DoF姿态将所述第一虚拟对象及所述第三虚拟对象置入到所述第一现实世界视频场景中。5.根据权利要求1所述的移动设备，其特征在于，所述处理器用于：从不同时间点的多个图像帧中提取二维(2D)关键点集合；建立所述多个图像帧中所述提取的2D关键点集合之间的对应关系；以及三角测量所述提取的2D关键点集合中的相应对，以确定3D空间中三维(3D)点的位置。6.根据权利要求3所述的移动设备，其特征在于，所述处理器用于计算基于所述静态部分的所述移动设备的当前6DoF静态姿态以及所述动态部分中所述第三虚拟对象的当前6DoF动态姿态。7.根据权利要求6所述的移动设备，其特征在于，所述处理器用于：针对来自前一过滤6DoF静态姿态及前一过滤6DoF动态姿态的当前移动设备姿态投影先验估计；以及计算针对所述当前6DoF静态姿态及当前6DoF动态姿态的改进后验估计。8.根据权利要求6所述的移动设备，其特征在于，所述计算所述动态部分中所述第三虚拟对象的当前6DoF动态姿态包括：定义以三角测量的动态3D点为中心的多面体，其中所述动态3D点位于所述第一现实世界视频场景的所述动态部分内；基于每个多面体的顶点的2D投影点计算凸包区域；以及将所述凸包区域一起进行平均以得到当前视频帧中所述第三虚拟对象的动态区域。9.根据权利要求1所述的移动设备，其特征在于，所述处理器用于：确定多个移动设备获得的现实世界视频帧中的3D点之间的对应关系；以及基于所述确定的对应关系将所述多个移动设备的静态3D点对齐，其中，所述静态3D点包含所述第一现实世界视频场景的静态部分内的3D点。10.一种移动设备，其特征在于，包括：处理器，其耦合到显示器，其中所述处理器用于：将输入的视频帧分离成静态部分和动态部分，其中所述静态部分包含在现实世界视频场景内不移动的视频...

【专利技术属性】
技术研发人员：蒋伟，顾金伟，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44