用于增强实境的灵活数据下载模型制造技术

在AR系统、用于操作AR系统的方法、移动设备、和用于操作移动设备的方法中，使用灵活位置像素，该灵活位置像素针对不同图像数据提供商可以是不同的。这使得AR应用能够下载具有较多信息（诸如密集区域，比如城市）的较小位置像素、或具有较少信息（比如举例而言，沙漠区域）的较大位置像素。数据下载可考虑客户端取向和运动方向以确定在该客户端移动时需要下载的增量数据。位置像素编码有被映射到位置信息的位置像素标识符，因此仅仅关于特定应用的必需位置像素需要被下载，从而允许客户端自主地决定何时捕获新图像数据和捕获多少数据。

【技术实现步骤摘要】
【国外来华专利技术】用于增强实境的灵活数据下载模型相关串请的交叉引用本申请要求2010年7月23日提交的美国临时申请No. 61/367，300的权益，该申请通过援引纳入于此。MM本公开涉及用于(例如在移动设备中)提供增强实境设备和显示器的方法、装置和系统。置量近来，对增强实境(AR)存在相当大的兴趣，增强实境是其中真实世界和虚拟现实被组合起来的实时交互状态。AR的公知示例是如美式橄榄球比赛的电视广播中看到的黄色“首攻”线。真实世界元素是橄榄球场和运动员，并且虚拟元素是黄线，该黄线是由计算机实时地在球场图像上绘制的。类似地，英式橄榄球和板球场被它们的赞助商使用增强实境打上商标；当在电视上观看时，巨大的标志被插入到球场上。在一些当前应用中，比如在汽车和飞机中，“平视(heads-up)”显示器被整合到挡风玻璃中以显示覆盖在驾驶员或飞行员看到的真实世界上的信息。AR应用通常依赖于后端数据库中存在的图像数据来进行图像检测和跟踪。图像数据通常包括已被预载到后端数据库中的原始图像关键点，尽管附加图像数据也可在任何时间被增量地添加到数据库。随着移动设备(诸如蜂窝电话和类似设备)已变得日益普及，并且此类设备的功能性和特征已有了增长，对AR使用的实现程度正在不断增长。已提出的一种AR系统使用内置于移动电话中的相机。用户拍摄图片，该图片被无线发送到服务器，服务器将该图片与数据库图像进行匹配。服务器随后向该电话返回数据库图像，其中它可被叠加到原始图像上。例如，数据库图像可包含关于原始相机图像中看到的特征的信息，诸如建筑物名称、视野中的结构或其他项的历史，或诸如此类。因为移动AR实现依赖于接收图像数据以及对移动设备上本地获得的相机视图执行图像检测和匹配，因此为了达到最佳性能，该图像数据通常被载入移动设备的RAM中以用于检测目的。可用RAM和无线带宽中的限制在能在任何给定时间被下载和使用的图像数据的数量方面提出了挑战。为了克服这样的一些挑战，移动设备的位置可被用来限制在任何给定时间被下载和使用的图像数据的数量。然而，可用系统可能不提供性能、带宽、和功率使用的合适组合。在实现改善AR系统方面的一个挑战是确定移动设备的位置以使得服务器能够高效地执行必需的图像处理。可藉以确定移动设备的位置的一种方式是通过单独进行GPS位置定位或在蜂窝基站定位信息的辅助下进行GPS位置定位。已提出的系统使用例如在一个或两个城市街区内的粗略位置确定。在一个系统中，移动设备被配置成预取与该移动设备的当前位置有关的数据，随后用户使用与该移动设备相关联的相机来拍摄感兴趣的位置的照片。该照片的图像随后与预取的数据相匹配，并且结果被显示给用户。为了管理大量的数据，已提出了使用基于单元(cell)的组织来组织全球地理坐标空间，其中对每个AR单元内考虑的图像或关键点的数目有限制。(此上下文中的术语“AR单元(cell)”不同于蜂窝电话系统的上下文中的术语“蜂窝(cell)”。)AR单元被称为“位置像素(loxel)”，其指示基于位置的像素存储模型。位置像素通常与特定的位置相关联并跨越特定区域(为了简单起见通常以直线坐标来定义)。核心是指一般从特定位置像素可见的区域并且通常被定义为跨越诸特定位置像素或位置像素配置。取决于用户的位置，与3X3位置像素的核心区域相对应的图像数据被发送到客户端，该核心的中心是该用户的当前位置像素。随着用户进入新的位置像素，对应于新的核心区域的附加图像数据被发送。已使用的位置像素尺寸是30米X30米。尽管该技术显著减小了在任何给定时间需要发送给用户的图像数据的数量，它还是有几个缺陷。在一些系统中，任何时间必须下载的增量位置像素的数目是3，仅考虑到移动设备沿着4个主要方向运动。实际上，任何给定位置像素存在8个毗邻位置像素。因此，移动到一个毗邻位置像素中可能需要下载高达5个增量位置像素的数据。此外，并非总是在毗邻位置像素中发生AR应用的下一次有效使用的情形。取决于用户的应用和移动性，下一个有效位置像素可能是非毗邻位置像素，在这种情况下，需要下载更多数据。也已作出以下假定下载仅需要在用户进入新位置像素之后包括增量图像数据。这可引起用于取回图像数据的等待时间未臻最优，转而导致需要该数据的应用中不期望的延迟。这在下一个有效位置像素是当前位置像素的非毗邻位置像素的情形中尤甚。还假定了 360度视场是感兴趣的，其中焦点不远于毗邻位置像素之一。尽管当使用AR应用时360度视场可能为摇摄所需，但并不是所有AR应用都会需要它。进一步，假定某些AR应用仅具有间断使用模式，在一些情景中为360度视场下载数据可能是不必要地过度的。蜂窝电话相机具有至多70度视场，典型视场约为55度。这将静态相机视图的可见区域放在仅一个位置像素内。取决于位置像素的尺寸，相机视图可包括一个或多个毗邻位置像素，但平均而言，相机视图仍然是360度视场中所假定的视图的仅仅25%或更少。以往提出的典型系统不提供供移动设备自动检测它何时到达新的位置像素的手段。默认地，这需要移动设备持续用它的新位置来更新服务器，以使得服务器能确定何时发送新数据集。此办法是耗费功率的，尤其在AR应用被设计成为了延长的时间段而在后台运行的情况下。此外，虽然存在多个这样操作的应用，这为终端客户提出了隐私问题。已提出的另一 AR系统是潜在可见集合(PVS)的AR。潜在可见集合的概念在计算机视觉中已为大家所知了很长时间。PVS被设计为考虑障碍物来确定对相机或人眼可见的目标的集合。该技术需要关于障碍物的良好训练数据可用和相机关于这些障碍物的某种精确程度的位置确定和取向以达到对特定目标的可见性。因此，除了图像数据之外，PVS还需要关于相机和障碍物关于图像的相对定位的数据以确定目标或图像的潜在可见集合。已作出努力将对PVS的使用应用到增强实境环境来替代单纯的基于单元的图像组织。尽管障碍物的观念在室内环境中更为适用(例如墙壁、从房间内部的可见性等)，但将其映射到其中获得关于障碍物的训练数据常常不切实际的室外环境并不是那么容易。此夕卜，针对相机的给定位置和取向达到精确的PVS是非常复杂的并且可能需要不少量的数据被附连到关键点以获得可接受的匹配率。因此，当与基于单元的组织相比较时，使用PVS可能不会以任何有意义的方式来帮助移动室外AR使用。鍵本专利技术的一个实施例提供了针对不同图像数据提供商可以不同的灵活位置像素。因此，举例而言，本专利技术的一个实施例使用灵活尺寸的位置像素。这使得AR应用能够下载具有较多信息(诸如密集区域，比如城市)的较小位置像素、或具有较少信息(比如举例而言，沙漠区域)的较大位置像素。位置像素尺寸还可使用其他因子来调整，诸如感兴趣区域中可用的GPS准确性，等等。根据本专利技术的另一个实施例，提供了灵活数据下载模型，其除了位置之外还考虑客户端取向和运动方向来确定需要下载的增量数据；下载可基于对应用的重要性因子而被剪裁为使效率最大化。根据本专利技术的又一实施例，位置像素编码有位置像素标识符，并且位置信息被映射到每个经编码位置像素。这使得能够对与每个位置像素相关联的图像数据分类，使得它能够仅按需被查找。因此，仅仅用于特定应用的必需位置像素需要被下载。编码可被安排为使得各客户端能执行该编码所需要的位置像素的标识的自动计算。这使得客户端能自主地决本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.07.23 US 61/367,300;2011.03.18 US 13/051,8381.一种客户端设备，包括 存储器，其存储与增强实境(AR)模型相关联的指令和数据并存储一个或多个位置像素的AR信息； 处理器，其执行与所述AR模型相关联的指令； 相机，其具有相关联的相机视图；以及 其中所述客户端设备被配置成生成对一个或多个附加位置像素的AR信息的请求，所述附加位置像素是使用指示所述客户端设备的当前位置的信息和至少一个参数来选择的，所述至少一个参数选自包括以下各项的组指示当前相机视图的信息、指示与AR应用相关联的使用模式的信息、以及指示所述客户端设备的移动的信息。2.如权利要求1所述的客户端设备，其特征在于，所述一个或多个位置像素的AR信息是各自与位置像素标识符相关联的，并且其中所述存储器进一步存储包括多个位置像素标识符的码本信息。3.如权利要求2所述的客户端设备，其特征在于，所述存储器进一步存储用于处理多种位置像素尺寸的指令。4.如权利要求3所述的客户端设备，其特征在于，所述客户端设备被配置成在第一时间请求具有第一尺寸的一个或多个附加位置像素的AR信息，进一步在第二时间请求具有第二尺寸的一个或多个附加位置像素的AR信息。5.如权利要求4所述的客户端设备，其特征在于，所述第一尺寸小于所述第二尺寸，并且其中所述第一尺寸的位置像素的AR信息比所述第二尺寸的位置像素的AR信息更为密集。6.如权利要求2所述的客户端设备，其特征在于，所述位置像素标识符中的每一个包括位置像素码向量。7.如权利要求6所述的客户端设备，其特征在于，所述客户端设备被配置成通过访问所述码本信息并标识在离所述客户端设备的所述当前位置最靠近的欧几里德距离处的位置像素码向量来标识当前位置像素。8.如权利要求7所述的客户端设备，其特征在于，所述客户端设备被配置成响应于检测到所述客户端设备的经更新位置来生成对一个或多个附加位置像素的AR信息的进一步请求。9.如权利要求8所述的客户端设备，其特征在于，所述客户端设备被进一步配置成通过访问所述码本信息并标识在离所述经更新位置最靠近的欧几里德距离处的位置像素码向量来标识所述一个或多个附加位置像素。10.一种增强实境(AR)装置，包括 存储器，其存储被组织成AR信息核心的AR数据,每个AR信息核心包括多个位置像素的AR信息并与指示位置像素的地理区域的位置像素标识符相关联，其中所述AR数据包括至少一个第一尺寸的位置像素和至少一个第二不同尺寸的位置像素；以及 其中所述AR装置配置成向客户端设备传送码本信息，所述码本信息包括关于所述多个位置像素中的至少一些位置像素的位置像素标识符信息。11.如权利要求10所述的AR装置，其特征在于，所述AR装置进一步配置成访问来自客户端设备的对附加位置像素的请求，并响应于所述请求向所述客户端设备传送所述附加位置像素。12.如权利要求10所述的AR装置，其特征在于，所述第一尺寸小于所述第二尺寸，并且其中所述至少一个第一尺寸的位置像素中所包括的AR信息比所述至少一个第二尺寸的位置像素中所包括的AR信息更为密集。13.如权利要求10所述的AR装置，其特征在于，所述指示位置像素的地理区域的位置像素标识符包括指示所述位置像素的地理区域中所包括的定位的纬度和经度的信息。14.一种用于使用客户端设备的方法，包括 在所述客户端设备处存储指示与多个位置像素相关联的位置像素标识符信息的码本信息； 确定指示所述客户端设备的当前位置的当前位置信息；以及 访问所存储的码本信息以确定关于与所述客户端设备的至少所述当前位置相关联的初始位置像素的位置像素标识符信息。15.如权利要求14所述的方法，其特征在于，所述确定指示所述客户端设备的所述当前位置的当前位置信息包括使用从包括卫星定位、辅助式卫星定位、和地面定位的组中选择的一种或多种定位技术来确定所述当前位置信息。16.如权利要求14所述的方法，其特征在于，进一步包括向一个或多个网络资源传送至少一些所述当前位置信息并在响应中接收与多个位置像素相关联的AR信息，其中所述多个位置像素是使用至少一些所述当前位置信息来选择的。17.如权利要求14所述的方法，其特征在于，进一步包括，确定与要下载的位置像素相关联的位置像素标识符并且传送对要下载的所述位置像素的请求。18.如权利要求17所述的方法，其特征在于，确定与要下载的位置像素相关联的位置像素标识符包括访问所述码本信息并基于所述客户端设备的所述当前位置和一个或多个参数来选择至少一个位置像素标识符，所述一个或多个参数选自包括以下各项的组指示当前相机视图的信息、指示与AR应用相关联的使用模式的信息、以及指示所述客户端设备的移动的信息。19.如权利要求14所述的方法，其特征在于，进一步包括 确定所述客户端设备是否已移动到与所述初始位置像素相关联的地理区域之外的经更新位置； 如果所述客户端设备已移动到与所述初始位置像素相关联的所述地理区域之外的经更新位置，则访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息；以及 请求与所述一个或多个不同位置像素相关联的AR信息。20.如权利要求19所述的方法，其特征在于，访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息包括基于所述客户端设备的运动方向来标识所述一个或多个不同位置像素。21.如权利要求19所述的方法，其特征在于，所述访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息包括基于所述客户端设备的取向来标识所述一个或多个不同位置像素。22.如权利要求19所述的方法，其特征在于，所述访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息包括基于与所述客户端设备相关联的相机的视场来标识所述一个或多个不同位置像素。23.如权利要求22所述的方法，其特征在于，所述相机的所述视场被包括于从65到75度的范围内。24.如权利要求22所述的方法，其特征在于，所述相机的所述视场被包括于从175到185度的范围内。25.如权利要求14所述的方法，其特征在于，与每个位置像素相关联的所述位置像素标识符信息指示该位置像素的地理区域中的定位，并且其中访问所存储的码本信息以确定关于与所述客户端设备的至少当前位置相关联的初始位置像素的位置像素标识符信息包括确定指示最靠近所述当前位置的定位的位置像素标识符。26.如权利要求25所述的方法，其特征在于，确定指示最靠近所述当前位置的定位的位置像素标识符包括确定所述客户端设备的所述当前位置与指示所述位置像素的所述地理区域中的定位的多个所述位置像素标识符之间的欧几里得距离。27.如权利要求18所述的方法，其特征在于，与每个位置像素相关联的所述位置像素标识符信息是所述位置像素的地理区域中的定位的纬度、经度对。28.如权利要求14所述的方法，其特征在于，进一步包括从AR服务器接收指示与多个位置像素相关联的位置像素标识符信息的码本信息。29.如权利要求28所述的方法，其特征在于，进一步包括在所述客户端设备上运行AR应用并基于在所述客户端设备上运行所述AR应用来请求所述码本信息。30.一种移动设备,包括 用于在客户端设备处存储指示与多个位置像素相关联的位置像素标识符信息的码本信息的装置； 用于确定指示所述客户端设备...

【专利技术属性】
技术研发人员：V·纳拉亚南，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：