位置感知视觉标记制造技术

本发明专利技术涉及位置感知视觉标记。本文所公开的各种具体实施包括确定移动电子设备与视觉标记之间的相对定位(例如，偏移)的设备、系统和方法。在一些具体实施中，使用所确定的相对定位和该视觉标记的已知位置来确定该移动电子设备的位置(例如，地理坐标)比现有技术更准确。在一些具体实施中，所确定的相对定位与该移动电子设备的位置一起使用以众包该视觉标记的存储位置。在一些具体实施中，使用所确定的相对定位和该视觉标记的位置确定由该移动电子设备在图像中检测到的对象的位置。在一些具有处理器的电子设备的具体实施中，从扫描视觉标记的移动电子设备接收该视觉标记的本地确定的位置。

【技术实现步骤摘要】
位置感知视觉标记相关申请的交叉引用本申请要求2019年9月27日提交的美国临时申请序列号62/907,163的权益，该申请全文以引用方式并入本文。
本公开整体涉及电子设备，并且具体地涉及有关捕获视觉标记的图像以识别、共享或管理位置信息的电子设备的系统、方法和设备。
技术介绍
如今，视觉标记以条形码、快速响应(QR)码和其他专有的基于码的系统的形式存在。QR码对二进制数据诸如字符串或其他有效载荷进行编码以发起支付、链接到网站、链接到基于位置的体验或基于上下文的体验，或者启动到其他基于web的体验中。
技术实现思路
本文所公开的各种具体实施包括确定移动电子设备与视觉标记(例如，包括位置服务的视觉标记或“位置感知”视觉标记)之间的相对定位(例如，距离和方向或偏移)的设备、系统和方法。在第一示例中，使用所确定的相对定位和视觉标记的已知位置或存储位置来确定移动电子设备的位置(例如，地理坐标、方位等)，该位置比该移动电子设备的本地确定的位置(例如，使用其自身的传感器或所接收的全球定位系统(GPS)数据确定的独立位置)更准确。在具有处理器的移动电子设备处的一些具体实施中，在物理环境的图像中检测到视觉标记。在一些具体实施中，在由移动电子设备捕获的2D图像或3D图像中检测到具有已知位置(例如，具有存储在可访问网络位置上的位置数据)的视觉标记。然后，基于图像确定移动电子设备与视觉标记之间的相对定位。在一些具体实施中，相对定位确定视觉标记相对于移动电子设备的相对取向。在一些具体实施中，使用计算机视觉技术(例如，视觉惯性测径(VIO)或同时定位与映射(SLAM)或N点透视(PNP)技术)来确定相对定位。在一些具体实施中，相对定位确定从移动电子设备到视觉标记的距离或方向。然后，基于移动电子设备与视觉标记之间的相对定位以及视觉标记的已知位置来确定该移动电子设备的真实世界位置。视觉标记的已知位置可由基于在视觉标记的图像中捕获的唯一标识信息访问的远程位置服务(例如，在云中)提供。本文所公开的各种具体实施包括确定移动电子设备与视觉标记之间的相对定位(例如，距离和方向或偏移)的设备、系统和方法。在第二示例中，所确定的相对定位与移动电子设备(例如，GPS)的位置一起使用以修改与部署的视觉标记相关联的存储位置(例如，众包视觉标记的存储位置)。在一些具体实施中，部署的视觉标记永久性地安装或以其他方式附接或附连到物理结构(例如，雕像或棒球体育场)。在一些具体实施中，当视觉标记被电子设备扫描时，确定视觉标记的新位置(例如，地理位置)。可通过使用来自新扫描的数据与来自视觉标记的先前扫描的数据来确定新位置。例如，可将新数据与先前数据组合或平均，以提高视觉标记的存储位置的准确性。在一些具体实施中，视觉标记的众包位置由能够经由视觉标记访问的远程位置服务维护。在具有处理器的移动电子设备处的一些具体实施中，在物理环境的图像中检测到视觉标记。在一些具体实施中，在来自移动电子设备的2D图像或3D图像中检测到视觉标记。然后，基于图像确定移动电子设备与视觉标记之间的相对定位。在一些具体实施中，相对定位确定视觉标记相对于移动电子设备420的相对取向。在一些具体实施中，使用计算机视觉技术(例如，VIO或SLAM)或PNP技术来确定相对定位。在一些具体实施中，基于移动电子设备的位置来确定视觉标记的位置(例如，经由GPS本地确定等)。然后，向远程电子设备提供视觉标记的本地确定的位置，其中远程电子设备使用本地确定的位置更新视觉标记的众包位置。本文所公开的各种具体实施包括确定移动电子设备与视觉标记(例如，位置感知视觉标记)之间的相对定位(例如，距离和方向或偏移)的设备、系统和方法。在第三示例中，使用所确定的相对定位和视觉标记的存储位置(例如，众包位置)来确定由移动电子设备在物理环境的图像中检测到的对象的位置(例如，地理坐标)。在一些具体实施中，基于视觉标记的存储位置、移动电子设备与视觉标记的相对位置以及移动电子设备与对象的相对位置来确定该移动电子设备在物理环境的图像中检测到的对象的位置。在一个示例中，在由移动电子设备在物理环境的图像中检测到视觉标记之前，在图像中检测到对象(例如，上游图像)。在另一个示例中，在由移动电子设备在物理环境的图像中检测到视觉标记之后，在图像中检测到对象(例如，下游图像)。在一些具体实施中，使用视觉标记的存储位置确定的对象的位置比该对象的本地确定的位置(例如，由移动电子设备使用其自身的传感器确定的对象的独立位置)更准确。在具有处理器的移动电子设备处的一些具体实施中，在物理环境的第一图像中检测到视觉标记。在一些具体实施中，在来自移动电子设备的2D图像或3D图像中检测到视觉标记。然后，基于第一图像确定移动电子设备与视觉标记之间的相对定位。然后，确定移动电子设备与物理环境的第二图像中描绘的对象之间的相对定位。在一些具体实施中，使用计算机视觉技术(例如，VIO或SLAM)或PNP技术来确定相对定位。在一些具体实施中，相对定位确定视觉标记相对于移动电子设备的相对取向。然后，基于移动电子设备与视觉标记之间的相对定位以及视觉标记的位置来确定对象的位置。在一些具体实施中，第一图像和第二图像可以是同一图像，或者随着人移动该移动电子设备(例如，跟踪的移动电子设备的移动)而在时间上隔开的不同图像。本文所公开的各种具体实施包括在具有处理器的电子设备(例如，可经由视觉标记访问的远程电子设备或服务器)处众包部署的视觉标记的位置的设备、系统和方法。在一些具体实施中，使用由电子设备接收的位置信息(例如，当用户使用移动电子设备扫描部署的视觉标记时)更新视觉标记的众包位置。在一些具体实施中，由电子设备接收的附加位置信息改善了视觉标记的众包位置的准确性。在一些具体实施中，与部署的视觉标记相关的附加信息(例如，尺寸)也是众包的。在一些具有处理器的电子设备的具体实施中，从扫描视觉标记的移动电子设备接收该视觉标记的本地确定的位置。在一些具体实施中，本地确定的位置中的每一者基于在视觉标记的相应扫描时相应移动电子设备的基于信号的定位(例如，基于卫星/GPS、基于Wi-Fi或基于蓝牙)。在一些具体实施中，基于多个本地确定的位置来确定视觉标记的组合位置(例如，众包位置、平均值、加权平均值、子集的组合、子集的基于时间的平均值等)。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。附图说明因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在具有处理器的移动电子设备处：/n检测物理环境的图像中描绘的视觉标记；/n基于所述图像确定所述移动电子设备与所述视觉标记之间的相对定位；以及/n基于所述移动电子设备与所述视觉标记之间的所述相对定位以及所述视觉标记的位置来确定所述移动电子设备的位置。/n

【技术特征摘要】
20190927 US 62/907,1631.一种方法，包括：
在具有处理器的移动电子设备处：
检测物理环境的图像中描绘的视觉标记；
基于所述图像确定所述移动电子设备与所述视觉标记之间的相对定位；以及
基于所述移动电子设备与所述视觉标记之间的所述相对定位以及所述视觉标记的位置来确定所述移动电子设备的位置。


2.根据权利要求1所述的方法，其中确定所述相对定位包括使用所述视觉标记的存储尺寸和所述图像中描绘的所述视觉标记的尺寸来确定从所述移动电子设备到所述视觉标记的距离。


3.根据权利要求1所述的方法，其中确定所述相对定位包括：
对编码到所述视觉标记中的所述视觉标记的尺寸进行解码；以及
使用编码到所述视觉标记中的所述视觉标记的所述尺寸和所述图像中描绘的所述视觉标记的尺寸来确定从所述移动电子设备到所述视觉标记的距离。


4.根据权利要求1所述的方法，其中确定所述相对定位包括：
使用多幅图像中描绘的所述视觉标记的相对尺寸来确定所述视觉标记的尺寸，以确定所述视觉标记的绝对尺寸；以及
使用所述视觉标记的所述绝对尺寸和所述图像中描绘的所述视觉标记的尺寸来确定从所述移动电子设备到所述视觉标记的距离。


5.根据权利要求1至4中任一项所述的方法，其中确定所述相对定位包括使用红-绿-蓝-深度(RGB-D)相机图像、基于立体的深度估计、深度专用传感器或同时定位和映射(SLAM)技术来确定所述视觉标记的深度。


6.根据权利要求1至5中任一项所述的方法，其中确定所述相对定位包括使用所述移动电子设备的传感器确定从所述移动电子设备到所述视觉标记的相对位置和取向。


7.根据权利要求1至5中任一项所述的方法，其中确定所述相对定位包括使用存储的二维(2D)形状或存储的所述视觉标记的形状的参数描述以及所述图像中的所述视觉标记的形状来确定从所述移动电子设备到所述视觉标记的方向。


8.根据权利要求1至7中任一项所述的方法，还包括：
基于所述视觉标记从远程设备请求所述视觉标记的所述位置；以及
从所述远程设备接收标识视觉标记的所述位置的三维(3D)坐标。


9.根据权利要求1至8中任一项所述的方法，其中所确定的所述移动电子设备的位置比使用基于卫星或基于Wi-Fi的定位信息确定的所述移动电子设备的位置更准确。


10.根据权利要求1至9中任一项所述的方法，还包括基于所述移动电子设备的所述位置或所述移动电子设备与所述视觉标记之间的所述相对定位在计算机生成现实(CGR)环境中提供虚拟内容。


11.根据权利要求1至10中任一项所述的方法，还包括通过以下步骤来初始化所述视觉标记：
确定所...

【专利技术属性】
技术研发人员：A·格伦德赫费尔，J·S·诺里斯，M·S·B·希玛纳，P·尤尔斯，S·G·瓦德，邱诗善，T·G·索尔特，T·森格劳布，V·N·帕尔肯，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US