定位的方法和装置制造方法及图纸

本申请提供一种定位的方法和装置。本申请实施例通过在图像数据库中确定与第一终端拍摄的第一图像匹配的至少一个第二图像，以及第一图像与至少一个第二图像在第一终端的局部坐标系下的位姿，并根据第一图像在该第一局部坐标系下的位姿、至少一个第二图像在该第一局部坐标系下的位姿以及该至少一个第二图像在世界坐标系中的位姿，输出所述第一图像在所述世界坐标系下的位姿，实现对第一图像的定位。因此，本申请实施例能够基于一部分图像在局部坐标系以及世界坐标系下的位姿，得到局部坐标系与世界坐标系的关系，从而对第一图像在世界坐标系中定位，而无需对每个图像采集3D点云。本申请可以应用于虚拟现实VR、增强现实AR等领域。域。域。

【技术实现步骤摘要】
定位的方法和装置


[0001]本申请涉及增强现实(augmented reality，AR)
，并且更具体的，涉及定位的方法和装置。

技术介绍

[0002]随着第五代(5th generation，5G)通信技术的逐渐成熟，以及手机摄像硬件、计算能力的发展，基于视觉AR技术的智能化应用服务越来越丰富。AR技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，虚拟信息和真实世界两种信息互为补充，从而实现对真实世界的“增强”。
[0003]为了实现广覆盖的AR应用，需要构建地图特征库以进行位姿获取。例如，首先，可以在离线构库阶段利用专业采集设备，如道路测量车、无人机、测量式激光扫描仪、光学相机等采集周围环境的三维(3dimensions，3D)点云(x，y，z)信息，构建地图特征库。然后，在在线定位阶段，可以拍摄一张环境图片，提取拍摄图片的二维(2dimensions，2D)特征点，并与离线构库阶段构建好的地图特征库进行匹配，检索得到一系列2D
‑
3D匹配点对，再通过姿态解算算法，例如PnP(point
‑
n
‑
point)，获取终端的位姿。
[0004]但是，上述方案依赖完整且与环境高度统一的包含点云信息的地图特征库的构建，然而构建包含点云信息的地图特征库需要依赖专业人员和采集设备，耗时费力，成本高昂。因此，亟需一种高效率、低成本的定位方案。

技术实现思路

[0005]本申请提供一种定位的方法和装置，能够基于一部分图像在局部坐标系下的位姿以及在世界坐标系下的位姿，得到局部坐标系与世界坐标系的关系，从而对待定位图像在世界坐标系中定位，而无需对每个图像采集3D点云。
[0006]第一方面，提供了一种定位的方法，该方法可以应用于终端或云端。在该方法中，首先可以获取第一终端拍摄的第一图像，根据该第一图像的第一信息与图像数据库中的图像的第一信息，在图像数据库中确定与该第一图像匹配的至少一个第二图像，其中，第一信息用于指示图像的全局特征，该图像数据库包括多帧图像的第一信息、多帧图像的第二信息和多帧图像在世界坐标系下的位姿，其中，所述第二信息用于指示图像的局部特征。然后，可以根据第一图像的第二信息和至少一个第二图像的第二信息，确定第一图像和至少一个第二图像在第一终端的第一局部坐标系下的位姿。之后，可以根据第一图像在第一局部坐标系下的位姿、至少一个第二图像在第一局部坐标系下的位姿以及至少一个第二图像在世界坐标系下的位姿，输出第一图像在所述世界坐标系下的位姿。
[0007]因此，本申请实施例通过在图像数据库中确定与第一终端拍摄的第一图像匹配的至少一个第二图像，以及第一图像与至少一个第二图像在第一终端的局部坐标系下的位
姿，并根据第一图像在该第一局部坐标系下的位姿、至少一个第二图像在该第一局部坐标系下的位姿以及该至少一个第二图像在世界坐标系中的位姿，输出所述第一图像在所述世界坐标系下的位姿，实现对第一图像的定位。因此，本申请实施例能够基于一部分图像在局部坐标系下的位姿以及在世界坐标系下的位姿，得到局部坐标系与世界坐标系的关系，从而对待定位图像(例如第一图像)在世界坐标系中定位，而无需对每个图像采集3D点云。
[0008]本申请实施例中，第一图像在世界坐标系下的位姿，即为第一终端在拍摄该第一图像时在世界坐标系下的位姿，也可以称为相机的位姿。
[0009]在一些实施例中，可以从图像数据库中获取上述至少一个第二图像在世界坐标系下的位姿，以及第二信息，本申请对此不作限定。
[0010]作为示例，本申请实施例中第一终端可以为手机、自动驾驶汽车等移动设备，本申请对此不作限定。
[0011]相对于现有方案中构建环境的3D点云特征库(其中包含全局3D点云特征)，并基于特征点匹配实现位姿的计算方案而言，本申请实施例并没有利用图像的3D点云特征，而是利用了图像的位姿进行定位。由于构建环境的3D点云特征库需要依赖专业人员和采集设备，耗时费力，成本高昂，而本申请不需要获取3D点云特征，因此一方面，本申请可以采用低成本的设备，例如具有低分辨率、小视场角的相机(比如手机相机)进行图像数据库的构建，而无需依赖专业人员和专业设备，并且能够对图像数据库的数据量进行缩小，从而能够降低构建图像数据库的成本；另一方面，本申请能够缩短构建数据库的时间，有助于进行高效率的构建图像数据库。因此本申请的基于图像的位姿以及图像数据库进行定位的方案能够有助于进行高效率、低成本的定位。
[0012]在一些实施例中，上述至少一个第二图像可以组成一个图像集合，该图像集合可以称为该第一图像的相似图像集。
[0013]在一些实施例中，上述第一图像和至少一个第二图像可以组成一个图像集合，该图像集合可以称为局部图像集。其中，上述第一局部坐标系即第一终端的摄像机坐标系，可以为以该局部图像集中以任一一帧图像为该第一局部坐标系的原点构建的相对坐标系。
[0014]作为一种可能的实现方式，可以根据上述至少一个第二图像在第一局部坐标系下的位姿，以及该至少一个第二图像在世界坐标系中的位姿，确定第一局部坐标系与世界坐标系的映射关系(或者也可以称为转换关系)。然后根据该映射关系，可以对第一图像在第一局部坐标系下的位姿进行转换，确定第一图像在世界坐标系下的位姿，并输出该位姿。
[0015]作为示例，世界坐标系与第一局部坐标系之间的映射关系可以用旋转矩阵或平移向量来描述，本申请对此不作限定。
[0016]本申请实施例中，世界坐标系也可以称为绝对坐标系、全局坐标系等。作为示例，世界坐标系可以作为环境中的一个基准坐标系来描述摄像机(也可以为包含该摄像机的终端)的位置，也可以用来描述环境中任何物体的位置。
[0017]作为一种可能的实现方式，该图像数据库中可以包括多个映射关系，其中一个映射关系可以指示一个图像的标识、该图像的第一信息、该图像的第二信息和该图像在世界坐标系下的位姿之间的对应关系，本申请对此不作限定。
[0018]结合第一方面，在第一方面的某些实现方式中，该方法还可以包括建立上述图像数据库。
[0019]结合第一方面，在第一方面的某些实现方式中，可以获取第二终端拍摄的视频，以及获取该视频中的多帧图像在该第二终端的第二局部坐标系下的位姿。然后，可以根据第三信息和该视频中的多帧图像在该第二局部坐标系下的位姿，确定视频中的多帧图像在世界坐标系下的位姿。其中，所述第三信息用于指示视频中的至少部分图像在地图中的位置，该地图与所述世界坐标系关联。之后，可以获取该视频中的多帧图像的第一信息和所述第二信息。这样，可以实现建立该图像数据库。
[0020]因此，本申请实施例可以通过获取第二终端拍摄的视频中多帧图像在第二终端的第二局部坐标系下的位姿，以及结合该视频中的多帧图像在地图中的相关位置，来确定该视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种定位的方法，其特征在于，包括：获取第一终端拍摄的第一图像；根据所述第一图像的第一信息与图像数据库中的图像的第一信息，在所述图像数据库中确定与所述第一图像匹配的至少一个第二图像，其中，所述第一信息用于指示图像的全局特征，所述图像数据库包括多帧图像的所述第一信息、所述多帧图像的第二信息和所述多帧图像在世界坐标系下的位姿，其中，所述第二信息用于指示图像的局部特征；根据所述第一图像的所述第二信息和所述至少一个第二图像的所述第二信息，确定所述第一图像和所述至少一个第二图像在所述第一终端的第一局部坐标系下的位姿；根据所述第一图像在所述第一局部坐标系下的位姿、所述至少一个第二图像在所述第一局部坐标系下的位姿以及所述至少一个第二图像在世界坐标系下的位姿，输出所述第一图像在所述世界坐标系下的位姿。2.根据权利要求1所述的方法，其特征在于，还包括：建立所述图像数据库。3.根据权利要求2所述的方法，其特征在于，所述建立所述图像数据库包括：获取第二终端拍摄的视频；获取所述视频中的多帧图像在所述第二终端的第二局部坐标系下的位姿；根据第三信息和所述视频中的多帧图像在所述第二局部坐标系下的位姿，确定所述视频中的多帧图像在世界坐标系下的位姿，其中，所述第三信息用于指示所述视频中的至少部分图像在地图中的位置，所述地图与所述世界坐标系关联；获取所述视频中的多帧图像的所述第一信息和所述第二信息。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述方法还包括：获取所述第一图像的第一位置，其中，所述第一位置来自所述第一终端的全球定位系统GPS模块或无线保真WiFi模块；根据所述第一图像的第一位置，在所述图像数据库中确定至少一个图像，所述至少一个图像中的每个图像的位置与所述第一图像的第一位置之间的距离小于第一阈值；其中，所述将所述第一图像的第一信息与图像数据库中的图像的第一信息进行匹配，在所述图像数据库中确定与所述第一图像匹配的至少一个第二图像，包括：将所述第一图像的第一信息与所述至少一个图像的第一信息进行匹配，在所述至少一个图像中获取与所述第一图像匹配的至少一个第二图像。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述根据所述第一图像的第一信息与图像数据库中的图像的第一信息，在所述图像数据库中确定与所述第一图像匹配的至少一个第二图像包括：根据所述第一图像的第一信息与图像数据库中的图像的第一信息，在所述图像数据库中确定与所述第一图像匹配的多个第三图像；删除所述多个第三图像中，与所述多个第三图像的聚类中心的距离大于第二阈值的图像，以得到所述至少一个第二图像，其中，所述聚类中心是根据所述多个第三图像在世界坐标系下的位置确定的。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述根据所述第一图像的第一信息与图像数据库中的图像的第一信息，在所述图像数据库中确定与所述第一图像匹配的至
少一个第二图像包括：根据所述第一图像的第一信息与图像数据库中的图像的第一信息，在所述图像数据库中确定与所述第一图像匹配的多个第四图像；删除所述多个第四图像中，角度小于第三阈值和/或距离小于第四阈值的图像，以得到所述至少一个第二图像，其中，所述角度为至少两个图像在世界坐标系下的位姿的姿态的差值，所述距离为至少两个图像在世界坐标系下的位姿的位置的差值。7....

【专利技术属性】
技术研发人员：周妍，李威，王永亮，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：