视觉定位方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了视觉定位方法、装置、电子设备及存储介质，该方法包括：从所有候选帧图像中查找出目标帧图像；从位姿确定基础数据中查找出目标帧图像的聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心；基于包括查找出的聚类中心的目标帧图像的压缩描述子、当前帧图像的局部描述子、目标帧图像对应的预设位姿，确定在捕获当前帧图像时待定位设备的相机的位姿。实现了将每一个候选帧图像的聚类中心序号序列、每一个聚类中心、每一个聚类中心的序号作为位姿确定基础数据，利用该位姿确定基础数据进行视觉定位，相比于直接存储每一个候选帧图像的局部描述子，极大地减少位姿确定基础数据占用的存储空间，降低视觉定位的成本。

【技术实现步骤摘要】
视觉定位方法、装置、电子设备及存储介质
本申请涉及计算机视觉领域，具体涉及视觉定位方法、装置、电子设备及存储介质。
技术介绍
视觉定位是待定位设备例如机器人确定待定位设备的相机的位姿的技术。待定位设备进行视觉定位依赖于预先采集并且在待定位设备上存储的在待定位设备当前所在的场景区域(例如商场、工厂)内捕获的候选帧图像、位姿确定基础数据。其中，存储位姿确定基础数据所需的存储空间远大于存储所有候选帧图像所需的存储空间。目前，通常采用的方式为：将所有候选帧图像的局部描述子作为位姿确定基础数据，直接在待定位设备上存储每一个候选帧图像的局部描述子。场景区域的面积越大，位姿确定基础数据占用的存储空间越大，导致视觉定位的成本高。
技术实现思路
为克服相关技术中存在的问题，本申请提供一种视觉定位方法、装置、电子设备及存储介质。根据本申请实施例的第一方面，提供一种视觉定位方法，包括：从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像；从位姿确定基础数据中查找出所述目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出所述聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心，位姿确定基础数据包括：多个聚类中心、每一个聚类中心的序号，其中，聚类中心通过对用于训练的图像的局部描述子中的同一位置的子向量进行聚类得到；生成所述目标帧图像的压缩描述子，所述目标帧图像的压缩描述子包括：所述每一个聚类中心序号各自所属的聚类中心；基于所述当前帧图像的局部描述子、目标帧图像的压缩描述子和目标帧图像对应的预设位姿，确定在捕获所述当前帧图像时待定位设备的相机的位姿。在一些实施例中，用于训练的图像被预先在多个场景区域内捕获；还包括：对于每一个候选帧图像，确定所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心，其中，所述子向量对应的目标聚类中心为所述子向量对应的多个聚类中心中的与所述子向量的距离最小的聚类中心，所述子向量对应的多个聚类中心通过对用于训练的图像的局部描述子中的、与所述子向量位置相同的子向量进行聚类得到；对于每一个候选帧图像，生成所述候选帧图像的聚类中心序号序列，所述候选帧图像的聚类中心序号序列包括：所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心的序号。在一些实施例中，所述多个场景区域中的每一个场景区域所属的场景区域类型不同。在一些实施例中，还包括：对于每一个用于训练的图像，以预设划分方式将所述用于训练的图像划分为多个子向量；以预设聚类算法对用于训练的图像的局部描述子中的同一位置的子向量进行聚类，得到与所述同一位置的子向量相对应的多个聚类结果，其中，所述多个聚类结果中的每一个聚类结果各自具有一个聚类中心。在一些实施例中，从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像包括：提取待定位设备的相机捕获的当前帧图像的全局描述子；计算当前帧图像的全局描述子与每一个候选帧图像的全局描述子的相似度；将具有的全局描述子与当前帧图像的全局描述子的相似度最大的候选帧图像确定为所述目标帧图像。在一些实施例中，所述当前帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，所述候选帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，用于训练的图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint。根据本申请实施例的第二方面，提供一种视觉定位装置，包括：目标帧图像查找单元，被配置为从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像；聚类中心查找单元，被配置为从位姿确定基础数据中查找出所述目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出所述聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心，位姿确定基础数据包括：多个聚类中心、每一个聚类中心的序号，其中，聚类中心通过对所有用于训练的图像的局部描述子中的同一位置的子向量进行聚类得到；压缩描述子生成单元，被配置为生成所述目标帧图像的压缩描述子，所述目标帧图像的压缩描述子包括：所述每一个聚类中心序号各自所属的聚类中心；位姿计算单元，被配置为基于所述当前帧图像的局部描述子、目标帧图像的压缩描述子和目标帧图像对应的预设位姿，确定在捕获所述当前帧图像时待定位设备的相机的位姿。在一些实施例中，用于训练的图像被预先在多个场景区域内捕获；所述装置还包括：建立单元，被配置为对于每一个候选帧图像，确定所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心，其中，所述子向量对应的目标聚类中心为所述子向量对应的多个聚类中心中的与所述子向量的距离最小的聚类中心，所述子向量对应的多个聚类中心通过对用于训练的图像的局部描述子中的、与所述子向量位置相同的子向量进行聚类得到；对于每一个候选帧图像，生成所述候选帧图像的聚类中心序号序列，所述候选帧图像的聚类中心序号序列包括：所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心的序号。在一些实施例中，所述多个场景区域包括至少一个所属的场景区域类型与其他的场景区域所属的场景区域类型不同的场景区域。在一些实施例中，所述装置还包括：聚类单元，被配置为对于每一个用于训练的图像，以预设划分方式将所述用于训练的图像划分为多个子向量；以预设聚类算法对用于训练的图像的局部描述子中的同一位置的子向量进行聚类，得到与所述同一位置的子向量相对应的多个聚类结果，其中，所述多个聚类结果中的每一个聚类结果各自具有一个聚类中心。在一些实施例中，目标帧图像查找单元进一步被配置为：从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像包括：提取待定位设备的相机捕获的当前帧图像的全局描述子；计算当前帧图像的全局描述子与每一个候选帧图像的全局描述子的相似度；将具有的全局描述子与当前帧图像的全局描述子的相似度最大的候选帧图像确定为所述目标帧图像。在一些实施例中，所述当前帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，所述候选帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，用于训练的图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint。本申请实施例提供的视觉定位方法、装置，实现了将每一个候选帧图像的聚类中心序号序列、每一个聚类中心、每一个聚类中心的序号作为位姿确定基础数据，利用每一个候选帧图像的聚类中心序号序列、每一个聚类中心、每一个聚类中心的序号进行视觉定位，任意一个候选帧图像被作为目标帧图像时，均可以根据该候选帧图像的聚类中心序号序列、每一个聚类中心和每一个聚类中心的序号，查找出所有的聚类中心，组成该候选图像的压缩描述子，以用本文档来自技高网...

【技术保护点】
1.一种视觉定位方法，其特征在于，所述方法包括：/n从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像；/n从位姿确定基础数据中查找出所述目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出所述聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心，位姿确定基础数据包括：多个聚类中心、每一个聚类中心的序号，其中，聚类中心通过对用于训练的图像的局部描述子中的同一位置的子向量进行聚类得到；/n生成所述目标帧图像的压缩描述子，所述目标帧图像的压缩描述子包括：所述每一个聚类中心序号各自所属的聚类中心；/n基于所述当前帧图像的局部描述子、目标帧图像的压缩描述子和目标帧图像对应的预设位姿，确定在捕获所述当前帧图像时待定位设备的相机的位姿。/n

【技术特征摘要】
1.一种视觉定位方法，其特征在于，所述方法包括：
从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像；
从位姿确定基础数据中查找出所述目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出所述聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心，位姿确定基础数据包括：多个聚类中心、每一个聚类中心的序号，其中，聚类中心通过对用于训练的图像的局部描述子中的同一位置的子向量进行聚类得到；
生成所述目标帧图像的压缩描述子，所述目标帧图像的压缩描述子包括：所述每一个聚类中心序号各自所属的聚类中心；
基于所述当前帧图像的局部描述子、目标帧图像的压缩描述子和目标帧图像对应的预设位姿，确定在捕获所述当前帧图像时待定位设备的相机的位姿。


2.根据权利要求1所述的方法，其特征在于，用于训练的图像被预先在多个场景区域内捕获；
所述方法还包括：
对于每一个候选帧图像，确定所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心，其中，所述子向量对应的目标聚类中心为所述子向量对应的多个聚类中心中的与所述子向量的距离最小的聚类中心，所述子向量对应的多个聚类中心通过对用于训练的图像的局部描述子中的、与所述子向量位置相同的子向量进行聚类得到；
对于每一个候选帧图像，生成所述候选帧图像的聚类中心序号序列，所述候选帧图像的聚类中心序号序列包括：所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心的序号。


3.根据权利要求2所述的方法，其特征在于，所述多个场景区域包括至少一个所属的场景区域类型与其他的场景区域所属的场景区域类型不同的场景区域。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于每一个用于训练的图像，以预设划分方式将所述用于训练的图像划分为多个子向量；
以预设聚类算法对用于训练的图像的局部描述子中的同一位置的子向量进行聚类，得到与所述同一位置的子向量相对应的多个聚类结果，其中，所述多个聚类结果中的每一个聚类结果各自具有一个聚类中心。


5.根据权利要求1所述的方法，其特征在于，从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像包括：
提取待定位设备的相机捕获的当前帧图像的全局描述子；
计算当前帧图像的全局描述子与每一个候选帧图像的全局描述子的相似度；
将具有的全局描述子与当前帧图像的全局描述子的相似度最大的候选...

【专利技术属性】
技术研发人员：王金戈，黄灿，刘骁，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11