一种视觉融合激光的建图与定位的方法及系统技术方案

本发明专利技术提供了一种视觉融合激光的建图与定位方法及系统；其中，所述方法包括：S1，获取激光设备的第一位姿数据和视觉设备的第一视觉数据；根据所述第一扫描数据和所述第一视觉数据构建及更新视觉地图；S2，获取所述激光设备的第二扫描数据和所述视觉设备的第二视觉数据，根据所述第二位姿数据、所述第二视觉数据和所述视觉地图进行联合定位。本发明专利技术的方案算力要求明显小于已有方法，易于部署，同时可提高现有激光定位的成功率。提高现有激光定位的成功率。提高现有激光定位的成功率。

【技术实现步骤摘要】
一种视觉融合激光的建图与定位的方法及系统


[0001]本专利技术涉及机器人领域，具体而言，涉及一种视觉与激光融合建图与定位的方法、系统、电子设备及计算机存储介质。

技术介绍

[0002]现有的视觉建图与定位技术，需要在线或者离线构建三维点云模型，对算力要求高，且部署复杂。现有的激光建图与定位技术，在初始化位置偏差大、人流量大、结构环境变化等条件下容易定位失败，难以满足实际需要。

技术实现思路

[0003]为了至少解决上述
技术介绍
中存在的技术问题，本专利技术提供了一种视觉与激光融合建图与定位的方法、系统、电子设备及计算机存储介质，以降低算力要求和部署难度，同时提高现有激光定位的成功率。
[0004]本专利技术的第一方面提供了一种视觉融合激光的建图与定位方法，应用于机器人，方法包括如下步骤：
[0005]S1，获取激光设备的第一位姿数据和视觉设备的第一视觉数据；根据第一位姿数据和第一视觉数据构建及更新视觉地图；
[0006]S2，获取激光设备的第二位姿数据和视觉设备的第二视觉数据，根据第二位姿数据、第二视觉数据和视觉地图进行联合定位。
[0007]进一步地，步骤S1中，根据第一位姿数据和第一视觉数据构建及更新视觉地图，包括：
[0008]S11，将第一位姿数据和第一视觉数据进行关联；
[0009]S12，根据第一位姿数据确定机器人当前所在栅格，在当前所在栅格内存储第一视觉数据。
[0010]进一步地，步骤S12中，根据第一位姿数据确定机器人当前所在栅格，在当前所在栅格内存储第一视觉数据，包括：
[0011]S121，判断当前所在栅格内是否已有视觉数据；若是，则转S122，否则转S123；
[0012]S122，使用第一视觉数据对视觉数据进行更新；
[0013]S123，将第一视觉数据添加至该栅格。
[0014]进一步地，栅格中存储的是图像全局特征点描述子、图像局部特征点描述子和与第一视觉数据关联的第一位姿数据。
[0015]进一步地，步骤S122中，使用第一视觉数据对视觉数据进行更新，包括：
[0016]S1221，判断第一位姿数据的协方差是否小于1，若是，则转S1222，
[0017]否则转S1226；
[0018]S1222，判断当前的第一视觉数据是否检测到回环；若是，则转S1223，否则转S1227；
[0019]S1223,判断当前的第一位姿数据和回环的第三位姿数据的差是否大于阈值，若是，则转S1224，否则转S1225；
[0020]S1224，判定当前的第一视觉数据与回环的第三视觉数据不在同一位置，将第一视觉数据存储至栅格中；
[0021]S1225，判定当前的第一视觉数据回环成功，更新栅格中的第一视觉数据的时间戳至当前时间；
[0022]S1226，判定当前的第一位姿数据不可信，不将第一视觉数据添加至栅格中；
[0023]S1227，判定当前的第一视觉数据是栅格中没有的图片，添加至栅格中。
[0024]进一步地，步骤S2中，根据第二位姿数据、第二视觉数据和视觉地图进行联合定位，包括：
[0025]S21，从第二视觉数据中提取得出视觉位姿，计算视觉位姿的置信度；
[0026]S22，在置信度满足阈值条件的情况下，将视觉位姿作为初值，进行第二位姿数据与视觉位姿的匹配计算；
[0027]S23，在匹配计算结果满足阈值条件时，进行后端图优化。
[0028]进一步地，步骤S21中，从第二视觉数据中提取得出视觉位姿，计算视觉位姿的置信度，包括：
[0029]S211，提取第二视觉数据的全局特征点描述子和局部特征点描述子，根据全局特征点描述子确定若干候选图像帧，对各候选图像帧进行局部特征点描述子的特征点匹配率计算；
[0030]S212，若特征点匹配率满足阈值条件，则计算Essential矩阵，并计算极线内点率；
[0031]S213，对Essential矩阵进行分解，以恢复视觉设备的真实旋转；
[0032]S214，在当前所在栅格地图中存在三维特征点时，根据三维特征点的三维信息和PnP计算得出视觉位姿，以及，根据特征点匹配率、极线内点率和全局特征点描述子距离计算得出视觉位姿的置信度。
[0033]本专利技术的第二方面提供了一种视觉融合激光的建图与定位系统，包括建图模块、定位模块；
[0034]建图模块，用于获取激光设备的第一位姿数据和视觉设备的第一视觉数据；根据第一位姿数据和第一视觉数据构建及更新视觉地图；
[0035]定位模块，用于获取激光设备的第二位姿数据和视觉设备的第二视觉数据，根据第二位姿数据、第二视觉数据和视觉地图进行联合定位。
[0036]本专利技术的第三方面提供了一种电子设备，包括：存储有可执行程序代码的存储器；与存储器耦合的处理器；处理器调用存储器中存储的可执行程序代码，执行如前任一项的方法。
[0037]本专利技术的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项的方法。
[0038]本专利技术的有益效果在于：
[0039]1)现有视觉重定位系统需要预先建立完整的视觉地图，并且建立过程中需要进行大量的计算资源在视觉位姿优化，地图特征点优化，以及全图联合优化上。而本系统视觉位姿来源于激光，并且视觉地图之和周围图片进行优化，占用资源有限，可以在机器人上高效
运行。
[0040]2)现有的视觉重定位方法，地图信息是静态的不变的。本系统的视觉地图是实时更新的，可以应对动态场景，因此在长时间运行时可以保证有效性持续。
附图说明
[0041]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0042]图1是本专利技术实施例公开的一种视觉融合激光的建图与定位方法的主流程示意图；
[0043]图2
‑
4是本专利技术实施例公开的构建及更新视觉地图的流程示意图；
[0044]图5
‑
6是本专利技术实施例公开的联合定位的流程示意图；
[0045]图7是本专利技术实施例公开的一种视觉融合激光的建图与定位系统的结构示意图；
[0046]图8是本专利技术实施例公开一种电子设备的结构示意图。
具体实施方式
[0047]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0048]在本申请实施例中使用的术语是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉融合激光的建图与定位方法，应用于机器人，其特征在于，所述方法包括如下步骤：S1，获取激光设备的第一位姿数据和视觉设备的第一视觉数据；根据所述第一位姿数据和所述第一视觉数据构建及更新视觉地图；S2，获取所述激光设备的第二位姿数据和所述视觉设备的第二视觉数据，根据所述第二位姿数据、所述第二视觉数据和所述视觉地图进行联合定位。2.根据权利要求1所述的一种视觉融合激光的建图与定位方法，其特征在于：步骤S1中，所述根据所述第一位姿数据和所述第一视觉数据构建及更新视觉地图，包括：S11，将所述第一位姿数据和所述第一视觉数据进行关联；S12，根据所述第一位姿数据确定机器人当前所在栅格，在所述当前所在栅格内存储所述第一视觉数据。3.根据权利要求2所述的一种视觉融合激光的建图与定位方法，其特征在于：步骤S12中，所述根据所述第一位姿数据确定机器人当前所在栅格，在所述当前所在栅格内存储所述第一视觉数据，包括：S121，判断所述当前所在栅格内是否已有视觉数据；若是，则转S122，否则转S123；S122，使用所述第一视觉数据对所述视觉数据进行更新；S123，将所述第一视觉数据添加至该栅格。4.根据权利要求3所述的一种视觉融合激光的建图与定位方法，其特征在于：所述栅格中存储的是图像全局特征点描述子、图像局部特征点描述子和与所述第一视觉数据关联的所述第一位姿数据。5.根据权利要求4所述的一种视觉融合激光的建图与定位方法，其特征在于：步骤S122中，所述使用所述第一视觉数据对所述视觉数据进行更新，包括：S1221，判断所述第一位姿数据的协方差是否小于1，若是，则转S1222，否则转S1226；S1222，判断当前的所述第一视觉数据是否检测到回环；若是，则转S1223，否则转S1227；S1223,判断当前的所述第一位姿数据和回环的第三位姿数据的差是否大于阈值，若是，则转S1224，否则转S1225；S1224，判定当前的所述第一视觉数据与回环的第三视觉数据不在同一位置，将所述第一视觉数据存储至所述栅格中；S1225，判定当前的所述第一视觉数据回环成功，更新所述栅格中的所述第一视觉数据的时间戳至当前时间；S1226，判定当前的所述第一位姿数据不可信，不将所述第一视觉数据...

【专利技术属性】
技术研发人员：李鑫，曾令兵，朱有基，冯子健，史雪松，秦宝星，程昊天，
申请(专利权)人：上海高仙自动化科技发展有限公司，
类型：发明
国别省市：