一种采用分布式结构的语义定位和建图的方法技术

本发明专利技术公开了一种采用分布式结构的语义定位和建图的方法，本发明专利技术进行环境图像的获取，通过卷积神经网络EfficientNet进行物体识别，并对识别的每块区域进行特征点重分配，再计算出每帧图像间的联系；根据机器人运动速度，动态范围变化等约束筛选所需关键帧；通过ROS系统自定义的topic，将端侧提取完的关键帧及其信息，传输到主机侧；主机接受上传的消息后，投影得到稠密三维点云图，再解算octomap，再通过topic将octomap传回端侧设备，以供终端设备控制各模块完成指定任务。本发明专利技术既提高了图像匹配率，又克服了终端设备算力低难以完成纯视觉的机器人定位和地图解算任务，并降低了硬件平台的成本。

【技术实现步骤摘要】
一种采用分布式结构的语义定位和建图的方法
本专利技术属于移动机器人导航领域，涉及一种采用分布式结构的语义定位和建图的方法。
技术介绍
根据当前发展趋势可以看出定位和建图技术是移动机器人和自动驾驶是否能够自主导航的一个决定性技术。这个技术特点是通过移动机器人搭载一个或多个传感器，在位置环境下移动，构建环境地图，并对自身进行定位。目前不论是室内还是室外，机器人的需求越来越大，故其中的定位和建图技术也越为重要。目前市场不论是百度系，谷歌系还是momenta公司的自动驾驶汽车，其内部的定位和建图系统都是以激光雷达作为传感器，但是多线激光价格昂贵；而单线激光雷达探测范围受限，且其建立的地图缺乏语义信息。广义的理解，在单车智能技术路线的基础上，未来整个自动驾驶的技术体系将是“车端”、“云端”、“路端”同步升级发展。5G+AI是解锁高等级自动驾驶技术的关键所在。纵观全球主流科技公司以及整车厂，自动驾驶L3商业化技术已经成熟，L4/5加速发展进入验证试点阶段。并且为了保证越来越多的自动驾驶汽车安全上路，就越需要更加完善的具有先验信息的地图，这些地图不单单像百度地图，谷歌地图那样，而要记录更为具体的道路细节，这不单要求了自动驾驶系统的实时性，高效性，还要求了自动驾驶系统有多机协同的功能，以保证每辆车运行中建立的地图能够在所有车辆中通用。而单纯用摄像头来完成定位并且建立可导航的地图对硬件平台的算力要求较大，如果将来需要完成多智能体协同的工作，那么目前市场上大部分的硬件平台的算力都难以满足其要求。<br>
技术实现思路
本专利技术针对现有技术的不足，提出一种采用分布式结构的语义定位和建图的方法。本专利技术一种采用分布式结构的语义定位和建图的方法，包含以下步骤：步骤1、获取图像并进行识别区域框定通过机器人上搭载的深度摄像头进行环境图像的获取，将每一幅图像传入物体识别神经网络EfficientNet，然后进行物体识别，将识别到的区域作为系统提取特征点和描述子的范围，不断进行相邻帧的ORB特征点和描述子的计算和匹配，以此获得表征机器人相对位置的旋转矩阵和平移矩阵，并且记录每一帧的特征点信息以及和邻近帧的关系，以保证后续关键帧提取的准确性。步骤2、提取关键帧根据对机器人运动速度，动态范围变化，以及环境信息等约束条件对此前处理并保存完的每一帧数据进行筛选，来提取所需的关键帧，以此来减小系统运行内存和加快运行速度。步骤3、端侧信息上传通过ROS系统自定义的topic，将在端侧的低算力设备上对提取完的关键帧，以及关键帧中存在的essentialgraph，地图点，特征点和描述子等信息传输到主机侧进行后续的大量计算。步骤4、主机侧信息处理接受端侧上传的关键帧信息后，主机将关键帧中的所有地图点和关键帧中记录的当前机器人位姿数据建立约束，进行BundleAdjustment优化，并对每一关键帧中的所有像素点进行三维坐标的空间投影，得到稠密三维点云图，然后根据八叉树体元素占据的概率公式和阈值设定将稠密的三维点云图转变为八叉树地图。步骤5、主机测信息传输将步骤4处理得到的八叉树地图，再通过ROS系统建立的自定义的topic传输回端侧设备，以供终端设备对机器人的各模块进行控制来完成指定任务。本专利技术相当于现有技术的有益效果为：1、提出了在定位和建图系统提取特征点之前，利用识别神经网络进行系统特征点提取区域的有效划分，以提高整个系统的鲁棒性。2、目前市场上大部分的移动机器人的主要传感器都采用的是64线的激光雷达，但是成本昂贵，本专利技术提出用摄像头来代替激光雷达作为主要传感器，来大幅降低机器人的制作成本。3、提出了分布式结构将定位和建图系统进行切分，将算力需求高的部分通过分布式结构放置在主机侧上运行，来加速系统运行速率，使系统能够实时运行。4、提出分布式结构可以将内存需求较大的内容放置主机测存储，以此提升系统大范围，长时间运行的性能。5、该方法提供了多智能体协作对某一环境进行地图构建的可能，给未来车联网的实施提供一种新方法。附图说明图1为本专利技术一种采用分布式结构的机器人定位和建图系统及方法的基本流程图；图2为本专利技术中通过EfficientNet进行特征点重分配的效果图；图3为本专利技术中分布式结构框架图；图4为本专利技术中BundleAdjustment优化的框图；图5(A)为本专利技术中三维稠密点云图；图5(B)为本专利技术中解算的八叉树地图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步的说明。表1为系统平台参数。用于实施的硬件环境是JetsonTX2和CPUIntel(R)Core(TM)CPUi5-9400@2.90GHz，，本专利技术在Linux16.04系统下进行，实验手段包括数据集测试和实地测试，实地测试使用kineticV2进行数据采集，在实验楼道以及楼顶阳台完成不同场景不同光照条件的性能评估。参数实施条件系统硬件平台JetsonTX2,Interi5-9400视觉传感器kineticV2运行环境Ubuntu16.04编程语言C++测试环境实验楼(30*20m2)表1如图1、图3所示，本专利技术提出一种采用分布式结构的语义定位和建图的方法，包括机器人定位和关键帧提取，分布式结构下的信息传输，三维点云地图和八叉树地图的生成及优化三部分。以下对这三部分中核心步骤进行详细说明。具体步骤如下：1、机器人定位和关键帧提取：A)如图2所示，用移动机器人上搭载的摄像头来不断的读取图像并传送到终端设备JetsonTX2上进行图像处理，将每一幅图像传入训练好的物体识别神经网络EfficientNet(该神经网络将纹理相对较多的物体作为输入进行训练)，然后进行物体识别，将识别到的区域作为系统提取特征点和描述子的范围，并且将重复区域进行合并，然后通过识别到的区域按照面积比重分配每个区域中需要提取的特征点数上限(有规律的分配特征点以提高其鲁棒性)，最后将分割好的区域进行八层金字塔图像变换，用ORB算子提取每一帧图像的特征点，进行特征点匹配，每个特征点的三维坐标计算和描述子计算，并将这些信息按每一帧图像进行保存。B)根据相邻帧之间的匹配情况，计算出表征机器人相对运动的旋转矩阵和平移矩阵，并建立特征点的三维坐标和机器人运动的变换矩阵之间的约束条件，通过BundleAdjustment对地图点坐标和变换矩阵进行优化，如图4所示。C)根据对机器人运动速度，动态范围变化，以及环境信息等约束条件对此前处理并保存完的每一帧数据进行筛选，来提取所需的关键帧，以此来减小系统运行内存和加快运行速度。2、分布式结构下的信息传输：A本文档来自技高网...

【技术保护点】
1.一种采用分布式结构的语义定位和建图的方法，其特征在于：/n步骤1、获取图像并进行识别区域框定/n通过机器人上搭载的深度摄像头进行环境图像的获取，将每一幅图像传入物体识别神经网络EfficientNet，然后进行物体识别，将识别到的区域作为系统提取特征点和描述子的范围，不断进行相邻帧的ORB特征点和描述子的计算和匹配，以此获得表征机器人相对位置的旋转矩阵和平移矩阵，并且记录每一帧的特征点信息以及和邻近帧的关系，以保证后续关键帧提取的准确性；/n步骤2、提取关键帧/n根据对机器人运动速度，动态范围变化，以及环境信息的约束条件对此前处理并保存完的每一帧数据进行筛选，来提取所需的关键帧，以此来减小系统运行内存和加快运行速度；/n步骤3、端侧信息上传/n通过ROS系统自定义的topic，将在端侧的低算力设备上对提取完的关键帧，以及关键帧中存在的essential graph，地图点，特征点和描述子等信息传输到主机侧进行后续的大量计算；/n步骤4、主机侧信息处理/n接受端侧上传的关键帧信息后，主机将关键帧中的所有地图点和关键帧中记录的当前机器人位姿数据建立约束，进行Bundle Adjustment优化，并对每一关键帧中的所有像素点进行三维坐标的空间投影，得到稠密三维点云图，然后根据八叉树体元素占据的概率公式和阈值设定将稠密的三维点云图转变为八叉树地图；/n步骤5、主机测信息传输/n将步骤4处理得到的八叉树地图，再通过ROS系统建立的自定义的topic传输回端侧设备，以供终端设备对机器人的各模块进行控制来完成指定任务。/n...

【技术特征摘要】
1.一种采用分布式结构的语义定位和建图的方法，其特征在于：
步骤1、获取图像并进行识别区域框定
通过机器人上搭载的深度摄像头进行环境图像的获取，将每一幅图像传入物体识别神经网络EfficientNet，然后进行物体识别，将识别到的区域作为系统提取特征点和描述子的范围，不断进行相邻帧的ORB特征点和描述子的计算和匹配，以此获得表征机器人相对位置的旋转矩阵和平移矩阵，并且记录每一帧的特征点信息以及和邻近帧的关系，以保证后续关键帧提取的准确性；
步骤2、提取关键帧
根据对机器人运动速度，动态范围变化，以及环境信息的约束条件对此前处理并保存完的每一帧数据进行筛选，来提取所需的关键帧，以此来减小系统运行内存和加快运行速度；
步骤3、端侧信息上传
通过...

【专利技术属性】
技术研发人员：王煜聪，李郑慧，孙玲玲，胡莉英，闫泽昊，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33