一种语义栅格地图生成方法及其装置制造方法及图纸

本发明专利技术涉及一种语义栅格地图生成方法及其装置，其中方法包括：通过视觉传感器获取环境的图像数据，通过激光雷达传感器获取环境的2D扫描数据；将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据；将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图。本发明专利技术实施例提出的语义栅格地图生成方法及其装置，引入视觉传感器，通过视觉传感器获取的图像数据，对激光雷达传感器获取的2D扫描数据赋予语义信息；在地图融合的过程中，去除动态物体减少噪声点，同时对确定栅格添加语义信息，生成语义格栅地图，为构图、定位和导航提供可靠地路标信息，从而提高移动机器人在动态环境中的构图和定位的鲁棒性。

A Method and Device for Generating Semantic raster Map

The present invention relates to a method and device for generating semantic raster map. The method includes acquiring image data of environment through visual sensor, acquiring 2D scanning data of environment through lidar sensor, fusing acquired image data and 2D scanning data to generate semantic scanning data, and generating semantics. The scanned data is fused with the grid map of the environment to generate the semantic grid map. The method and device of generating semantic raster map proposed in the embodiment of the present invention introduce visual sensor, image data acquired by visual sensor, and give semantic information to the 2D scanning data acquired by lidar sensor. In the process of map fusion, dynamic objects are removed to reduce noise points, while adding to the determined raster. Semantic information is added to generate a semantic grid map to provide reliable landmark information for composition, location and navigation, thus improving the robustness of mobile robot in dynamic environment.

【技术实现步骤摘要】
一种语义栅格地图生成方法及其装置
本专利技术属于移动机器人
，具体涉及一种语义栅格地图生成方法及其装置。
技术介绍
移动机器人，例如在地面移动的移动机器人、飞行器等，其智能性主要体现在能构建一致性的环境地图、鲁棒的定位和导航功能。其中环境地图的可靠性以及包含的信息量是移动机器人定位和导航的关键前提。栅格地图是将环境划分为一系列格栅制成的环境地图，每一个格栅给定一个可能值，表示该格栅被占据的概率，可以使用一组格栅描述环境要素，每一个格栅的值代表一个现实的环境要素或者环境要素的一部分。如图1所示，图中的每个像素对应一个栅格，图中的颜色深度代表了该格栅处有障碍物的概率，颜色越深，概率越大；颜色越浅，概率越小。当格栅地图的分辨率为0.05m/cell(米/栅格)时，代表了每个栅格映射物理上0.05米见方的一个区域。基于2D扫描数据的传统地图生成方法，基本上生成的是普通的栅格地图，普通的栅格地图在移动机器人定位导航过程中存在以下问题：1.普通的栅格地图无法表达每个栅格在实际环境中具体表示的是什么物体(例如桌子、凳子、花瓶等)；2.普通的栅格地图无法剔除环境地图中的动态物体(例如行人、车等本文档来自技高网...

【技术保护点】
1.一种语义栅格地图生成方法，其特征在于，该方法包括以下步骤：通过视觉传感器获取环境的图像数据，通过激光雷达传感器获取环境的2D扫描数据；将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据；将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图。

【技术特征摘要】
1.一种语义栅格地图生成方法，其特征在于，该方法包括以下步骤：通过视觉传感器获取环境的图像数据，通过激光雷达传感器获取环境的2D扫描数据；将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据；将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图。2.根据权利要求1所述的方法，其特征在于，所述将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据的步骤包括：对激光雷达传感器获取的2D扫描数据进行粒子群聚类；对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签；将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系；根据所述图像数据和2D扫描数据的对应关系，将所述图像数据的物体检测结果与聚类后的2D扫描数据进行融合，生成语义扫描数据。3.根据权利要求2所述的方法，其特征在于，在所述对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签的步骤中，对图像数据的物体检测方法使用基于深度学习的检测和分类方法，为图像数据中的物体加上语义标签。4.根据权利要求2所述的方法，其特征在于，在所述将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系的步骤中，所述将获取的图像数据和2D扫描数据对齐，是根据事先测定好的激光雷达传感器和视觉传感器的安装位置的相对关系，进行图像数据和2D扫描数据的对齐。5.根据权利要求2至4中任一项所述的方法，其特征在于，在所述对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签的步骤中，对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签，包括：检测视觉传感器获取的图像数据，给出检测出的物体的所有可能的语义标签，以及每一个可能的语义标签的概率；在所述将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系的步骤中，根据所述图像数据和2D扫描数据的对应关系，将所述所有可能的语义标签及相应的概率投影到2D扫描数据中进行融合，生成带有物体概率标签的语义扫描数据。6.根据权利要求5所述的方法，其特征在于，所述将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图的步骤包括：对所述带有物体概率标签的语义扫描数据进行预处理，从所述语义扫描数据中提取原始2D扫描数据和基于视觉传感器视角的语义扫描数据，所述基于视觉传感器视角的语义扫描数据保留物体概率标签；利用基于激光雷达传感器的并发定位和建图算法，对提取的原始2D扫描数据进行处理，获取移动机器人的移动轨迹以及定位信息；根据所述移动轨迹以及定位信息，将所述提取的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，生成语义格栅地图。7.根据权利要求6所述的方法，其特征在于，所述将移动轨迹上在所有轨迹节点存储的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，包括：计算地图格栅中的每个格栅对应的最大概率的语义标签，将每个格栅对应的最大概率的语义标签与格栅地图中的相应格栅进行融合，生成所述语义格栅地图。8.根据权利要求7所述的方法，其特征在于，所述计算地图格栅中的每个格栅对应的最大概率的语义标签，包括：计算格栅地图中某个栅格cell[m]出现语义标签为A的概率cell[m].flag[A].prob；概率cell[m].flag[A].prob的表达式如下式所示：其中，visit是指在采样时刻t，移动轨迹Tt中的每个轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到与格栅地图中的栅格cell[m]对应的点Tt[j].scan[k]的次数，其中j代表轨迹节点处提取的基于视觉传感器视角的语义扫描数据中，观测到该栅格cell[m]对应的点Tt[j].scan[k]，并且该格栅cell[m]对应的点Tt[j].scan[k]具有语义标签A的轨迹节点；Tt[j].scan[k].flage[A].prob是指在采样时刻t，移动轨迹Tt上观测到栅格cell[m]的轨迹节点j的基于视觉传感器视角的语义扫描数据中，对应格栅地图中的栅格cell[m]的点Tt[j].scan[k]具有语义标签A的概率；同理计算出格栅地图中栅格cell[m]的所有语义标签的概率，并选取概率最大的语义标签...

【专利技术属性】
技术研发人员：陈明建，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东,44