一种语义点云地图构建方法、系统及智能机器人技术方案

本发明专利技术涉及视觉地图构建技术领域，尤其涉及一种语义点云地图构建方法、系统及智能机器人。该语义点云地图构建方法包括获取语义分割后的目标帧图像；其中，所述目标帧图像携带有语义信息；基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点；对剔除动态像素点的目标帧图像进行三维重建，生成局部点云图；融合所述局部点云图和全局点云图，以生成语义点云地图；其中，所述全局点云图为预先基于全局角度构建的点云图。该方法可消除动态物体对建图的干扰，保证建图准确性以及定位的可靠性，并可实现在动态环境下构建语义点云地图。态环境下构建语义点云地图。态环境下构建语义点云地图。

【技术实现步骤摘要】
一种语义点云地图构建方法、系统及智能机器人


[0001]本专利技术涉及视觉地图构建
，尤其涉及一种语义点云地图构建方法及系统、智能机器人。

技术介绍

[0002]地图是机器人在环境中移动和导航的重要依据。传统的点云地图能够标识出环境中障碍点的位置来规划机器人的道路，可以较好地表示位于大规模场景下的几何信息，但没有考虑对场景中动态物体的处理，而动态物体的存在会导致地图中出现一系列位于其运动轨迹上的残影地图点，即使它们已经不存在于这些位置，使观测与地图之间产生错误关联，导致地图构建误差。

技术实现思路

[0003]本专利技术实施例提供一种语义点云地图构建方法及系统、智能机器人，以解决目前动态环境下点云地图构建误差较大的问题。
[0004]一种语义点云地图构建方法，包括：获取语义分割后的目标帧图像；其中，所述目标帧图像携带有语义信息；基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点；对剔除动态像素点的目标帧图像进行三维重建，生成局部点云图；融合所述局部点云图以及全局点云图，以生成语义点云地图。
[0005]一种语义点云地图构建系统，包括：数据获取模块，用于获取语义分割后的目标帧图像；其中，所述目标帧图像携带有语义信息；动态目标检测模块，用于基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点；局部点云图生成模块，用于对剔除动态像素点的目标帧图像进行三维空间转换，生成局部点云图；语义点云地图构建模块，用于融合所述局部点云图以及全局点云图，以生成语义点云地图。
[0006]一种智能机器人，包括传感器、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述语义点云地图构建方法。
[0007]上述语义点云地图构建方法及系统、智能机器人中，通过获取语义分割后的目标帧图像，以使目标帧图像携带语义信息，以通过目标帧图像携带的语义信息，对目标帧图像进行动态目标检测，剔除目标帧图像中的动态像素点，从而消除动态像素点对建图的干扰，保证建图准确性以及定位的可靠性。然后，对剔除动态像素点的目标帧图像进行三维重建，
生成局部点云图，以在生成局部点云图的过程中，通过动态目标的分析检测，剔除动态像素点，可有效降低点云图的数据处理量。最后，融合所述局部点云图以及全局点云图，以生成语义点云地图，以根据局部点云图中的点云数据对全局点云图中相关物体的点云数据进行动态更新，从而实现在动态环境下更新构建语义点云地图。
附图说明
[0008]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0009]图1是现有技术中SLAM系统的一工作流程图；图2是本专利技术一实施例中语义点云地图构建方法的一流程图；图3是图2中S102的一具体流程图；图4是图2中S104的一具体流程图；图5是本专利技术一实施例中语义点云地图构建方法的一流程图；图6是本专利技术一实施例中语义点云地图构建方法的一流程图；图7是本专利技术一实施例中语义点云地图构建方法的一流程图；图8是图7中步骤S602的一具体流程图；图9是图7中步骤S603的一具体流程图；图10是本专利技术一实施例中语义点云地图构建系统的一示意图。
[0010]图11是本专利技术一实施例中智能机器人的一示意图。
具体实施方式
[0011]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
[0012]为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。应理解的是，相关的概念解释可能会因为本申请实施例的具体情况有所限制，但并不代表本申请仅能局限于该具体情况，在不同实施例的具体情况可能也会存在差异，具体此处不做限定。
[0013]点云数据可简称为点云(point cloud)，是指在同一空间参考系下表达目标空间分布和目标表面特性的点的集合。
[0014]于本申请实施例中，点云数据用于表征该点云数据中每个点在相机坐标系下的三维坐标值；此外，在本申请的一些实施方式中，点云数据还可以融合像素点的语义信息（例如类别信息），在本申请的一些实施方式中，点云数据还可以用于表征该点云数据中每个点的像素值、每个点在相机坐标系下的三维坐标值以及语义信息。
[0015]语义分割，是计算机视觉领域中一项重要的研究内容，其目标是将图像分割成具有不同语义信息的区域，并且标注区域内每一像素点对应的语义标签（如物体类别信息）。
[0016]于本申请实施例中，由于采用特征点建立的稀疏点云地图虽然能够保证定位的精度，但难以表达出物体的真实形状以及细节信息，因此本专利技术基于稠密点云来完成建图工作，即通过采用语义分割技术对实时读取的目标帧图像进行语义分割，以基于该图像的语义信息更新全局点云图，从而构建全局角度下的语义点云地图，后续机器人在构建的语义点云地图的基础上进行定位时能够识别哪些地图点属于具体哪个物体，可实现与外界环境的交互。
[0017]世界坐标系是在计算机视觉领域中，由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系就称为世界坐标系。
[0018]相机坐标系是一种处于3D坐标系当中，并于观察者密切相关的一种坐标系。
[0019]SLAM（Simultaneous Localization and Mapping），即同时定位与建图，它是一些机器人应用的基础技术，例如自动驾驶汽车和无人机避障导航等。该技术指自主机器人在未知的场景中运动时，根据位姿估计和地图进行自身定位，同时在自身定位的基础上建造更新地图。如图1所示的SLAM系统的工作流所示，该系统主要包括语义分割线程、跟踪线程、局部建图线程以及回环闭合检测线程等。本方法可应用在SLAM系统中，通过在建图线程中增加动态检测模块剔除动态目标的动态像素点，从而消除动态目标对建图的误差影响。
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]在一实施例中，如图2所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义点云地图构建方法，其特征在于，包括：获取语义分割后的目标帧图像；其中，所述目标帧图像携带有语义信息；基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点；对剔除动态像素点的目标帧图像进行三维重建，生成局部点云图；融合所述局部点云图和全局点云图，以生成语义点云地图；其中，所述全局点云图为预先基于全局角度构建的点云图。2.如权利要求1所述的一种语义点云地图构建方法，其特征在于，所述语义信息包括所述目标帧图像中非主动运动物体对应的目标检测框、所述目标检测框对应的第一物体类别信息以及所述目标检测框内物体像素点对应的第二物体类别信息；所述基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点，包括：遍历所述目标检测框内的物体像素点；若所述第二物体类别信息与所述第一物体类别信息不一致，或所述非主动运动物体为运动状态，则将所述物体像素点作为动态像素点剔除。3.如权利要求1所述的一种语义点云地图构建方法，其特征在于，所述局部点云图中包括所述目标帧图像中各物体对应的第一点云数据；所述融合所述局部点云图和全局点云图，以生成语义点云地图，包括：若所述全局点云图中存在与所述第一点云数据的物体类别信息一致的候选点云数据，则获取所述第一点云数据的第一质心以及所述候选点云数据的第二质心；若所述第一质心与所述第二质心之间的距离小于预设阈值，则基于所述第一点云数据更新所述候选点云数据；若所述第一质心与所述第二质心之间的距离不小于预设阈值，则将所述第一点云数据作为新增数据融合至所述全局点云图中。4.如权利要求1所述的一种语义点云地图构建方法，其特征在于，所述局部点云图中包括所述目标帧图像中各物体对应的第一点云数据；在所述生成局部点云图之后，还包括：统计每一所述第一点云数据的平均深度以及方差；根据所述平均深度以及所述方差，确定噪点阈值；基于所述噪点阈值以及所述第一点云数据中每个点的深度值，对所述第一点云数据进行噪点检测，以去除所述第一点云数据中的噪点。5.如权利要求1所述的一种语义点云地图构建方法，其特征在于，所述语义点云地图包括全局环境中各物体的第二点云数据；在所述融合所述局部点云图和全...

【专利技术属性】
技术研发人员：方宝富，韩修萌，王浩，杨静，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：