一种语义地图的构建方法及设备技术

本申请实施例公开了一种语义地图的构建方法及设备，可应用于图像构建领域中，具体可用于机器人的地图构建中，该方法包括：通过部署于目标设备上的传感器实时获取目标设备监测范围内物体的点云数据，点云数据用于表征点云数据中每个点的三维坐标值，根据点云数据可得到物体的位置信息，并基于该物体的点云数据与之前获取到的各个物体的点云数据之间的相似度来判断该物体是否是目标设备监测到的新物体，再基于相似度的具体取值实时更新语义地图，从而实现了目标设备对语义地图的自主动态更新，此外，通过本申请实施例构建的语义地图不仅包括物体的位置信息，还包括物体的朝向信息，从而在对物体进行准确定位的同时还提供了与物体交互的视角朝向。

【技术实现步骤摘要】
一种语义地图的构建方法及设备
本申请涉及地图构建领域，尤其涉及一种语义地图的构建方法及设备。
技术介绍
近年来，语义地图的构建成为了计算机视觉和移动计算的研究热点之一，语义地图被广泛应用于机器人、移动终端设备、人机交互等领域。室内语义地图包括空间属性信息，如房间分布、房间结构等几何信息，还包括语义属性信息，如房间内一般实体的位置信息等。语义地图构建的目标是精确地在三维几何地图上标记语义信息。现有的设备(如，室内可移动机器人)构建语义地图的方式主要为：先基于采集到的图像进行3D稠密重建得到3D稠密图，再在该3D稠密图上进行三维实例分割，为每个体素识别出对应的语义信息，基于得到的语义信息在3D稠密图上标注物体区域，从而得到语义地图。这种方式构建的语义地图也可称为贴图式语义地图。贴图式语义地图的构建方式是基于采集的图像先构建场景，再一次性对整个场景进行3D稠密重建，对于动态环境的鲁棒性差，即语义地图的动态更新困难。
技术实现思路
本申请实施例提供了一种语义地图的构建方法及设备，用于实时获取目标设备监测范围内物体的点云数据，并基于该物体的点云数据与之前获取到的物体的点云数据之间的相似度来判断该物体是否是目标设备监测到的新物体，再基于相似度的具体取值实时更新语义地图，从而实现了目标设备对语义地图的自主动态更新，此外，通过本申请实施例构建的语义地图不仅包括物体的位置信息(基于点云数据得到)，还包括物体的朝向信息，从而在对物体进行准确定位的同时还提供了交互的视角朝向。基于此，本申请实施例提供以下技术方案：第一方面，本申请实施例首先提供一种语义地图的构建方法，可用于地图构建领域中，该方法包括：首先，获取目标设备在当前时刻、当前位置监测范围内的每个物体各自对应的点云数据。在当前时刻、当前位置，目标设备的监测范围可称为第一监测范围，在该监测范围内存在的任意一个物体，可称为第一物体，第一物体对应的点云数据则称为第一点云数据。第一监测范围是指部署于该目标设备上的目标传感器在当前时刻、当前位置能感知到的周围环境的感知区域。之后，计算第一点云数据与第二点云数据之间的相似度，第二点云数据为目标设备第二监测范围内第二物体的点云数据，第二监测范围包括目标设备在第一时刻至第二时刻的时间区间内的监测范围，第二物体为第二监测范围内存在的任意一个物体，语义地图基于第二监测范围内的每个物体对应的点云数据构建得到。计算得到第一点云数据与第二点云数据之间的相似度后，会进一步基于相似度确定目标点云数据，例如，可以是当相似度在第一阈值区间，目标点云数据为第一点云数据；也可以是当相似度在第二阈值区间，且在第一点云数据的外包络盒大于第二点云数据的外包络盒的情况下，目标点云数据为第一点云数据；还可以是当相似度在第二阈值区间，且在将第一点云数据与第二点云数据进行点云配准的情况下，则目标点云数据为融合点云数据，具体本申请对目标点云数据的确定方式不做限定。基于第一点云数据和第二点云数据之间的相似度确定目标点云数据后，就会更新该语义地图，具体表现为在语义地图中更新该目标点云数据、目标点云数据的标签信息以及物体的朝向信息。在本申请上述实施方式中，通过部署于目标设备上的目标传感器实时获取目标设备监测范围内物体的点云数据，并基于该物体的点云数据与之前获取到的物体的点云数据之间的相似度来判断该物体是否是目标设备监测到的新物体，再基于相似度的具体取值实时更新语义地图，从而实现了目标设备对语义地图的自主动态更新，此外，通过本申请实施例构建的语义地图不仅包括物体的位置信息(基于点云数据得到)，还包括物体的朝向信息，从而在对物体进行准确定位的同时还提供了交互的视角朝向。在第一方面的一种可能的实现方式中，基于目标点云数据得到与目标点云数据对应的物体的朝向信息的方式具体可以是：从该目标点云数据中随机采样得到两个点，分别记为第一点和第二点，接着对第一点和第二点进行连线，并得到该连线的垂直平分面，再以该垂直平分面为对称面，将目标点云数据通过该垂直平分面进行映射，得到该目标点云数据对应的镜像点云数据，之后，根据最近邻聚类算法计算得到目标点云数据与该镜像点云数据之间的距离，该距离可称为第一距离，该第一距离与该垂直平分面对应，且该第一距离在预设阈值范围内；重复执行上述步骤直至达到预设轮次n，得到n个第一距离；最后，计算目标垂直平分面的法线与基准坐标系的轴线之间的夹角，并用该夹角表征该物体的朝向信息，所述目标垂直平分面与目标距离对应，所述目标距离在所述n个第一距离中取值最小。在本申请上述实施方式中，具体阐述了如何得到一个物体的朝向信息，即通过构建对称面得到镜像点云数据，并基于目标点云数据与镜像点云数据之间的距离大小选择一个最优的对称面作为最终的目标对称面，最后选择目标垂直平分面的法线与基准坐标系的轴线之间的夹角，具备可实现性。在第一方面的一种可能的实现方式中，所述第一点和所述第二点之间连线与所述基准坐标系中的任意一个轴线(可称为第一轴线)平行，该第一轴线可以是该基准坐标系的x轴、y轴或z轴。在本申请上述实施方式中，为了使得每次随机采样的两个点能有效计算出第一距离(即使得计算得到的第一距离能处于预设范围内)，从而对采样得到的第一点和第二点的采集条件进行了约束，提高了有效采样的效率。在第一方面的一种可能的实现方式中，第一点云数据还可以用于表征该第一点云数据中每个点的像素值，第二点云数据还可以用于表征该第二点云数据中每个点的像素值，因此计算所述第一点云数据与第二点云数据之间的相似度的方式可以是：首先，根据最近邻聚类算法，计算得到第一点云数据与第二点云数据之间的距离，该距离可称为第二距离，之后，由于每个点云数据不仅用于表征对应点云数据中每个点在基准坐标系下的三维坐标值，还用于表征对应的RGB图像对应每个点的像素值，因此可以进一步计算第一点云数据与第二点云数据之间的像素值之差，最后根据该第二距离和该像素值之差计算得到第一点云数据与第二点云数据之间的相似度。在本申请上述实施方式中，阐述了通过两个点云数据之间的距离和像素值之差来计算第一点云数据与第二点云数据之间的相似度，具备灵活性。在第一方面的一种可能的实现方式中，根据该第二距离和该像素值之差计算得到第一点云数据与第二点云数据之间的相似度的过程具体可以通过计算该第二距离和该像素值之差的二范数得到。具体地，可以是先对第二距离和像素值之差进行加权求和，得到目标值，其中，第二距离与像素值之差各自所占的权重比例可以根据实际应用自行设置，也可以基于历史数据计算得到，本申请不做限定；最后，将目标值通过高斯核映射，从而得到第一点云数据与第二点云数据之间的相似度。在本申请上述实施方式中，具体阐述了可以通过计算该第二距离和该像素值之差的二范数得到第一点云数据与第二点云数据之间的相似度，简单易实现。在第一方面的一种可能的实现方式中，根据相似度确定目标点云数据的方式可以是：在相似度位于第一阈值区间的情况下，确定第一点云数据为该目标点云数据，其中，目标点云数据对应的物体为该第一物体。在本申请上本文档来自技高网...

【技术保护点】
1.一种语义地图的构建方法，其特征在于，包括：/n获取目标设备在当前时刻第一监测范围内的第一物体对应的第一点云数据，所述第一点云数据用于表征所述第一点云数据中每个点在基准坐标系下的三维坐标值；/n计算所述第一点云数据与第二点云数据之间的相似度，所述第二点云数据包括第二监测范围内第二物体的点云数据，所述第二监测范围包括所述目标设备在第一时刻至第二时刻的时间区间内的监测范围，所述第二点云数据用于表征所述第二点云数据中每个点在所述基准坐标系下的三维坐标值；/n根据所述相似度确定目标点云数据；/n基于所述目标点云数据得到与所述目标点云数据对应的物体的朝向信息，并基于所述目标点云数据得到所述物体的标签信息，所述物体的朝向信息用于表征所述物体的朝向，所述物体的标签信息用于表征所述物体所属的分类类别；/n在基于点云数据构建的语义地图中更新所述目标点云数据、所述目标点云数据的标签信息和所述物体的朝向信息。/n

【技术特征摘要】
1.一种语义地图的构建方法，其特征在于，包括：
获取目标设备在当前时刻第一监测范围内的第一物体对应的第一点云数据，所述第一点云数据用于表征所述第一点云数据中每个点在基准坐标系下的三维坐标值；
计算所述第一点云数据与第二点云数据之间的相似度，所述第二点云数据包括第二监测范围内第二物体的点云数据，所述第二监测范围包括所述目标设备在第一时刻至第二时刻的时间区间内的监测范围，所述第二点云数据用于表征所述第二点云数据中每个点在所述基准坐标系下的三维坐标值；
根据所述相似度确定目标点云数据；
基于所述目标点云数据得到与所述目标点云数据对应的物体的朝向信息，并基于所述目标点云数据得到所述物体的标签信息，所述物体的朝向信息用于表征所述物体的朝向，所述物体的标签信息用于表征所述物体所属的分类类别；
在基于点云数据构建的语义地图中更新所述目标点云数据、所述目标点云数据的标签信息和所述物体的朝向信息。


2.根据权利要求1所述的方法，其特征在于，所述基于所述目标点云数据得到与所述目标点云数据对应的物体的朝向信息包括：
计算第一点和第二点之间连线的垂直平分面，所述第一点和所述第二点为从所述目标点云数据中随机采样得到的两个点；
以所述垂直平分面为对称面，得到所述目标点云数据对应的镜像点云数据；
根据最近邻聚类算法计算得到所述目标点云数据与所述镜像点云数据之间的第一距离，所述第一距离与所述垂直平分面对应，且所述第一距离在预设阈值范围内；
重复执行上述步骤直至达到预设轮次n，得到n个第一距离；
计算目标垂直平分面的法线与所述基准坐标系的轴线之间的夹角，并用所述夹角表征所述目标物体的朝向信息，所述目标垂直平分面与目标距离对应，所述目标距离在所述n个第一距离中取值最小。


3.根据权利要求2所述的方法，其特征在于，所述第一点和所述第二点之间连线与所述基准坐标系中第一轴线平行，所述第一轴线为所述基准坐标系的x轴、y轴或z轴。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述第一点云数据还用于表征所述第一点云数据中每个点的像素值，所述第二点云数据还用于表征所述第二点云数据中每个点的像素值，所述计算所述第一点云数据与第二点云数据之间的相似度包括：
根据最近邻聚类算法，计算得到所述第一点云数据与所述第二云数据之间的第二距离；
计算所述第一点云数据与所述第二点云数据之间的像素值之差；
根据所述第二距离和所述像素值之差得到所述第一点云数据与第二点云数据之间的相似度。


5.根据权利要求4所述的方法，其特征在于，所述根据所述第二距离和所述像素值之差得到所述第一点云数据与第二点云数据之间的相似度包括：
对所述第二距离和所述像素值之差进行加权求和，得到目标值；
将所述目标值通过高斯核映射，得到所述第一点云数据与第二点云数据之间的相似度。


6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述相似度确定目标点云数据包括：
在所述相似度位于第一阈值区间的情况下，确定所述第一点云数据为所述目标点云数据，其中，所述物体为所述第一物体。


7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述相似度确定目标点云数据还包括：
在所述相似度位于第二阈值区间的情况下，计算所述第一点云数据的第一外包络盒和所述第二点云数据的第二外包络盒；
在所述第一外包络盒的体积大于所述第二外包络盒的体积的情况下，将所述第一点云数据替换所述第二点云数据，并确定所述第一点云数据为所述目标点云数据。


8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
在所述第一外包络盒的体积小于等于所述第二外包络盒的体积的情况下，删除所述第一点云数据。


9.根据权利要求1-8中任一项所述的方法，其特征在于，所述根据所述相似度确定目标点云数据还包括：
在所述相似度位于第二阈值区间的情况下，将所述第一点云数据与所述第二点云数据进行点云配准，得到所述第一点云数据与所述第二点云数据的融合点云数据；
确定所述融合点云数据为所述目标点云数据。


10.根据权利要求1-9中任一项所述的方法，其特征在于，所述获取目标设备在当前时刻第一监测范围内的第一物体对应的第一点云数据包括：
通过部署于所述目标设备上的目标传感器采集所述目标设备在当前时刻第一监测范围内的RGB图像和深度图像；
对所述RGB图像进行实例分割，得到所述RGB图像中第一物体所属的第一区域；
将所述第一区域与所述深度图像进行叠加，得到所述第一物体对应的第一点云数据。


11.根据权利要求10所述的方法，其特征在于，所述目标传感器包括：
深度相机，或，深度传感器与摄像模块的组合。


12.根据权利要求1-11中任一项所述的方法，其特征在于，在所述语义地图中更新所述目标点云数据、所述目标点云数据的标签信息和所述目标物体的朝向信息之后，所述方法还包括：
将所述第二时刻更新为所述当前时刻，所述目标点云数据作为新增的第二点云数据，重复执行上述步骤直至达到预设条件，得到目标全局语义地图，所述目标全局语义地图为最后一次更新得到的语义地图。


13.根据权利要求12所述的方法，其特征在于，所述达到预设条件包括：
所述第一时刻至第二时刻的时间区间达到预设时长。


14.根据权利要求12-13中任一项所述的方法，其特征在于，在得到所述目标全局语义地图后，所述方法还包括：
获取所述目标设备在第三监测范围内每个物体各自对应的点云数据，所述第三监测范围包括所述目标设备在第三时刻至当前时刻的时间区间内的监测范围，所述第三监测范围内存在至少两个物体，所述第三监测范围内每个物体各自对应的点云数据用于表征所述点云数据中每个点在所述基准坐标系下的三维坐标值；
基于所述目标设备在所述第三监测范围内每个物体各自对应的点云数据构建局部语义地图；
基于所述局部语义地图中第三物体对应的第三点云数据与第四物体对应的第四点云数据构建第一物体对描述子，所述第三物体和所述第四物体为所述第三监测范围内存在的任意两个物体，其中，物体对描述子用于表征构成所述物体对描述子的两个目标物体各自所属分类类别构成的标签对、所述两个目标物体各自对应的点云数据的中心点的距离；
将所述目标全局语义地图中每个物体各自对应的点云数据两两构建得到m个第二物体对描述子；
根据所述第一物体对描述子，从所述m个第二物体对描述子中确定p个目标物体对描述子，p≤m；
将所述局部语义地图分别与所述p个目标物体对描述子通过迭代最近点(ICP)算法进行点云配准，分别得到p个位姿值，其中，位姿值用于表征点云数据的旋转矩阵和平移向量；
当所述p个位姿值中存在至少q个位姿值在预设误差范围内，根据所述局部语义地图对所述目标全局语义地图进行优化，q≤p。


15.根据权利要求14所述的方法，其特征在于，所述方法还包括：
当所述p个位姿值不存在至少q个位姿值在预设误差范围内，重复执行上述步骤，直至所述p个位姿值存在至少q个位姿值在所述预设误差范围内。


16.根据权利要求14-15中任一项所述的方法，其特征在于，
所述物体对描述子还用于表征所述两个目标物体朝向延长线之间的交点分别与所述两个目标物体各自对应的点云数据的中心点的距离。


17.根据权利要求1-16中任一项所述的方法，其特征在于，所述目标设备至少包括如下任意一种：
可移动机器人、手持移动终端设备、智能可穿戴设备。


18.一种地图构建装置，其特征在于，包括：
第一获取模块，用于获取目标设备在当前时刻第一监测范围内的第一物体对应的第一点云数据，所述第一点云数据用于表征所述第一点云数据中每个点在基准坐标系下的三维坐标值；
计算模块，用于计算所述第一点云数据与...

【专利技术属性】
技术研发人员：王凯，贺亚农，楚亚奎，王民航，薛景涛，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44