一种室内语义地图的自动化构建方法技术

本发明专利技术公开了一种室内语义地图的自动化构建方法，应用于摄像装置、位置确定装置以及计算装置构成的系统中，所述摄像装置用于获取场景中多幅图像的特征点信息，所述位置确定装置用于确定初始全局位置信息，所述方法包括所述计算装置执行的：基于所述场景中多幅图像的特征点信息和所述初始全局位置信息，确定对应的目标场景图；基于所述目标场景图，计算每幅所述图像的优化全局位姿信息和语义方向；根据所述优化全局位姿信息和所述语义方向估计图像中的实体在所述室内语义地图中的位置信息；根据所述位置信息将所述图像中的实体在室内语义地图中进行标记。本发明专利技术能够提高场景图的精确度，并能够保证图像中的实体标记在室内语义地图的精确度。

An automatic construction method of indoor semantic map

The invention discloses an automatic construction method for indoor semantic maps, which is applied to a system composed of an imaging device, a position determination device and a computing device for obtaining feature point information of multiple images in a scene, and a position determination device for determining initial global position information, and the method. Including the execution of the computing device: determining the corresponding target scene map based on the feature point information of the plurality of images in the scene and the initial global position information; calculating the optimized global position information and semantic direction of each image based on the target scene map; and according to the optimized global position information and the object. The semantic direction estimates the position information of the entities in the image in the indoor semantic map, and marks the entities in the image in the indoor semantic map according to the position information. The invention can improve the accuracy of scene map, and can ensure the accuracy of entity marking in the image in the indoor semantic map.

【技术实现步骤摘要】
一种室内语义地图的自动化构建方法
本专利技术涉及移动计算和图像信息处理领域，特别是指一种室内语义地图的自动化构建方法。
技术介绍
近年来，语义地图重建成为了计算机视觉和移动计算的研究热点之一。语义地图被广泛应用于机器人、导航和人机交互等领域。室内语义地图包含空间属性信息，如建筑物的平面结构，房间分布等，还包括语义属性信息，如各个房间的号码、逻辑功能、房间内一般实体的位置信息等。语义地图重建的目标是精确地在地图上标记语义信息。现有技术中，通常基于运动信号或视觉信息进行室内空间语义地图的重建。其中运动信号指的是用户在室内的运动轨迹，该方法通过采集大量用户在室内空间的运动轨迹，来学习和推理室内空间的语义信息，并将语义信息标记在室内空间的语义地图上。然而，这种方法仅关注识别和分类特定的室内空间内的语义信息，例如房间号码、商店店名等。基于视觉信息的方法通过采集大量的视觉信息，即图像，然后采用恢复室内空间的三维模型来学习和推理室内空间的语义信息，并将语义信息标记在室内语义地图上。这种方法能够标记丰富的语义信息，但对室内空间的纹理较为敏感，且计算复杂度较高。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种室内语义地图的自动化构建方法。基于上述目的本专利技术提供的一种室内语义地图的自动化构建方法，应用于摄像装置、位置确定装置以及计算装置构成的系统中，所述摄像装置用于获取场景中多幅图像的特征点信息，所述位置确定装置用于确定图像的初始全局位置信息，所述方法包括所述计算装置执行的：基于所述场景中多幅图像的特征点信息和所述初始全局位置信息，确定对应的目标场景图；基于所述目标场景图，计算每幅所述图像的优化全局位姿信息和语义方向；根据所述优化全局位姿信息和所述语义方向估计所述图像中的实体在所述室内语义地图上的位置信息；根据所述位置信息将所述实体在所述室内语义地图中进行标记。在一实施例中，所述基于所述场景中多幅图像的特征点信息和初始全局位置信息，确定对应的目标场景图，包括：确定所述多幅图像中的实体的特征点信息；基于所述特征点信息进行特征点匹配；将相同特征点信息的数量超过设定数量阈值的特征点对应的图像进行聚类，并分别生成对应的场景图，作为目标场景图；在一实施例中，所述生成对应的场景图，包括：基于图像的所述初始全局位置信息验证所生成的场景图，得到目标场景图。在一实施例中，所述确定对应的目标场景图之后，所述方法还包括：确定图像中的实体的语义信息；基于所述语义信息将各目标场景图分别划分为至少一个子场景图。在一实施例中，所述基于所述目标场景图，计算每幅所述图像的优化全局位姿信息，包括：计算各幅所述图像的初始全局姿态信息；计算各所述子场景图中的每对图像之间的相对位置信息和相对姿态信息；基于所述相对位置信息对所述初始全局位置信息进行优化，得到优化全局位置信息，基于所述相对姿态信息对所述初始全局姿态信息进行优化，得到优化全局姿态信息，所述优化全局位置信息及所述优化全局姿态信息构成所述优化全局位姿信息。在一实施例中，所述计算各所述子场景图中的每对图像之间的相对位置信息和相对姿态信息，包括：基于所述子场景图中的实体在两幅图像上的投影，确定所述两幅图像之间的相对位置信息和相对姿态信息。在一实施例中，所述相对位置信息和所述相对姿态信息通过对极几何算法进行计算得到。在一实施例中，计算语义方向，包括：确定拍摄所述图像的摄像头的视角及焦距；基于所述视角及所述焦距，计算所述图像中的实体与所述摄像头之间的语义方向。在一实施例中，所述根据所述优化全局位姿信息和所述语义方向估计所述图像中的实体在所述室内语义地图中的位置信息，包括：基于所述优化全局位姿信息和各摄像头与实体之间的语义方向估计所述图像中的实体在室内语义地图中的位置区域；基于各所述位置区域的交集确定所述图像中的实体在所述室内语义地图中的位置信息。在一实施例中，所述基于各估计位置区域的交集确定估计位置信息，包括：将所述交集的重心位置确定为所述位置信息。从上面所述可以看出，本专利技术提供的室内语义地图的自动化构建方法，基于图像的特征点信息及初始全局位置信息来确定场景图，能够提高场景图的精确度，通过对图像的初始全局位姿信息进行优化，能够保证图像中的实体标记在室内语义地图的精确度，而且成本较低。附图说明图1为本专利技术实施例示出的一种室内语义地图的自动化构建方法的流程图；图2A为本专利技术实施例示出的另一种室内语义地图的自动化构建方法的流程图；图2B为本专利技术实施例示出的另一种室内语义地图的自动化构建方法的场景图；图3A为本专利技术实施例示出的另一种室内语义地图的自动化构建方法的流程图；图3B为本专利技术实施例示出的另一种室内语义地图的自动化构建方法的场景图；图4A为本专利技术实施例示出的另一种室内语义地图的自动化构建方法的流程图；图4B为本专利技术实施例示出的另一种室内语义地图的自动化构建方法的场景图；图5A为本专利技术实施例示出的另一种室内语义地图的自动化构建方法的流程图；图5B为本专利技术实施例示出的另一种室内语义地图的自动化构建方法的场景图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。图1是本专利技术实施例示出的一种室内语义地图的自动化构建方法的流程图，该方法应用于摄像装置、位置确定装置以及计算装置构成的系统中，其中摄像装置用于拍摄场景中的图像，可以为摄像头，并可以获取多幅图像的特征点信息；位置确定装置用于确定图像的初始全局位置信息，可以为惯性传感器；计算装置可以为计算机，用于执行下述步骤101-104；如图1所示，该大规模室内语义地图的自动化构建方法可以包括以下步骤101-104：步骤101、基于场景中多幅图像的特征点信息和初始全局位置信息，确定对应的目标场景图。其中，场景可以为室内空间，例如楼层、房间等，实体可以为场景中的物体，例如办公桌、沙发、电器等，本实施例可以通过位于不同位置的多个摄像头拍摄场景的多幅图像。场景图用于描述室内空间中的实体之间的位置关系及其语义信息。场景图中可以包括室内空间的多幅图像，图像以顶点的方式存在于场景图中，相邻的两幅图像之间通过边进行连接，边表示的是该两幅图像的重合度。对于同一场景，可以对应多个场景图，例如，该场景中朝向相反的图像，由于不存在重合的地方，因而位于不同的场景图中。在一个实例中，对于一个房间，所拍摄的图像都是朝南和朝北的图像，那么可以基于朝南的图像生成一幅场景图，基于朝北的图像生成另一幅场景图。本公开步骤中，可以通过现有技术中的PoseNET（一种视觉定位模型，能够通过一张彩色图像定位位姿信息），或PDR（PedestrianDeadReckoning，行人航位推算）方法来确定图像的全局位置信息，为了与后续步骤中优化的全局位置信息相区分，将本步骤中的全局位置信息称为初始全局位置信息。步骤102、基于目标场景图，计算每幅图像的优化全局位姿信息和语义方向。在一实施例中，优化全局位姿信息可以包括优化全局位置信息及优化全局姿态信息，本文档来自技高网...

【技术保护点】
1.一种室内语义地图的自动化构建方法，其特征在于，应用于摄像装置、位置确定装置以及计算装置构成的系统中，所述摄像装置用于获取场景中多幅图像的特征点信息，所述位置确定装置用于确定图像的初始全局位置信息，所述方法包括所述计算装置执行的：基于所述场景中多幅图像的特征点信息和所述初始全局位置信息，确定对应的目标场景图；基于所述目标场景图，计算每幅所述图像的优化全局位姿信息和语义方向；根据所述优化全局位姿信息和所述语义方向估计所述图像中的实体在所述室内语义地图中的位置信息；根据所述位置信息将所述实体在所述室内语义地图中进行标记。

【技术特征摘要】
1.一种室内语义地图的自动化构建方法，其特征在于，应用于摄像装置、位置确定装置以及计算装置构成的系统中，所述摄像装置用于获取场景中多幅图像的特征点信息，所述位置确定装置用于确定图像的初始全局位置信息，所述方法包括所述计算装置执行的：基于所述场景中多幅图像的特征点信息和所述初始全局位置信息，确定对应的目标场景图；基于所述目标场景图，计算每幅所述图像的优化全局位姿信息和语义方向；根据所述优化全局位姿信息和所述语义方向估计所述图像中的实体在所述室内语义地图中的位置信息；根据所述位置信息将所述实体在所述室内语义地图中进行标记。2.根据权利要求1所述的方法，其特征在于，所述基于所述场景中多幅图像的特征点信息和所述初始全局位置信息，确定对应的目标场景图，包括：确定所述多幅图像中的实体的特征点信息；基于所述特征点信息进行特征点匹配；将相同特征点信息的数量超过设定数量阈值的特征点对应的图像进行聚类，并分别生成对应的场景图，作为目标场景图。3.根据权利要求2所述的方法，其特征在于，所述生成对应的场景图，包括：基于图像的所述初始全局位置信息验证所生成的场景图，得到目标场景图。4.根据权利要求2所述的方法，其特征在于，所述确定对应的目标场景图之后，所述方法还包括：确定图像中的实体的语义信息；基于所述语义信息将各目标场景图分别划分为至少一个子场景图。5.根据权利要求4所述的方法，其特征在于，所述基于所述目标场景图，计算每幅所述图像的优化全局位姿信息，包括：计算...

【专利技术属性】
技术研发人员：郭得科，滕晓强，黄四牛，郭成昊，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南,43