一种基于BIM结构信息的VSLAM定位方法技术

本发明专利技术公开了一种基于BIM结构信息的VSLAM定位方法，属于室内定位领域，包括移动智能体、BIM数据库、边缘计算设备、用户接口，移动智能体采集视觉传感器获取的RGB/RGBD图像，控制移动机器人位姿；BIM数据库存储从BIM模型中提取的建筑物三维结构和语义信息；边缘计算设备和移动智能体相连接，包括CAD重建网络和VSLAM算法两个主要线程，通过CAD重建网络求解9

【技术实现步骤摘要】
一种基于BIM结构信息的VSLAM定位方法


[0001]本专利技术涉及室内定位
，尤其涉及一种基于BIM结构信息的VSLAM定位方法。

技术介绍

[0002]已有的定位系统主要有卫星定位、Z igBee、UWB、RFID、WIFi等，卫星定位系统需要接收卫星信号，在接收不到卫星信号的地方就不能提供GPS定位服务；Z igBee、UWB、RFID、WIFI等定位系统，都是通过定位芯片与基站间进行定位，要实现全程精准定位，需要部署大量基站，建设成本高。
[0003]建筑信息建模(BIM)主要指对建筑、基础设施的智能三维建模，它涵盖建筑项目的整个生命周期，包括规划、设计、建造、运维等等，并在各过程中进行协调和模拟。BIM模型并不仅仅作为一种三维模型，它包含一组格式和工具库，涉及建筑、结构、电气和其他有关建筑全生命周期的信息。
[0004]已有的VSLAM定位方法需要首先建立全局地图才可进行定位，无法结合建筑物先验信息，且利用词袋模型进行检索匹配，依赖点特征，室内光线环境变化时定位精度低。

技术实现思路

[0005]本专利技术的目的是为了解决上述问题，提供一种基于BIM结构信息的VSLAM定位方法，包括如下步骤：
[0006]S1：基于BI M模型的几何信息和语义信息构建BIM数据库；
[0007]S2：生成CAD模型库，并训练CAD重建网络；
[0008]S3：生成轻量化结构地图
[0009]S4：运行CAD重建推断线程和VSLAM线程，并判断VSLAM是否初始化，若VSLAM已初始化，则进入S4；若VSLAM未初始化，则基于轻量化结构地图初始化VSLAM系统，计算CAD模型关键点，计算结构面多视图关键点，进行数据关联，并回到S3；
[0010]S5：运行VSLAM重定位模块，并判断重定位是否成功，若成功，则进入S6；若未成功，则进入S7；
[0011]S6：依据IMU状态判断移动智能体位置是否发生改变，若改变，则进入S8，若未改变，则进入S9；
[0012]S7：依次运行VSLAM前端、数据关联、VSLAM后端和更新优化轻量化结构地图的动态构成，后进入S9；
[0013]S8：运行VSLAM前端，持续跟踪相机位姿，并判断跟踪是否成功，若成功，则进入S9；若未成功，则返回S7；
[0014]S9：输入当前相机位姿至用户接口，显示当前移动智能体位置；
[0015]S10：判断用户接口是否发送终止定位的命令，若已发送终止定位的命令，则定位结束；若未发送终止定位的命令，则返回S4。
[0016]进一步地，S1中，BIM模型包括建筑设施的几何信息和语义信息，还包含CAD模型、类型、尺寸、材料、位置和布设时间。
[0017]进一步地，S1中，BIM模型基于BIM模型中提取的几何信息和语义信息构建轻量化结构地图和物体CAD模型库；
[0018]轻量化结构地图包括动态构成和静态构成，动态构成为物体信息，包括物体类别在物体CAD模型库中的ID和物体的9
‑
DOF变化矩阵；静态构成为建筑物结构面，包括平面法线和世界坐标系原点到平面距离；
[0019]物体CAD模型库包含从BIM模型中导入的三维物体模型，单个物体的文件结构包含images和models，其中，images存储物体纹理信息，以jpg格式保存；models存储元数据和三维模型，其中，json格式文件存储物体的元数据，包括三维边界框、质心和模型统计数据；mtl格式文件存储模型纹理文件的相对路径；obj格式文件存储物体的3D网络模型，包括顶点和面；binvox格式文件存储物体的体素模型。
[0020]进一步地，S2中，对于输入视频序列的每一帧输入图像，使用端到端的CAD重建网络对图像中包含的每个物体的9
‑
DOF位姿进行粗估计，端到端的CAD重建网络由Mask
‑
RCNN网络，多尺度特征融合网络，可微CAD配准网络、几何感知CAD检索模块串联搭建，最后通过时序整合模块将连续视频帧得到的多个物体的位姿整合到一个世界坐标系下。
[0021]进一步地，Mask
‑
RCNN网络和多尺度特征融合网络负责进行2D目标检测和深度估计，共同使用ResNet
‑
50
‑
FPN作为2D backbone提取图像特征图F，其中，Mask
‑
RCNN网络负责进行实例分割，得到一组物体边界框b
i
和实例蒙版m
i
。多尺度特征融合网络进行深度估计，通过特征图F得到深度图D；
[0022]可微CAD配准网络根据检测到的每个物体实例，估计其平移变化，尺度变化和旋转变化，具体为对于每一个物体i，使用如下公式计算特征描述子x
i
：
[0023][0024]其中，MLP使用ReLU激活层和40％丢弃正则化；表示单个元素乘积运算符；Crop(D,b
i
)表示深度图D通过边界框b
i
剪裁；然后，将上述的特征描述子x
i
、深度图D和特征图F共同输入到一个256个隐藏层的多层感知机中，预测物体的归一化坐标空间图，即得到物体的平移变化，尺度变化和旋转变化。
[0025]进一步地，当输入视频序列包括深度图，则端到端网络无需串联Mask
‑
RCNN网络和多尺度特征融合网络。
[0026]进一步地，S4中，VSLAM系统输入RGB/RGBD视频序列、IMU信息和物体9
‑
DoF变换矩阵，且包含前端、后端、数据关联和地图管理线程四个主要构成，地图由BIM数据库和vslam系统共同维护；
[0027]前端模块基于VIO滑动窗口方法实时估计六自由度相机位姿，包括IMU预积分、特征点检测跟踪、结构面检测跟踪和滑动窗口VIO；IMU预积分对连续两个关键帧之间的IMU数据进行处理，得到IMU增量测量值；特征点检测使用基于FAST关键点检测器和BRIEF描述符的ORB特征，匹配跟踪通过计算各关键点之间最小的汉明距离确定；结构面检测跟踪部分首先使用Delaunay三角测量建立3D网格，然后使用RANSAC方法检测平面；滑动窗口VIO利用当前帧的共视图对相机位姿进行估计，具体为：首先使用匀速运动模型对当前相机位姿进行
粗估计，若当前运动不满足匀速运动模型，则利用参考关键帧对当前相机位姿进行估计，然后，使用光束平差法最小化重投影误差对相机位姿进行调整；
[0028]后端模块动态优化平面和物体相对于世界坐标系的位置，具体公式如下：
[0029][0030]其中，C、G、O分别为相机位姿、平面参数和物体位姿，P表示关键点三维坐标，Σ为不同误差测量的协方差矩阵，e(c
i
,g
j
)，e(c
i
,o
k
)，e(c
i
,p...

【技术保护点】

【技术特征摘要】
1.一种基于BIM结构信息的VSLAM定位方法，其特征在于，包括如下步骤：S1：基于BIM模型的几何信息和语义信息构建BIM数据库；S2：生成CAD模型库，并训练CAD重建网络；S3：生成轻量化结构地图S4：运行CAD重建推断线程和VSLAM线程，并判断VSLAM是否初始化，若VSLAM已初始化，则进入S4；若VSLAM未初始化，则基于所述轻量化结构地图初始化VSLAM系统，计算CAD模型关键点，计算结构面多视图关键点，进行数据关联，并回到S3；S5：运行VSLAM重定位模块，并判断重定位是否成功，若成功，则进入S6；若未成功，则进入S7；S6：依据IMU状态判断移动智能体位置是否发生改变，若改变，则进入S8，若未改变，则进入S9；S7：依次运行VSLAM前端、数据关联、VSLAM后端和更新优化轻量化结构地图的动态构成，后进入S9；S8：运行VSLAM前端，持续跟踪相机位姿，并判断跟踪是否成功，若成功，则进入S9；若未成功，则返回S7；S9：输入当前相机位姿至用户接口，显示当前移动智能体位置；S10：判断用户接口是否发送终止定位的命令，若已发送终止定位的命令，则定位结束；若未发送终止定位的命令，则返回S4。2.根据权利要求1所述的基于BIM结构信息的VSLAM定位方法，其特征在于，所述S1中，所述BIM模型包括建筑设施的几何信息和语义信息，还包含CAD模型、类型、尺寸、材料、位置和布设时间。3.根据权利要求1所述的基于BIM结构信息的VSLAM定位方法，其特征在于，所述S1中，所述BIM模型基于BIM模型中提取的所述几何信息和语义信息构建轻量化结构地图和物体CAD模型库；所述轻量化结构地图包括动态构成和静态构成，所述动态构成为物体信息，包括物体类别在物体CAD模型库中的ID和物体的9
‑
DOF变化矩阵；静态构成为建筑物结构面，包括平面法线和世界坐标系原点到平面距离；所述物体CAD模型库包含从BIM模型中导入的三维物体模型，单个物体的文件结构包含images和models，其中，images存储物体纹理信息，以jpg格式保存；models存储元数据和三维模型，其中，json格式文件存储物体的元数据，包括三维边界框、质心和模型统计数据；mtl格式文件存储模型纹理文件的相对路径；obj格式文件存储物体的3D网络模型，包括顶点和面；binvox格式文件存储物体的体素模型。4.根据权利要求1所述的基于BIM结构信息的VSLAM定位方法，其特征在于，所述S2中，对于输入视频序列的每一帧输入图像，使用端到端的CAD重建网络对图像中包含的每个物体的9
‑
DOF位姿进行粗估计，所述端到端的CAD重建网络由Mask
‑
RCNN网络，多尺度特征融合网络，可微CAD配准网络、几何感知CAD检索模块串联搭建，最后通过时序整合模块将连续视频帧得到的多个物体的位姿整合到一个世界坐标系下。5.根据权利要求4所述的基于BIM结构信息的VSLAM定位方法，其特征在于，所述Mask
‑
RCNN网络和多尺度特征融合网络负责进行2D目标检测和深度估计，共同使用ResNet
‑
50
‑
FPN作为2D backbone提取图像特征图F，其中，Mask
‑
RCNN网络负责进行实例分割，得到一组物体边界框b
i
和实例蒙版m
i
。多尺度特征融合网络进行深度估计，通过特征图F得到深度图D；所述可微CAD配准网络根据检测到的每个物体实例，估计其平移变化，尺度变化和旋转变化，具体为对于每一个物体i，使用如下公式计算特征描述子x
i
：其中，MLP使用ReLU激活层和40％丢弃正则化；表示单个元素乘积运算符；Crop(D,b
i
)表示深度图D通过边界框b
i
剪裁；然后，将上述的特征描述子x
i
、深度图D和特征图F共同输入到一个256个隐藏层的多层感知机中，预...

【专利技术属性】
技术研发人员：何斌，王怡翔，陆萍，周艳敏，王志鹏，朱忠攀，
申请(专利权)人：同济大学，
类型：发明
国别省市：