一种室内物体的位置获取方法和装置制造方法及图纸

本发明专利技术涉及一种室内物体的位置获取方法和装置，属于室内空间定位技术领域，解决了现有室内物体的定位位置误差大进而无法有效反应建筑信息的记录和变更的问题。对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数；通过多传感器获取室内空间的激光点集和图像点集以对多线激光雷达进行定位；通过多传感器获取位于室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测待识别物体在相机坐标系下的位置，用于提取视觉语义特征的图像特征提取器和有效融合激光雷达特征和视觉语义特征的融合模块；以及通过坐标变换获取待识别物体在世界坐标系下的绝对位置。能够降低室内物体的定位位置误差。误差。误差。

【技术实现步骤摘要】
一种室内物体的位置获取方法和装置


[0001]本专利技术涉及室内空间定位
，尤其涉及一种室内物体的位置获取方法和装置。

技术介绍

[0002]激光雷达是利用激光测距原理确定待扫描的空间的新型测量仪器。通过逐点测定激光器发射信号与待测目标反射信号的相位差(时间差)来获取激光器到达目标的直线距离。同时，根据发射激光信号的方向和激光器的空间位置来获得目标点的空间位置。通过激光器对待扫物体表面的密集扫描，可获得物体的三维表面模型。
[0003]而BIM技术也是当下最为热门的科技话题之一，其能附加信息的三维图像让建筑全生命周期可视化成为了现实。由此不妨可以衍生出一个想法，是否可以研制一种系统既有激光点云的准确性和可测距性又具备BIM模型的信息性和灵活性呢？目前市面上的室内空间定位技术无论是利用GPS亦或是蓝牙，误差都超出了理想范围，进而导致无法有效反应建筑信息的记录和变更。

技术实现思路

[0004]鉴于上述的分析，本专利技术实施例旨在提供一种室内物体的位置获取方法和装置，用以解决现有室内物体的定位位置误差大进而无法有效反应建筑信息的记录和变更的问题。
[0005]一方面，本专利技术实施例提供了一种室内物体的位置获取方法，包括：对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数，其中，所述多传感器包括多线激光雷达、固定激光雷达和相机；通过所述多传感器获取室内空间的激光点集和图像点集以对所述多线激光雷达进行定位；通过所述多传感器获取位于所述室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测所述待识别物体在相机坐标系下的位置，其中，所述目标识别模型包括用于提取激光雷达特征的点云特征提取器、用于提取视觉语义特征的图像特征提取器和有效融合所述激光雷达特征和所述视觉语义特征的融合模块；以及通过坐标变换获取所述待识别物体在世界坐标系下的绝对位置。
[0006]上述技术方案的有益效果如下：本申请通过对多传感器进行高精度空间标定，对所述多线激光雷达进行定位以及利用目标识别模型检测所述待识别物体在相机坐标系下的位置，能够大幅度降低了室内物体定位位置的误差。另外，通过坐标变换获取待识别物体在世界坐标系下的绝对位置，以便于将待识别目标添加至建筑信息模型BIM，以能够有效反映对于建筑信息的记录和变更。
[0007]基于上述方法的进一步改进，所述激光雷达特征包括点云的几何结构和深度信息；所述视觉语义特征包括图像的色彩和纹理信息；以及所述融合模块用于将所述点云的几何结构和深度信息与所述图像的色彩和纹理信息进行融合以生成所述待识别物体的3D模型。
[0008]基于上述方法的进一步改进，所述点云特征提取器包括多尺度点云特征提取器，用于提取多尺度点云的几何结构和深度信息；所述图像特征提取器包括多尺度图像特征提取器，用于提取多尺度图像的色彩和纹理信息；以及所述融合模块包括多尺度融合模块，用于将不同尺度的点云的几何结构和深度信息和对应尺度的图像的色彩和纹理信息进行逐层融合。
[0009]基于上述方法的进一步改进，通过所述多传感器获取位于所述室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测所述待识别物体在相机坐标系下的位置进一步包括：建立深度学习神经网络，利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练以获得所述目标识别模型；利用所述相机拍摄所述待识别目标的可见光图像并利用所述多线激光雷达和所述固定激光雷达扫描所述待识别目标的激光点云图，并将所述待识别目标的可见光图像和所述待识别目标的激光点云图输入所述目标识别模型以获得所述待识别目标的种类和在所述相机坐标系下的位置。
[0010]基于上述方法的进一步改进，构建以下损失函数，并基于所述损失函数利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练：
[0011][0012]其中，D和G分别代表预测的边界框和真实的边界框，c代表D的分类的置信度；总的残差函数L
total
定义如下：
[0013]L
total
＝L
rpn
+L
rcnn
，
[0014]其中，L
rpn
和L
rcnn
分别代表RPN和RCNN两个子网络的残差函数，所述RPN网络用于生成候选框，以及所述RCNN优化网络用于优化目标检测框。
[0015]基于上述方法的进一步改进，通过所述多传感器获取室内空间的激光点集和图像点集以对所述多线激光雷达进行定位进一步包括：基于特征匹配进行高精度定位，其中，基于特征匹配进行高精度定位进一步包括：根据激光点坐标(x，y，z)，计算所述激光点的激光束相比于激光雷达水平面的倾角ω：
[0016][0017]第k+1帧与第k帧的相对位姿为：
[0018][0019]所述第k+1帧中的点转到所述第k帧坐标系：
[0020][0021]其中，p
i
为线特征，为预测线特征；
[0022]构建线特征和面特征的残差函数以求解在世界坐标系下的位姿向量Twl：
[0023][0024][0025]其中，|p
a
‑
p
b
|为线特征的长度，当p
i
为线特征时，在上一帧中搜索离其最近的线特征点p
a
，并在相邻线上再找一个线特征点p
b
，组成直线；当其为面特征时，在上一帧中搜索离其最近的面特征点p
m
，并在相邻线上找两个面特征点p
j
和p
l
，组成平面。
[0026]上述技术方案的有益效果如下：利用由便携式激光扫描仪获取的激光点集和图像点集对多线激光雷达进行定位以获得多线激光雷达在世界坐标系下的位姿，能够避免由于系统精度不够而导致将如墙内物体定位添加到墙外隔壁房间内去。
[0027]基于上述方法的进一步改进，对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数进一步包括：对所述多线激光雷达和所述相机进行联合标定以获得所述多线激光雷达相对于所述相机的旋转和平移；以及对所述多线激光雷达和所述固体激光雷达进行联合标定以计算所述多线激光雷达和所述固定激光雷达之间外参数，其中，对所述多线激光雷达和所述相机进行联合标定进一步包括：
[0028][0029]其中，Zc为尺度参数；(X
w
,Y
w
,Z
w
)为所述世界坐标系；(u,v)为像素坐标；相机坐标系以相机的光轴作为z轴，光线在相机的光学系统中心位置就是原点Oc，相机坐标系Xc，Yc分别与图像坐标系X，Y轴平行，相机坐标原点与图像坐标系的原点之间的距离f，即焦距，为相机内参数矩阵，利用张正友标定法求解所述相机内参数矩阵；为相机外参数矩阵；以及对所述多线激光雷达和所述相机进行外参数联合粗标定；以及对所述多线激光雷达和所述相机进行外参数联合精标定。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内物体的位置获取方法，其特征在于，包括：对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数，其中，所述多传感器包括多线激光雷达、固定激光雷达和相机；通过所述多传感器获取室内空间的激光点集和图像点集以对所述多线激光雷达进行定位；通过所述多传感器获取位于所述室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测所述待识别物体在相机坐标系下的位置，其中，所述目标识别模型包括用于提取激光雷达特征的点云特征提取器、用于提取视觉语义特征的图像特征提取器和有效融合所述激光雷达特征和所述视觉语义特征的融合模块；以及通过坐标变换获取所述待识别物体在世界坐标系下的绝对位置。2.根据权利要求1所述的室内物体的位置获取方法，其特征在于，所述激光雷达特征包括点云的几何结构和深度信息；所述视觉语义特征包括图像的色彩和纹理信息；以及所述融合模块用于将所述点云的几何结构和深度信息与所述图像的色彩和纹理信息进行融合以生成所述待识别物体的3D模型。3.根据权利要求2所述的室内物体的位置获取方法，其特征在于，所述点云特征提取器包括多尺度点云特征提取器，用于提取多尺度点云的几何结构和深度信息；所述图像特征提取器包括多尺度图像特征提取器，用于提取多尺度图像的色彩和纹理信息；以及所述融合模块包括多尺度融合模块，用于将不同尺度的点云的几何结构和深度信息和对应尺度的图像的色彩和纹理信息进行逐层融合。4.根据权利要求2所述的室内物体的位置获取方法，其特征在于，通过所述多传感器获取位于所述室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测所述待识别物体在相机坐标系下的位置进一步包括：建立深度学习神经网络，利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练以获得所述目标识别模型；利用所述相机拍摄所述待识别目标的可见光图像并利用所述多线激光雷达和所述固定激光雷达扫描所述待识别目标的激光点云图，并将所述待识别目标的可见光图像和所述待识别目标的激光点云图输入所述目标识别模型以获得所述待识别目标的种类和在所述相机坐标系下的位置。5.根据权利要求4所述的室内物体的位置获取方法，其特征在于，构建以下损失函数，并基于所述损失函数利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练：其中，D和G分别代表预测的边界框和真实的边界框，c代表D的分类的置信度；总的残差函数L
total
定义如下：
L
total
＝L
rpn
+L
rcnn
，其中，L
rpn
和L
rcnn
分别代表RPN和RCNN两个子网络的残差函数，所述RPN网络用于生成候选框，以及所述RCNN优化网络用于优化目标检测框。6.根据权利要求1所述的室内物体的位置获取方法，其特征在于，通过所述多传感器获取室内空间的激光点集和图像点集以对所述多线激光雷达进行定位进一步包括：基于特征匹配进行高精度定位，其中，基于特征匹配进行高精度定位进一步包括：根据激光点坐标(x，y，z)，计算所述激光点的激光束相比于激光雷达水平面的倾角ω：第k+1帧与第k帧的相对位姿为：所述第k+1帧中的点转到所述第k帧坐标系：其中，p
i
为线特征，为预测线特征；构建线特征和面特征的残差函数...

【专利技术属性】
技术研发人员：王旭，何为，白世杰，陈永丰，
申请(专利权)人：建科公共设施运营管理有限公司，
类型：发明
国别省市：