本发明专利技术提出了一种基于深度学习的室内定位方法、系统、设备及存储介质，包括：通过深度相机对室内空间进行扫描，获取点云数据和IMU传感器数据；将点云数据输入至点云处理深度学习模型进行训练，获得预处理点云图；通过ICP算法对当前帧的预处理点云图与上一帧的预处理点云图进行数据配准，并且优化变换矩阵，生成点云地图；利用标准空心体积块填充点云地图，对标准体积块进行垂直投影生成2D灰度图，基于2D灰度图生成特征集合；对特征集合进行深度学习并生成onnx模型，通过onnx模型实现室内定位。本发明专利技术可以自动过滤白墙等无效数据，大量减少计算时间，快速生成地图，能够解决室内环境经常变化问题。
【技术实现步骤摘要】
本申请涉及计算机视觉，具体涉及一种基于深度学习的室内定位方法、系统、设备及存储介质。
技术介绍
1、室内空间，例如商场、办公室等场所的地面都铺设有瓷砖，四边均是玻璃，存在严重的反光现象。而且由于存在大面积的白墙、玻璃透明以及不断更换广告等各种情况，无法使用普通摄像头进行图像识别。即室内地图存在更新问题，很多室内布局变更比较频繁，比如商场店铺更换、内部结构更改。因此需要频繁更改获取的地图信息。
2、室内定位需要面对更复杂多样的环境，比如各类建筑物的室内结构和布局各不相同，位置布局更精细，空间也更小，若想在其内定位一个移动对象的所在楼层和所在房间位置，精度要求会更高。目前，能够适用于这种情况并满足如此高精度的定位技术还很少，技术没有室外定位技术那么成熟，更重要的是，定位精度要求越高，成本也越大。深度相机对比同等性能的激光雷达，价格更低，并含有完整的6轴imu(运动传感器)，0.5米-5米内测距精度更高。
3、深度相机实时生成深度图，深度图只考虑物理层面上物体所在三维空间位置，能自动过滤各种反光问题，并且对表面颜色、各种花纹及透明等问题完全会忽略掉。
4、鉴于此，本申请提出了一种基于深度学习与深度相机的室内定位方法、系统、设备及存储介质，能够对室内空间进行定位。
技术实现思路
1、为了解决现有室内定位精度要求高导致成本较大、需频繁更改获取的地图信息等问题，本申请提供一种基于深度学习的室内定位方法、系统、设备及存储介质，以解决上述技术缺陷问题。
<
p>2、根据本专利技术的一个方面提出了一种基于深度学习的室内定位方法，该方法包括以下步骤：3、s1、通过深度相机对室内空间进行扫描，获取点云数据和imu传感器数据；
4、s2、将点云数据输入至点云处理深度学习模型进行训练，获得预处理点云图；
5、s3、通过icp算法对当前帧的预处理点云图与上一帧的预处理点云图进行数据配准，并且优化变换矩阵，生成点云地图；
6、s4、利用标准空心体积块填充点云地图，对标准体积块进行垂直投影生成2d灰度图，基于2d灰度图生成特征集合；
7、s5、对特征集合进行深度学习并生成onnx模型，通过onnx模型实现室内定位。
8、通过上述技术方案，本申请能够辅助于导航，实现低成本、易扩展减少人工操作的室内导航地图生成。
9、在具体的实施例中，在步骤s5中，对特征集合进行深度学习并生成onnx模型，通过onnx模型实现室内定位，包括以下子步骤：
10、s51、对特征集合进行数据预处理，采用标准化或归一化操作；
11、s52、构建室内定位模型：使用tensorflow框架，采用卷积神经网络算法，并定义室内定位模型的层数、每层的神经元数以及激活函数；
12、s53、室内定位模型构建完成后，对室内定位模型进行编译，并定义损失函数、优化器和评估标准；
13、s54、使用预处理过的数据对室内定位模型进行训练，训练过程中，不断对室内定位模型的参数进行调整，直到室内定位模型的表现达到预期的水平生成最终的tf模型；
14、s55、使用tf2onnx和onnx runtime工具将tf模型转为onnx模型，通过onnx模型实现室内定位。
15、通过上述技术方案，本申请生成的onnx模型能够方便用于移植到不同的平台。
16、在具体的实施例中，在步骤s2中，将点云数据输入至点云处理深度学习模型进行训练，获得预处理点云图，包括以下子步骤：
17、s21、加载点云数据，并对点云数据进行预处理，其中预处理包括去噪、滤波以及降采样；
18、s22、使用open3d的机器学习库中的点云处理深度学习模型对预处理后的点云数据进行训练；
19、s23、获得训练好的点云处理深度学习模型以及获得预测结果，将预测结果中低于阈值的点作为无效点进行移除，最终获得光滑稳定的预处理点云图。
20、通过上述技术方案，有利于后续获得更精准的导航定位模型。
21、在具体的实施例中，在步骤s4中，利用标准空心体积块填充点云地图，对标准体积块进行垂直投影生成2d灰度图，基于2d灰度图生成特征集合，包括以下子步骤：
22、s41、利用标准空心体积块均匀填充点云地图，不包含有点云数据的地方不进行填充，其中，标准空心体积块的长宽高分别是x，y，z；
23、s42、对每个标准空心体积块分别做垂直投影生成2d灰度图，算法如下：
24、每个标准空心体积块中含有l*m*k个点，对k进行取余操作，生成一个长是l，宽是m，灰度值是k的2d灰度图；
25、s43、使用2d卷积对2d灰度图进一步提取图片特征，获取三个不同分辨率的特征图，对三个特征图进行上采样至相同大小特征值，生成特征集合。
26、在具体的实施例中，该方法还包括：
27、程序启动加载导航地图，通过深度相机开始扫描室内空间，生成深度图；
28、通过神经网络对深度图进行特征点比对，响应于确定比对成功后，通过相机姿态算法和三维空间坐标转换算法计算当前地图的朝向和地面与相机的相对位置；
29、确定深度相机在地图的空间位置后，加载相应三维数据信息和3d模型并开始导航；
30、根据每一帧图像中获取的物体位置和姿态信息，进行姿态修正。
31、通过上述技术方案，可以使物体始终保持在预期的位置和姿态防止出现偏差。
32、在具体的实施例中，在步骤s3中，通过icp算法对当前帧的预处理点云图与上一帧的预处理点云图进行数据配准，并且优化变换矩阵，将配准后的点云进行合并，生成初步的点云地图，将所有的室内空间全部扫描完后，汇聚所有初步的点云地图，生成最终的点云地图。
33、第二方面，本申请提供了一种基于深度学习的室内定位系统，该系统包括：
34、扫描模块，配置于通过深度相机对室内空间进行扫描，获取点云数据和imu传感器数据；
35、训练模块，配置于将点云数据输入至点云处理深度学习模型进行训练，获得预处理点云图；
36、配准模块，配置于通过icp算法对当前帧的预处理点云图与上一帧的预处理点云图进行数据配准，并且优化变换矩阵，生成点云地图；
37、特征集合生成模块，配置于利用标准空心体积块填充点云地图，对标准体积块进行垂直投影生成2d灰度图，基于2d灰度图生成特征集合；
38、模型生成模块，配置于对特征集合进行深度学习并生成onnx模型，通过onnx模型实现室内定位。
39、第三方面，本申请提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一项基于深度学习的室内定位方法的步骤。
40、第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介本文档来自技高网
...
【技术保护点】
1.一种基于深度学习的室内定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的室内定位方法，其特征在于，在步骤S5中，对所述特征集合进行深度学习并生成onnx模型，通过所述onnx模型实现室内定位，包括以下子步骤：
3.根据权利要求1所述的基于深度学习的室内定位方法，其特征在于，在步骤S2中，将所述点云数据输入至点云处理深度学习模型进行训练，获得预处理点云图，包括以下子步骤：
4.根据权利要求1所述的基于深度学习的室内定位方法，其特征在于，在步骤S4中，利用标准空心体积块填充所述点云地图，对所述标准体积块进行垂直投影生成2D灰度图，基于所述2D灰度图生成特征集合，包括以下子步骤：
5.根据权利要求1所述的基于深度学习的室内定位方法，其特征在于，还包括：
6.根据权利要求1所述的基于深度学习的室内定位方法，其特征在于，在步骤S3中，通过ICP算法对当前帧的所述预处理点云图与上一帧的所述预处理点云图进行数据配准，并且优化变换矩阵，将配准后的点云进行合并，生成初步的点云地图，将所有的室内空间全部扫描完后，汇聚所有初步的点云地图，生成最终的点云地图。
7.一种基于深度学习的室内定位系统，其特征在于，包括：
8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于深度学习的室内定位方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于深度学习的室内定位方法的步骤。
...
【技术特征摘要】
1.一种基于深度学习的室内定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的室内定位方法，其特征在于，在步骤s5中，对所述特征集合进行深度学习并生成onnx模型，通过所述onnx模型实现室内定位，包括以下子步骤：
3.根据权利要求1所述的基于深度学习的室内定位方法，其特征在于，在步骤s2中，将所述点云数据输入至点云处理深度学习模型进行训练，获得预处理点云图，包括以下子步骤：
4.根据权利要求1所述的基于深度学习的室内定位方法，其特征在于，在步骤s4中，利用标准空心体积块填充所述点云地图，对所述标准体积块进行垂直投影生成2d灰度图，基于所述2d灰度图生成特征集合，包括以下子步骤：
5.根据权利要求1所述的基于深度学习的室内定位方法，其特征在于，还包括：
6.根据...
【专利技术属性】
技术研发人员：陈洪，刘学，张惠阳，段克奇，周萍，卢清柏，张逸均，郭凌志，
申请(专利权)人：华邮数字文化技术研究院厦门有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。