多透明物体环境下的室内稠密点云快速SLAM方法及系统技术方案

本发明专利技术公开了一种多透明物体环境下的室内稠密点云快速SLAM方法及系统，其中，该方法包括：采集RGB图片进行处理得到帧；进行ORB特征点采集获得关键点坐标；对前后帧进行特征点匹配并求解最优位姿,当前帧Frame为关键帧时送入识别线程，使用YoloV4

【技术实现步骤摘要】
多透明物体环境下的室内稠密点云快速SLAM方法及系统


[0001]本专利技术涉及室内场景
，特别涉及一种多透明物体环境下的室内稠密点云快速SLAM方法及系统。

技术介绍

[0002]目前透明物体在稠密点云下的三维重建属于比较复杂的问题。因为透明物体与光线之间存在复杂的,如反射和折射等,与视角相关的光学效应,将导致传统的重建算法无法直接应用在透明物体上。
[0003]传统的一种透明物体三维重建方法：利用光线折射而导致已知的或者未知的标定图案扭曲中推测恢复出物体的几何信息。该种方法仅用于单一折射表面或者形状简单的参数化表面模型，无法推广到更广泛的物体类别。
[0004]另外一种传统的透明物体三维重建方法：反向渲染技术，即通过正向渲染合理假设的初始粗糙模型,将生成的图片和采集的图片相互比对,并将成像残差与表面变形联系起来,然后逐步优化粗糙模型。通常需要改变目标物体的内部属性,以使得成像系统能够获取透明物体表面固有的几何信息，并且重建精度不够高。
[0005]另外还有一种传统的透明物体三维重建方法：断层摄影技术，将物体浸泡在相同折射率的溶液中,并使用化学颜料将溶液染色和物体区分开。如果透明物体是均匀介质，理论上光线经过整套装置后在内部不会发生折射.通过断层摄影技术从360
°
采集图片即可重建目标物体。该方法的缺点是需要准确匹配物体和溶液的相对折射率，无法推广至常规应用场景。
[0006]以上传统的方法，无法做到实时的三维重建，需要在特定的环境下。且以上的方法仅做到了重建，并没有做到定位。而目前支持SLAM稠密重建的方法，在透明物体的场景下，也会出现异常，原因是RGBD相机红外光遇到玻璃、黑色物质等会发生吸收，反射等，使得红外接收端无法获取深度信息。

技术实现思路

[0007]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0008]为此，本专利技术的第一个目的在于提出一种多透明物体环境下的室内稠密点云快速SLAM方法。
[0009]为此，本专利技术的第二个目的在于提出一种多透明物体环境下的室内稠密点云快速SLAM系统。
[0010]为此，本专利技术的第三个目的在于提出一种计算机设备。
[0011]为此，本专利技术的第四个目的在于提出一种非临时性计算机可读存储介质。
[0012]为达到上述目的，本专利技术第一方面实施例提出了多透明物体环境下的室内稠密点云快速SLAM方法，包括以下步骤：步骤S1，采集RGB图片与深度信息图片，并将所述RGB图像与所述深度信息图片进行处理，得到帧Frame；步骤S2,对所述帧Frame中的RGB图片进行ORB
特征点采集，获得关键点坐标，以用于描述子生成；步骤S3，对前后帧进行特征点匹配，通过比较两幅RGB图像各个描述子点对的距离，选取最小距离使得每对特征点匹配完成；步骤S4，匹配完成后，通过PnP算法和跟踪策略求解最优位姿，再进行优化跟踪；步骤S5,判断当前帧Frame是否为关键帧keyFrame，若是送入透明物体识别线程；步骤S6,当所述透明物体识别线程接收到所述关键帧keyFrame，使用YoloV4
‑
tiny轻量化深度学习框架判断是否有透明物体，若存在透明物体，则将所述关键帧keyFrame送入DZ
‑
SD
‑
DIV模块中进行处理，提取透明物体的主体轮廓，利用K
‑
Mean算法进行聚类，膨胀后进行腐蚀，得到所述主体轮廓的体素深度信息；步骤S7,同时将所述关键帧keyFrame输入精细轮廓提取模块中，精细提取透明物体轮廓，并将所述透明物体轮廓输入GNN
‑
SVO神经网络中，输出预测深度信息；步骤S8,将所述体素深度信息和所述预测深度信息进行深度信息融合，再将融合后的关键帧传入建图线程，同时将所述关键字传入回环检测线程。
[0013]本专利技术实施例的多透明物体环境下的室内稠密点云快速SLAM方法，主要应用于室内场景中，基于ORB
‑
SLAM，预训练YoloV4
‑
tiny轻量化神经网络判断透明物体，将DZ
‑
SD
‑
DIV模块提取的透明物体体素边缘与GNN
‑
SVO神经网络进行深度信息融合，随后进行建图与回环检测，在有多透明物体或者多黑色物体的环境下，可以快速实时进行同步定位与稠密建图。
[0014]另外，根据本专利技术上述实施例的多透明物体环境下的室内稠密点云快速SLAM方法还可以具有以下附加的技术特征：
[0015]进一步地，在本专利技术的一个实施例中，所述步骤S2具体包括：步骤S201,根据所述帧Frame中的RGB图片生成图像金字塔；步骤S202,利用FAST特征点提取策略提取所述图像金字塔的关键点；步骤S203,计算所述关键点的质心角度，并对所述质心角度进行变换得到关键点坐标。
[0016]进一步地，在本专利技术的一个实施例中，所述跟踪策略包括：恒速模型跟踪、参考帧跟踪和重定位跟踪，其中，所述恒速模型跟踪的优先级最高，所述参考帧跟踪优先级第二，当前两种跟踪策略失败时，使用所述重定位跟踪。
[0017]进一步地，在本专利技术的一个实施例中，所述恒速模型跟踪的具体处理过程为：当每个帧完成当前帧的位姿跟踪后，计算当前一帧的速度；当下一时刻的帧传入时，则使用上一时刻的帧的速度初始化当前一帧的位姿；进行非线性优化，最小重投影误差求解所述最优位姿，再剔除优化后的匹配点中的外点。
[0018]进一步地，在本专利技术的一个实施例中，所述参考帧跟踪的具体处理过程为：将当前帧的描述子转化为BoW向量，通过词袋BoW加速当前帧与参考帧之间的特征点匹配；将上一帧的位姿作为当前帧位姿的初始值，进行非线性优化，最小重投影误差求解所述最优位姿，再剔除优化后的匹配点中的外点。
[0019]进一步地，在本专利技术的一个实施例中，所述重定位跟踪的具体过程为：计算当前帧特征点的词袋向量，通过词袋搜索keyFrame找到与当前帧相似的候选关键帧；将当前帧与候选关键帧进行BoW匹配；通过EPnP算法估计初始位姿，进行非线性优化，最小重投影误差求解所述最优位姿。
[0020]进一步地，在本专利技术的一个实施例中，所述DZ
‑
SD
‑
DIV模块采用耦合关键帧中RGBD升序信息图的三种变量，以提取透明物体的主体轮廓，其中，所述三种变量包括：高概率零
深度状态的体素、使用符号距离函数判断高概率深度异常状态的体素和使用深度信息差判断高概率深度异常状态的体素。
[0021]为达到上述目的，本专利技术第二方面实施例提出了多透明物体环境下的室内稠密点云快速SLAM系统，包括：图片采集模块，用于采集RGB图片与深度信息图片，并将所述RGB图像与所述深度信息图片进行处理，得到帧Frame；特征点采集模块,用于对所述帧Frame中的RGB图片进行ORB特征点采集，获得关键点坐标，以用于描述子生成；匹配模块，用于对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多透明物体环境下的室内稠密点云快速SLAM方法，其特征在于，包括以下步骤：步骤S1，采集RGB图片与深度信息图片，并将所述RGB图像与所述深度信息图片进行处理，得到帧Frame；步骤S2,对所述帧Frame中的RGB图片进行ORB特征点采集，获得关键点坐标，以用于描述子生成；步骤S3，对前后帧进行特征点匹配，通过比较两幅RGB图像各个描述子点对的距离，选取最小距离使得每对特征点匹配完成；步骤S4，匹配完成后，通过PnP算法和跟踪策略求解最优位姿，再进行优化跟踪；步骤S5,判断当前帧Frame是否为关键帧keyFrame，若是送入透明物体识别线程；步骤S6,当所述透明物体识别线程接收到所述关键帧keyFrame，使用YoloV4
‑
tiny轻量化深度学习框架判断是否有透明物体，若存在透明物体，则将所述关键帧keyFrame送入DZ
‑
SD
‑
DIV模块中进行处理，提取透明物体的主体轮廓，利用K
‑
Mean算法进行聚类，膨胀后进行腐蚀，得到所述主体轮廓的体素深度信息；步骤S7,同时将所述关键帧keyFrame输入精细轮廓提取模块中，精细提取透明物体轮廓，并将所述透明物体轮廓输入GNN
‑
SVO神经网络中，输出预测深度信息；步骤S8,将所述体素深度信息和所述预测深度信息进行深度信息融合，再将融合后的关键帧传入建图线程，同时将所述关键字传入回环检测线程。2.根据权利要求1所述的多透明物体环境下的室内稠密点云快速SLAM方法，其特征在于，所述步骤S2具体包括：步骤S201,根据所述帧Frame中的RGB图片生成图像金字塔；步骤S202,利用FAST特征点提取策略提取所述图像金字塔的关键点；步骤S203,计算所述关键点的质心角度，并对所述质心角度进行变换得到关键点坐标。3.根据权利要求1所述的多透明物体环境下的室内稠密点云快速SLAM方法，其特征在于，所述跟踪策略包括：恒速模型跟踪、参考帧跟踪和重定位跟踪，其中，所述恒速模型跟踪的优先级最高，所述参考帧跟踪优先级第二，当前两种跟踪策略失败时，使用所述重定位跟踪。4.根据权利要求3所述的多透明物体环境下的室内稠密点云快速SLAM方法，其特征在于，所述恒速模型跟踪的具体处理过程为：当每个帧完成当前帧的位姿跟踪后，计算当前一帧的速度；当下一时刻的帧传入时，则使用上一时刻的帧的速度初始化当前一帧的位姿；进行非线性优化，最小重投影误差求解所述最优位姿，再剔除优化后的匹配点中的外点。5.根据权利要求3所述的多透明物体环境下的室内稠密点云快速SLAM方法，其特征在于，所述参考帧跟踪的具体处理过程为：将当前帧的描述子转化为BoW向量，通过词袋BoW加速当前帧与参考帧之间的特征点匹配；将上一帧的位姿作为当前帧位姿的初始值，进行非线性优化，最小重投影误差求...

【专利技术属性】
技术研发人员：冉陈键，夏品泉，
申请(专利权)人：黑龙江大学，
类型：发明
国别省市：