一种多模态位姿优化的语义三维重建方法及系统技术方案

本发明专利技术属于语义三维重建技术领域，具体涉及一种多模态位姿优化的语义三维重建方法及系统，该方法包括：采集目标区域的RGB图像和深度图像；对RGB图像进行语义分割，获取RGB图像的最终掩码图；利用RGB图像、深度图像和最终掩码图，获取RGB图像的全局位姿；根据深度图像和RGB图像的全局位姿获取全局语义三维点云。本申请提供的技术方案，不仅对算力要求较低，适用性广，而且提高了语义三维重建的实时性和效率。率。率。

【技术实现步骤摘要】
一种多模态位姿优化的语义三维重建方法及系统


[0001]本专利技术属于语义三维重建
，具体涉及一种多模态位姿优化的语义三维重建方法及系统。

技术介绍

[0002]语义三维重建是对三维重建模型进行语义标注，将具有不同类别属性的结构从整体模型中分割，方便下游任务使用。决定语义三维重建质量的重要因素之一是相机位姿的计算，关系到重建模型的优劣和语义信息的分布。目前算法中的定位采用纯几何特征，需要设计复杂的筛选机制确定匹配点。语义三维重建可以划分为语义分割、三维重建、语义映射三个部分，其中三维重建包括位姿计算和建图。
[0003]现有算法中各部分相对独立，通过松耦合的方式进行数据通信，如语义三维重建多采用基于GPU的稠密ICP算法计算相机位姿，同时语义分割也需要占用GPU资源，不得不在运行效率上做出妥协，整个框架过于繁重，全局优化的规模较大。因此，目前的语义三维重建算法采用的语义分割和重建方法实时性不好，对算力要求较高，对算法整体运行造成较大负担，需要高性能计算机才能顺畅运行。

技术实现思路

[0004]为至少在一定程度上克服相关技术中存在的问题，本申请提供一种多模态位姿优化的语义三维重建方法及系统。
[0005]根据本申请实施例的第一方面，提供一种多模态位姿优化的语义三维重建方法，所述方法包括：
[0006]采集目标区域的RGB图像和深度图像；
[0007]对RGB图像进行语义分割，获取所述RGB图像的最终掩码图；
[0008]利用所述RGB图像、所述深度图像和所述最终掩码图，获取RGB图像的全局位姿；
[0009]根据所述深度图像和所述RGB图像的全局位姿获取全局语义三维点云。
[0010]优选的，所述对RGB图像进行语义分割，获取所述RGB图像的最终掩码图，包括：
[0011]利用基于深度学习的STDC网络，对RGB图像进行语义分割，得到RGB图像中各像素点的语义类别概率；
[0012]令各像素点的语义类别概率中概率最大的类别对应的类别编码为各像素点的掩码，得到RGB图像的初始掩码图；
[0013]利用超像素分割方法gSLICr对所述RGB图像的初始掩码图进行边缘优化，得到RGB图像的最终掩码图。
[0014]优选的，所述利用所述RGB图像、所述深度图像和所述最终掩码图，获取RGB图像的全局位姿，包括：
[0015]提取所述RGB图像的ORB特征点；
[0016]获取所述ORB特征点在所述深度图像中的深度值，并利用所述ORB特征点在所述深
度图像中的深度值，对所述ORB特征点的二维坐标进行投影坐标转换，得到所述ORB特征点在三维空间中的坐标；
[0017]基于所述ORB特征点在三维空间中的坐标和所述最终掩码图，利用稀疏SLAM方法获取RGB图像的全局位姿。
[0018]优选的，所述基于所述ORB特征点在三维空间中的坐标和所述最终掩码图，利用稀疏SLAM方法获取RGB图像的全局位姿，包括：
[0019]提取相邻的两帧RGB图像中BRIEF描述子相同的ORB特征点；
[0020]利用所述最终掩码图，剔除相邻的两帧RGB图像中BRIEF描述子相同的ORB特征点中的外点，并令剔除外点后的相邻的两帧RGB图像中BRIEF描述子相同的ORB特征点为匹配点；
[0021]基于相邻的两帧RGB图像中前一帧RGB图像中的匹配点在三维空间中的坐标和相邻的两帧RGB图像中后一帧RGB图像的匹配点的二维坐标，利用PnP算法获取相邻的两帧RGB图像的第一帧间位姿；
[0022]基于所述第一帧间位姿，利用光束平差法获取RGB图像的全局位姿。
[0023]优选的，所述利用所述最终掩码图，剔除相邻的两帧RGB图像中BRIEF描述子相同的ORB特征点中的外点，包括：
[0024]根据所述最终掩码图，确定相邻的两帧RGB图像中每组BRIEF描述子相同的ORB特征点中的各ORB特征点对应的掩码；
[0025]当某一组BRIEF描述子相同的ORB特征点中两个ORB特征点对应的掩码不同时，则该组BRIEF描述子相同的ORB特征点为外点，将所述外点剔除。
[0026]优选的，所述基于所述第一帧间位姿，利用光束平差法获取RGB图像的全局位姿，包括：
[0027]根据预设组数，将所有的RGB图像进行分组；
[0028]利用光束平差法对所述第一帧间位姿进行优化，得到第二帧间位姿，并利用所述第二帧间位姿，获取相邻的两个第二帧间位姿间的相对位姿；
[0029]令每组RGB图像中第一组相邻的两帧图像对应的第二帧间位姿为关键位姿，并利用光束平差法对所有的关键位姿进行优化，得到优化后的关键位姿；
[0030]基于所述相对位姿，利用所述优化后的关键位姿更新所述第二帧间位姿，所有更新后的第二帧间位姿和所有优化后的关键位姿构成全局位姿。
[0031]优选的，所述根据所述深度图像和所述RGB图像的全局位姿获取全局语义三维点云，包括：
[0032]生成深度图像的点云；
[0033]基于voxblox框架，根据所述RGB图像的全局位姿和所述深度图像的点云，利用加权平均算法获取由TSDF表示的全局三维模型；
[0034]利用marching cube算法获取所述全局三维模型中的三维点云，所述全局三维模型中的所有三维点云构成全局语义三维点云。
[0035]优选的，所述方法还包括：
[0036]当利用加权平均算法获取由TSDF表示的全局三维模型时，利用贝叶斯方法更新全局三维模型中TSDF的语义类别概率。
[0037]根据本申请实施例的第二方面，提供一种多模态位姿优化的语义三维重建系统，所述系统包括：
[0038]采集模块，用于采集目标区域的RGB图像和深度图像；
[0039]语义分割模块，用于对RGB图像进行语义分割，得到所述RGB图像的最终掩码图；
[0040]位姿模块，用于利用所述RGB图像、所述深度图像和所述最终掩码图，获取RGB图像的全局位姿；
[0041]语义三维重建模块，用于根据所述深度图像和所述RGB图像的全局位姿获取全局语义三维点云。
[0042]根据本申请实施例的第三方面，提供一种计算机设备，包括：一个或多个处理器；
[0043]所述处理器，用于存储一个或多个程序；
[0044]当所述一个或多个程序被所述一个或多个处理器执行时，实现上述的多模态位姿优化的语义三维重建方法。
[0045]根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现上述的多模态位姿优化的语义三维重建方法。
[0046]本专利技术上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0047]本专利技术提供的一种多模态位姿优化的语义三维重建方法及系统，包括：采集目标区域的RGB图像和深度图像；对RGB图像进行语义分割，获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态位姿优化的语义三维重建方法，其特征在于，所述方法包括：采集目标区域的RGB图像和深度图像；对RGB图像进行语义分割，获取所述RGB图像的最终掩码图；利用所述RGB图像、所述深度图像和所述最终掩码图，获取RGB图像的全局位姿；根据所述深度图像和所述RGB图像的全局位姿获取全局语义三维点云。2.根据权利要求1所述的方法，其特征在于，所述对RGB图像进行语义分割，获取所述RGB图像的最终掩码图，包括：利用基于深度学习的STDC网络，对RGB图像进行语义分割，得到RGB图像中各像素点的语义类别概率；令各像素点的语义类别概率中概率最大的类别对应的类别编码为各像素点的掩码，得到RGB图像的初始掩码图；利用超像素分割方法gSLICr对所述RGB图像的初始掩码图进行边缘优化，得到RGB图像的最终掩码图。3.根据权利要求1所述的方法，其特征在于，所述利用所述RGB图像、所述深度图像和所述最终掩码图，获取RGB图像的全局位姿，包括：提取所述RGB图像的ORB特征点；获取所述ORB特征点在所述深度图像中的深度值，并利用所述ORB特征点在所述深度图像中的深度值，对所述ORB特征点的二维坐标进行投影坐标转换，得到所述ORB特征点在三维空间中的坐标；基于所述ORB特征点在三维空间中的坐标和所述最终掩码图，利用稀疏SLAM方法获取RGB图像的全局位姿。4.根据权利要求3所述的方法，其特征在于，所述基于所述ORB特征点在三维空间中的坐标和所述最终掩码图，利用稀疏SLAM方法获取RGB图像的全局位姿，包括：提取相邻的两帧RGB图像中BRIEF描述子相同的ORB特征点；利用所述最终掩码图，剔除相邻的两帧RGB图像中BRIEF描述子相同的ORB特征点中的外点，并令剔除外点后的相邻的两帧RGB图像中BRIEF描述子相同的ORB特征点为匹配点；基于相邻的两帧RGB图像中前一帧RGB图像中的匹配点在三维空间中的坐标和相邻的两帧RGB图像中后一帧RGB图像的匹配点的二维坐标，利用PnP算法获取相邻的两帧RGB图像的第一帧间位姿；基于所述第一帧间位姿，利用光束平差法获取RGB图像的全局位姿。5.根据权利要求4所述的方法，其特征在于，所述利用所述最终掩码图，剔除相邻的两帧RGB图像中BRIEF描述子相同的ORB特征点中的外点，包括：根据所述最终掩码图，确定相邻的两帧RGB图像中每组BRIEF描述子相同的ORB特征点中的各...

【专利技术属性】
技术研发人员：孙庆伟，晁建刚，陈炜，林万洪，许振瑛，胡福超，
申请(专利权)人：中国人民解放军战略支援部队航天工程大学，
类型：发明
国别省市：