【技术实现步骤摘要】
一种具有深度预测的单目3D重建方法
本专利技术涉及三维重建
，具体是一种具有深度预测的单目3D重建方法。
技术介绍
近年来，许多研究人员将注意力放到了具有细节信息的室内密集三维重建。同步定位与地图构建技术旨在解决未知环境中的导航和地图构建问题，已被证明是一种可行的三维重建方法。随着深度相机的发布，出现了许多优秀的SLAM方法如：KinectFusion，InfiniTAM，ElasticFusion，RGB-DSLAM等。这些方法可以广泛应用于自动驾驶、模型构建、增强现实等领域。但是深度相机的不足给这些方法带来了难以克服的局限性。首先，深度相机的探测范围有限，且对光照条件十分敏感，这导致上述方法在光照不均匀的条件下重建精度很差。其次，深度摄像头在消费级设备上远未普及，使其很难在真实场景上应用。为了克服上述不足，一些研究人员提出了单目同步定位与地图构建技术（SLAM）。这些方法在连续的相邻帧上执行特征匹配，使用立体匹配来恢复图像深度信息，并最终重建目标场景。然而，不确定的绝对尺度限制了这些方法的应用前景。即使位姿...
【技术保护点】
1.一种具有深度预测的单目3D重建方法，其特征在于包括以下步骤：/nA、使用单目深度估计网络获得RGB图像的深度图和粗略的位姿估计；/nB、结合ICP算法和PnP算法来计算相机位姿估计，在局部和全局两个级别上执行回环检测，以保证重建模型的一致性，并利用不确定性对深度图进行细化；/n在进行深度预测之后，对网络预测得到的深度图进行深度校正，使用以下公式调整深度图，/n
【技术特征摘要】 【专利技术属性】
1.一种具有深度预测的单目3D重建方法，其特征在于包括以下步骤：
A、使用单目深度估计网络获得RGB图像的深度图和粗略的位姿估计；
B、结合ICP算法和PnP算法来计算相机位姿估计，在局部和全局两个级别上执行回环检测，以保证重建模型的一致性，并利用不确定性对深度图进行细化；
在进行深度预测之后，对网络预测得到的深度图进行深度校正，使用以下公式调整深度图，
其中，是第k张RGB图像预测的深度图中点的深度值，是当前相机的焦距，是采集训练数据集相机的焦距；
将当前深度图上的任意一点投影到输入的剩余N-1帧深度图中，并得到列表，
，
其中是点在深度图上的对应点，是从当前帧到第i帧的变换矩阵，是点的深度值，
使用不同深度图中同一场景点的平方误差来描述深度图的不确定性，将点的不确定性初始化为相邻深度图之间像素深度的平方差：
，
初始化之后，根据以下加权方法对深度图进行细化，并对其不确定性进行更新，
用来增加图像不确定性的白噪声方差，提高结果精度；
C、将深度图转化为全局模型，然后将当前帧的随机蕨类编码插入数据库中。
2.根据权利要求1所述的具有深度预测的单目3D重建方法，其特征在于：步骤A中，在前向传播阶段，子网之间的迭代优化可以产生准确的深度预测；然后，我们根据相机参数校正深度图，并将结果传输到位姿估计模块。
3.根据权利要求2所述的具有深度预测的单目3D重建方法，其特征在于：步骤A中，
利用多视图几何原理将RGB图转化为深度图；首先，每个RGB图使用一个由两个沙漏模块组成的2D特征提取器来提取特征并通过后台项目构建成本量；然后将成本量用于立体匹配，并使用池化层在不同视图之间聚合信息；3D沙漏模块用于处理汇总成本量以获取中间深度；在深度维度中，Softmax运算符用于获取每个像素深度的概率分布，以便将最大深度函数映射为深度估计；
通过解决最小二乘问题来优化位姿估计；通过使用2D特征提取器提取RGB图片的特征并预测当前帧与关键帧之间的相对运动；沙漏网络传输连接的特征图并计算残差流；使用可微分的高斯牛顿法来优化残差项的组合以计算位姿校正项。
4.根据权利要求3所述的具有深度预测的单目3D重建方法，其特征在于：步骤B中，
将场景表示为一组无序的面圆M，所有面圆都具有以下参数：位置坐标，法向量，权重，面圆半径，计数器，创建时间和更新时间t，描述面圆的覆盖范围，
。
5.如权利要求4所述的具有深度预测的单目3D重建方法，其特征在于：步骤B中，
在姿态估计当中，定义RGB帧由深度图像和颜色图像组成，对于点定义反向投影如下，
，
其中，是相机内参矩阵，是的齐次坐标，是的深度值，对于3D点定义如下变换，
，
技术研发人员：陈颖文，段志敏，胡博文，于鹄杰，陈晨，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。