【技术实现步骤摘要】
本专利技术涉及天体目标的三维重建领域，具体涉及一种基于弱光照自适应的小天体多视图立体重建方法及系统。
技术介绍
1、随着采样传感器的发展以及应用场景的凸显，三维重建技术在文化遗产保护、建筑和医学等领域受到越来越多的关注。多视图三维重建将二维数据还原为三维模型表示。相较于二维图像平面信息，这种技术有助于更好的感知物体细节以及与空间之间的关系，呈现更加真实的场景效果。
2、小天体是太阳系的重要组成部分。开展深空探测是促进人类航天技术发展、探寻生命起源以及合理利用空间资源的主要手段。而小天体具有独特的特性，了解小天体的奥秘有重要意义。小天体三维建模，能够直接反映小天体的物理形态，对探测器着陆点的选择和探测路线规划有重要作用。
3、传统多视图三维重建(multiple view stereo，mvs)方法，包括补丁法，多边形网格法，体素法和基于深度图的方法。相较于前三类方法，基于深度图的方法具有更高的灵活性和更低的计算复杂度。该方法通过匹配不同图像之间的点估计相机位姿，并利用三角测量方法估计深度值，通过能量优化获得最终深度图。最后，通过插值的方式生成密集点云。openmvs利用sfm的输出选择匹配对，并使用patchmatch算法计算深度图。通过过滤合并操作，生成稠密点云。此外，openmvs具备在多线程中并行使用的能力。schonberger等人提出colmap,通过改进几何验证策略，包括在最佳视图选择、鲁棒性三角测量和迭代束调整(bundle adjustment，ba)优化等方面改进，提高了重建结果的准确性
4、为了缓解上述问题，提出基于深度学习的多视图立体重建方法，其中包括基于体素和基于深度图的方法。surfacenet是第一个实现端到端重建的深度网络，通过构建彩色体素立方体对相机参数进行编码，推断二维表面概率，直接输出三维模型。但基于体素的表示方式消耗大量内存，从而限制了重建精度，同时无法满足大规模重建的需求。yao等人提出第一个端到端的基于深度图的深度网络mvsnet,将多视角图像作为输出，通过特征提取、构建代价体、代价体正则化和深度图估计等步骤获得每个图像的深度图，经过过滤和重投影操作生成最终点云。mvsnet提高了三维重建的质量并降低了对内存的要求，但仍然有一定的内存消耗。r-mvsnet提出了通过gru对2d代价图进行正则化的方法，以减少内存的使用，但这种方法损失了一定的重建精度。gu等人提出了casmvsnet，采用级联式结构，通过逐步细化深度图的方式解决了高分辨率图像重建的需求。dri-mvsnet结合自注意力机制，通过通道注意力层和空间cscp模块，学习聚焦重要特征信息。atlas-mvsnet在unet结构的基础上引入混合注意力模块，实现密集特征提取并关注重要区域。
5、上述基于深度学习的mvs方法从不同方面对多视图重建方式进行研究，在一定程度上改善了重建难题，但仍然无法有效应用于小天体三维重建领域。在弱光照条件下，图像中小天体的边缘、纹理以及颜色等特征变得模糊失真。
6、此外，弱光照造成的阴影现象，干扰了对小天体结构的理解。因此，影响了特征提取以及特征匹配的准确性和稳定性。
技术实现思路
1、针对现有技术在弱光照场景中存在因小天体被阴影遮挡导致特征点匹配困难等问题，本专利技术的目的在于克服上述技术缺陷，提出了一种基于弱光照自适应的小天体多视图立体重建方法，缓解了弱光照下的视图误匹配问题，实现了弱光照环境下的小天体三维重建。
2、为了实现上述目的，本专利技术提出了一种基于弱光照自适应的小天体多视图立体重建方法，包括：
3、将小天体弱光照的源图像和参考图像经预处理后，输入预先建立和训练好的重建网络，得到深度图；
4、对深度图进行后处理，得到三维重建模型；
5、所述重建网络包括：特征提取阶段、代价体聚合阶段、代价体正则化阶段、深度图估计阶段和深度图优化阶段；其中，
6、所述特征提取阶段，用于从输入的预处理后的源图像和参考图像中提取特征，通过金字塔结构自适应融合不同层次的特征，最终输出特征图；
7、所述代价体聚合阶段，用于通过聚合经过单应性变换的特征图，构建特征体，并在深度方向上计算权重，以凸显正常光照下的像素信息，最终得到代价体；
8、所述代价体正则化阶段，用于对代价体进行正则化处理，得到概率体；
9、所述深度图估计阶段，用于利用概率体计算深度期望，得到初始深度图；
10、所述深度图优化阶段，用于将参考图像叠加到初始深度图上，实现信息融合，从而缓解正则化过程中的过渡平滑和边缘信息丢失问题。
11、优选的，所述预处理包括：将小天体光照的源图像和参考图像修改为固定分辨率的图像。
12、优选的，所述特征提取阶段包括特征金字塔和自适应特征提取模块，其中，
13、所述特征金字塔，用于从输入的若干张h×w尺寸大小的图像中提取三级特征，分别获得分辨率为(h,w,8)、(h/2,w/2,16)、(h/4,w/4,32)的特征图；
14、所述自适应特征提取模块，用于对特征图的下采样过程进行特征选择，将局部特征和全局特征融合，获得聚合上下文信息和细节信息强表征能力的特征。
15、优选的，所述自适应特征提取模块的处理过程包括：
16、对于特征金字塔每层输出的特征图，利用全局平均池化得到水平和垂直向量特征，对两个向量逐像素相加并经过全连接层和激活函数层，得到空间权重；同时，在每个像素位置获取邻域特征图，通过全连接层和激活函数层处理，得到局部注意力图；
17、将空间权重和局部注意力图逐元素相乘并进行重塑操作，得到特征权重，将特征权重与局部邻域块相乘，得到最终的特征图。
18、优选的，所述代价体聚合阶段的处理过程包括：
19、步骤s1)对特征提取阶段得到的最终特征图在不同深度的平面进行投影并插值，构建特征体；
20、步骤s2)将特征体在深度方向上分组并经过多层卷积计算权重得到处理后的特征体；
21、步骤s3)将步骤s2)得到的所有特征体合并构建代价体。
22、优选的，所述代价体正则化阶段采用四级3d unet编码器-解码器的结构，将其中32通道降维减少到8通道，并将卷积层减少为2层，对代价体降采样，生成通道数为1的概率体。
23、优选的，所述深度图估计阶段通过数学期望计算得到深度图。
24、优选的，所述深度图优化阶段包括：拼接操作、3*3的卷积层、6个残差块和3*3的卷积层，其中6个残差块由批处理卷积操作和leakyrelu组成。...
【技术保护点】
1.一种基于弱光照自适应的小天体多视图立体重建方法，包括：
2.根据权利要求1所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述预处理包括：将小天体光照的源图像和参考图像修改为固定分辨率的图像。
3.根据权利要求1所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述特征提取阶段包括特征金字塔和自适应特征提取模块，其中，
4.根据权利要求3所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述自适应特征提取模块的处理过程包括：
5.根据权利要求4所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述代价体聚合阶段的处理过程包括：
6.根据权利要求1所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述代价体正则化阶段采用四级3D Unet编码器-解码器的结构，将其中32通道降维减少到8通道，并将卷积层减少为2层，对代价体降采样，生成通道数为1的概率体。
7.根据权利要求1所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述深度图估计
8.根据权利要求1所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述深度图优化阶段包括：拼接操作、3*3的卷积层、6个残差块和3*3的卷积层，其中6个残差块由批处理卷积操作和LeakyReLU组成。
9.根据权利要求1所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述方法还包括重建网络的训练步骤，包括：
10.一种基于弱光照自适应的小天体多视图立体重建系统，其特征在于，所述系统包括：
...【技术特征摘要】
1.一种基于弱光照自适应的小天体多视图立体重建方法，包括：
2.根据权利要求1所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述预处理包括：将小天体光照的源图像和参考图像修改为固定分辨率的图像。
3.根据权利要求1所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述特征提取阶段包括特征金字塔和自适应特征提取模块，其中，
4.根据权利要求3所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述自适应特征提取模块的处理过程包括：
5.根据权利要求4所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述代价体聚合阶段的处理过程包括：
6.根据权利要求1所述的基于弱光照自适应的小天体多视图立体重建方法，其特征在于，所述代价体正则...
【专利技术属性】
技术研发人员：申冰可，牛文龙，樊铭瑞，彭晓东，谢文明，李运，
申请(专利权)人：中国科学院国家空间科学中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。