【技术实现步骤摘要】
本专利技术涉及计算机人工智能，特别涉及一种基于改进的transmvsnet深度学习算法的太空目标图像三维重建方法。
技术介绍
1、多视图立体视觉(mvs)近年来在计算机视觉领域一直是一个研究热点，在计算机辅助设计、虚拟现实、增强现实、机器人导航等方面有很高的潜在价值。为了使三维重建效果更加精准，就要充分考虑到低纹理条件下，特征点匹配的精准性，才能准确恢复物体位姿以及三维点云。
2、目前，现有解决低纹理太空目标图像三维重建的方法主要分为以下两类：一是传统mvs的方法，二是深度学习的方法。其中，传统mvs的方法具体为从不同视角的图像中找到匹配的对应点，利用多个二维图象中的信息重建出三维信息。虽然在朗伯曲面的重建上取得了巨大成就，但是仍然受到光照变化或低纹理等因素的影响导致重建效果不好。基于深度学习的立体视觉匹配(mvsnet)采用深度cnns提取每个视图的深度图，最后通过多视图融合得到三维模型，可以有效地提高三维重建的精度。为三维重建提供了新的解决方案。
3、上述两种解决低纹理太空目标图像三维重建的方法考虑的仅仅是特征点匹配的问题，却没有考虑到图像内部和图像间特征信息的提取，以及图像有效区域提取的问题。
技术实现思路
1、本专利技术要解决现有技术中的技术问题，提供一种基于改进的transmvsnet深度学习算法的太空目标图像三维重建方法。
2、本专利技术的改进的transmvsnet深度学习算法的太空目标图像三维重建方法，其目的在于实现低纹理太空目标
3、为了解决上述技术问题，本专利技术的技术方案具体如下：
4、一种基于改进的transmvsnet深度学习算法的太空目标图像三维重建方法，包括以下步骤：
5、步骤一、选择一组太空目标低纹理图像的数据集，确定其相机姿态；
6、步骤二、将带有相机姿态的图像输入进改进的transmvsnet深度学习算法中；
7、步骤三、根据改进的transmvsnet深度学习算法得到的深度图像，结合其相机姿态，进行三维重建，得到太空目标的三维模型。
8、在上述技术方案中，步骤一的具体操作步骤如下：
9、(1)找到一组空对空拍摄的太空目标图像，并且已知相机内参；
10、(2)将相机进行标定，并通过相机内参获取相机外参，并且将相机的内外参数分别转化为3×3和4×4的矩阵形式，以备输入进神经网络。
11、在上述技术方案中，步骤二的具体操作步骤如下：
12、(1)将太空目标的图像收集到一个文件夹中，同时将对应的带有相机内外参的相机姿态文件放进另外一个文件夹中，并根据图像的连续性，为每一张图像找到十个参考视图图像，并将图像编号写入到一个txt格式文件中，以备输入进网络；
13、(2)将太空目标图像，相机姿态文件和图像间关系的txt格式文件输入进改进的transmvsnet深度学习算法中，通过神经网络的处理得到预测好的深度图像。
14、在上述技术方案中，步骤二中的步骤(2)的具体操作步骤如下：
15、①应用特征提取金字塔网络，多尺度特征提取，提取三个分辨率从粗到细的特征图；
16、②将特征图传入transformer前预处理，使用自适应感受场模块，完善局部特征提取，并确保特征顺利转移到transformer；
17、③采用特征匹配转换器来利用内部和外部注意力来聚合图像内和图像之间的上下文信息；
18、④对于经fmt处理的特征图，建立一个代价体，通过3d cnn进行正则化处理，得到准确的深度图。
19、在上述技术方案中，步骤二中，步骤(2)的步骤①中，多尺度特征提取的方法如下：
20、在backbone中自下而上的特征提取过程中，首先通过融合两个具有不同分辨率的low-level特征；随着进入特征提取后期阶段，将high-level特征纳入融合过程，最终融合backbone的顶级特征。
21、在上述技术方案中，步骤二中，步骤(2)的步骤④中，正则化代价体的方法如下：
22、基于传统正则化的unet结构网络，添加注意力机制，通过计算特征图的空间位置相关性，然后通过sigmond激活操作获得特征图空间位置相关性权重尺度，通过更改权重抑制图像不相关区域信息，同时突出特点区域的显著特征，使得预测结果更加层次分明，深度信息准确。
23、在上述技术方案中，步骤三的具体操作步骤如下：
24、(1)几何一致性校验；根据步骤二得到的深度图结果，将每一个源视图的深度图通过相机内外参投影到参考图像上，求得每一个像素的深度值，将深度值求平均值之后再投影回到源视图上，当重投影的结果像素偏移小于1并且深度差小于1％通过，然后当至少有三个参考视图投影回到源视图，则深度结果可信，得到几何一致性校验通过的深度图像；
25、(2)计算每一个参考视图投影回到源视图的二维坐标以及位置信息，通过置信度大于0.8将杂点过滤掉，完成二维点的确认；
26、(3)通过图像坐标系转世界坐标系，将每一个参考图像的二维点坐标以及深度值投影到世界坐标系中，赋予颜色，得到三维重建的模型。
27、本专利技术具有以下有益效果：
28、本专利技术的基于改进的transmvsnet深度学习算法的太空目标图像三维重建方法，首先得到一组低纹理太空目标图像，求得相机姿态数据，将图像数据和相机姿态数据以及表达源氏图和参考图像关系的txt文件送入改进的transmvsnet网络，算法经过多尺度特征提取，transformer模块提取图像内部以及图像间信息，构建深度信息代价体，以及代价体正则化之后得到准确的深度图像。再通过对源氏图和参考图像的深度图像进行几何一致性校验以及光度一致性校验，进行三维融合得到三维模型。
29、本专利技术的基于改进的transmvsnet深度学习算法的太空目标图像三维重建方法，从太空目标图像实际纹理低难以提取出发，考虑到可以通过更改transmvsnet网络的特征提取以及代价体正则化网络以让其适应低纹理图像，从而可以更加准确的获得太空目标深度图，实现优于现有技术的三维重建效果，提高了太空目标图像的三维重建效果。
本文档来自技高网...【技术保护点】
1.一种基于改进的TransMVSnet深度学习算法的太空目标图像三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于改进的TransMVSnet深度学习算法的太空目标图像三维重建方法，其特征在于，步骤一的具体操作步骤如下：
3.根据权利要求1所述的基于改进的TransMVSnet深度学习算法的太空目标图像三维重建方法，其特征在于，步骤二的具体操作步骤如下：
4.根据权利要求3所述的基于改进的TransMVSnet深度学习算法的太空目标图像三维重建方法，其特征在于，步骤二中的步骤(2)的具体操作步骤如下：
5.根据权利要求4所述的基于改进的TransMVSnet深度学习算法的太空目标图像三维重建方法，其特征在于，步骤二中，步骤(2)的步骤①中，多尺度特征提取的方法如下：
6.根据权利要求4所述的基于改进的TransMVSnet深度学习算法的太空目标图像三维重建方法，其特征在于，步骤二中，步骤(2)的步骤④中，正则化代价体的方法如下：
7.根据权利要求1所述的基于改进的TransMVSnet深
...【技术特征摘要】
1.一种基于改进的transmvsnet深度学习算法的太空目标图像三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于改进的transmvsnet深度学习算法的太空目标图像三维重建方法，其特征在于，步骤一的具体操作步骤如下：
3.根据权利要求1所述的基于改进的transmvsnet深度学习算法的太空目标图像三维重建方法，其特征在于，步骤二的具体操作步骤如下：
4.根据权利要求3所述的基于改进的transmvsnet深度学习算法的太空目标图像三维重建方法，其特征在于，步骤二中的步...
【专利技术属性】
技术研发人员：滕嘉玮，孙海江，江山，刘培勋，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。