【技术实现步骤摘要】
本专利涉及一种增量式sfm的实现方法，属于计算机视觉领域。
技术介绍
1、sfm(structure form motion，运动恢复结构)是一种同时恢复多张图像的位姿以及被拍摄对象结构的方法。具体来说，给定一系列(两张及以上)具有一定重叠度的图像，通过sfm，可以恢复出每张图像在拍摄时相机的瞬时位姿，包括相机位置t和姿态r。其中t是一个三维向量，t＝(x,y,z)；r是一个3×3的旋转矩阵。同时，sfm还会恢复出图像覆盖区域的稀疏三维结构，即稀疏点云。所以，在三维重建领域，sfm又被称为稀疏重建，而在摄影测量领域又被称为空中三角测量。
2、按照恢复方式的差异，sfm可以分为增量式、全局式、层次式等。本专利所使用的增量式sfm，其一般步骤包括特征点提取与匹配、初始图像对的选择、增量式重建、全局ba(bundle adjustment，束调整)等。由于sfm不要求实时性，通常使用稳健性高的sift(scale-invariant feature transform，尺度不变特征变换)方法来提取图像的特征点并生成每个特征点的描述子。对于增量式sfm来说，在选定初始图像对后，其在增量式重建过程中，每次加入一张新的图像，通过pnp(perspective-n-point)恢复这张图像的位姿，再通过三角化(triangulation)生成更多的物方点，如此反复进行直至加入所有图像。其中，在每次添加图像后，都会对已加入的图像进行一次ba。这是增量式sfm区别于其他sfm的特点所在。最终，当所有图像都被添加后，还将进行一次全局ba
技术实现思路
1、针对现有技术的不足，本专利技术提出了一种应用于配电房内的全息监控网关及其监控系统，本专利技术给出了一种增量式sfm的核心——增量式重建步骤的具体逻辑和实现方法。实现逻辑以伪代码的形式进行描述，所描述的增量式重建步骤包括如下四步：寻找下一最佳匹配图像、获取新加入系统的备选图像与系统中三维点之间的2d-3d对应点并通过pnp估计该备选图像位姿、对新加入系统的备选图像进行三角化、局部ba。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种匹配关系自适应感知的增量式sfm系统，包括以下具体步骤：
4、s1、定义一个三维点结构体points3d，存储三维点结构体所需的相关属性；
5、s2、分别定义相机的内外参数结构体，构建一个记录匹配信息的结构体；
6、s3、在增量式sfm初始化过程中，确定初始的匹配图像对；
7、s4、寻找下一最佳匹配图像；
8、s5、获取下一最佳匹配图与系统中三维点之间的2d-3d对应点；
9、s6、对下一最佳匹配图进行三角化；
10、s7、对当前系统内的所有三维点和相机位姿进行一次ba优化；
11、s8、用gps信息来计算下一最佳匹配图与其他图像之间的距离，给定一个阈值d，若计算出来的距离小于阈值，则将其视为潜在匹配图像对，反之则不是。
12、具体的，所述s1的具体内容如下：定义一个三维点结构体points3d，存储所需的相关属性，相关属性包括三维点的坐标参数、颜色信息参数、粗差点参数、观测特征点参数。
13、具体的，所述s2的具体内容如下：分别定义相机的内外参数结构体，其中，内参结构体属性包括焦距、主点偏置、径向畸变参数、切向畸变参数；外参结构体属性包括相机平移量、相机姿态、相机位姿估计参数,构建一个记录匹配信息的结构体,所述结构体用于记录该匹配图像对中每张图像的id、提取到的所有特征点的坐标、匹配上的特征点在坐标数组中的id信息。
14、具体的，所述s3的具体内容如下：将所有匹配图像对中匹配上的特征点数量进行排序，将匹配点对数量最多的那对图像作为初始的匹配图像对。
15、具体的，所述s4的具体步骤如下：往系统中添加一张备选图像，直至所有图像均被加入到系统当中，其主要步骤包括：寻找下一最佳匹配图像、获取新加入系统的备选图像与系统中三维点之间的2d-3d对应点并通过pnp估计该备选图像位姿、对新加入系统的备选图像进行三角化、局部ba，遍历系统中的每一个三维点，统计每张备选图像中观测到的三维点的数量，数量最高者即为下一最佳匹配图像。
16、具体的，所述s5的具体步骤如下：找到与下一最佳匹配图像所有有关联的图像，寻找并记录已被三角化的关联图像和下一最佳匹配图像之间的所有2d-3d匹配点对；
17、具体的，所述s6的具体步骤如下：通过s5获取到的2d-3d对应点，可以使用pnp算法来求解，以获得下一最佳匹配图的位姿，在三角化过程中判断每个点是否已经生成了对应的三维点，只对未三角化过的点进行三角化。
18、根据权利要求7所述的一种匹配关系自适应感知的增量式sfm系统，其特征在于：所述s7的具体步骤如下：在每往系统中添加完一张新的图像后，就需要对当前系统内的所有三维点和相机位姿进行一次ba优化
19、有益效果
20、1、针对增量式sfm的具体实现，给出了一种使用c++语言进行开发时，在实现过程中的具体数据结构组织方式。给出的数据结构体包括三维点、相机内参、相机外参、匹配信息。其中，三维点结构包括三维点的坐标、颜色、是否粗差点标记、观测信息记录；相机内参结构包括相机焦距、主点偏置、径向畸变参数、切向畸变参数；相机外参结构包括相机的平移、旋转、是否估计出位姿标记；匹配信息结构包括第一二张图像的id、关键点坐标数组、关键点id数组。
21、2、给出了一种增量式sfm的核心——增量式重建步骤的具体逻辑和实现方法。实现逻辑以伪代码的形式进行描述，所描述的增量式重建步骤包括如下四步：寻找下一最佳匹配图像、获取新加入系统的备选图像与系统中三维点之间的2d-3d对应点并通过pnp估计该备选图像位姿、对新加入系统的备选图像进行三角化、局部ba。
22、3、对于无人机影像的增量式sfm，给出了一种利用gps信息快速确定潜在匹配图像对的方法。在sfm过程中，特征点的高效匹配一直是一个难题。本专利基于无人机自带的拍摄时gps信息，可以通过计算不同图像间的地理距离，来缩小潜在匹配图像对的搜索范围，从而在保持搜寻鲁棒性的同时大大加速大批量图像的匹配工作。
本文档来自技高网...【技术保护点】
1.一种匹配关系自适应感知的增量式SfM系统，其特征在于，包括以下具体步骤：
2.根据权利要求1所述的一种匹配关系自适应感知的增量式SfM系统，其特征在于：所述S1的具体内容如下：定义一个三维点结构体points3d，存储所需的相关属性，相关属性包括三维点的坐标参数、颜色信息参数、粗差点参数、观测特征点参数。
3.根据权利要求2所述的一种匹配关系自适应感知的增量式SfM系统，其特征在于：所述S2的具体内容如下：分别定义相机的内外参数结构体，其中，内参结构体属性包括焦距、主点偏置、径向畸变参数、切向畸变参数；外参结构体属性包括相机平移量、相机姿态、相机位姿估计参数,构建一个记录匹配信息的结构体,所述结构体用于记录该匹配图像对中每张图像的id、提取到的所有特征点的坐标、匹配上的特征点在坐标数组中的id信息。
4.根据权利要求3所述的一种匹配关系自适应感知的增量式SfM系统，其特征在于：所述S3的具体内容如下：将所有匹配图像对中匹配上的特征点数量进行排序，将匹配点对数量最多的那对图像作为初始的匹配图像对。
5.根据权利要求4所述的一种匹配
6.根据权利要求5所述的一种匹配关系自适应感知的增量式SfM系统，其特征在于：所述S5的具体步骤如下：找到与下一最佳匹配图像所有有关联的图像，寻找并记录已被三角化的关联图像和下一最佳匹配图像之间的所有2d-3d匹配点对。
7.根据权利要求6所述的一种匹配关系自适应感知的增量式SfM系统，其特征在于：所述S6的具体步骤如下：通过S5获取到的2d-3d对应点，可以使用pnp算法来求解，以获得下一最佳匹配图的位姿，在三角化过程中判断每个点是否已经生成了对应的三维点，只对未三角化过的点进行三角化。
8.根据权利要求7所述的一种匹配关系自适应感知的增量式SfM系统，其特征在于：所述S7的具体步骤如下：在每往系统中添加完一张新的图像后，就需要对当前系统内的所有三维点和相机位姿进行一次BA优化。
...【技术特征摘要】
1.一种匹配关系自适应感知的增量式sfm系统，其特征在于，包括以下具体步骤：
2.根据权利要求1所述的一种匹配关系自适应感知的增量式sfm系统，其特征在于：所述s1的具体内容如下：定义一个三维点结构体points3d，存储所需的相关属性，相关属性包括三维点的坐标参数、颜色信息参数、粗差点参数、观测特征点参数。
3.根据权利要求2所述的一种匹配关系自适应感知的增量式sfm系统，其特征在于：所述s2的具体内容如下：分别定义相机的内外参数结构体，其中，内参结构体属性包括焦距、主点偏置、径向畸变参数、切向畸变参数；外参结构体属性包括相机平移量、相机姿态、相机位姿估计参数,构建一个记录匹配信息的结构体,所述结构体用于记录该匹配图像对中每张图像的id、提取到的所有特征点的坐标、匹配上的特征点在坐标数组中的id信息。
4.根据权利要求3所述的一种匹配关系自适应感知的增量式sfm系统，其特征在于：所述s3的具体内容如下：将所有匹配图像对中匹配上的特征点数量进行排序，将匹配点对数量最多的那对图像作为初始的匹配图像对。
5.根据权利要求4所述的一种匹配关系自适应感知的增量式sfm系统，其特征在于：所述s4的具体步骤如下...
【专利技术属性】
技术研发人员：刘润东，刘清，李区生，罗恒，宋嘉鹏，李伟鹏，经纬明，陈泽权，
申请(专利权)人：广西壮族自治区自然资源遥感院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。