一种基于人工信标辅助的三维重建相机位姿解算方法技术

技术编号:38714557 阅读:12 留言:0更新日期:2023-09-08 14:57
本发明专利技术提供一种基于人工信标辅助的三维重建相机位姿解算方法,属于三维重建技术领域,本发明专利技术利用人工信标辅助定位技术,将通过ArUco码解算的相机位姿与运动结构恢复算法解算的相机位姿进行融合,旨在解决三维重建中相机位姿解算准确度的问题,从而有效提高重建结果的精度。果的精度。果的精度。

【技术实现步骤摘要】
一种基于人工信标辅助的三维重建相机位姿解算方法


[0001]本专利技术涉及三维重建
,尤其涉及一种基于人工信标辅助的三维重建相机位姿解算方法。

技术介绍

[0002]在三维重建领域中,被动视觉三维重建技术是一个重要的分支,具有广泛的应用前景,如数字孪生、虚拟现实等领域。随着计算机硬件性能的提升和计算机视觉算法的不断发展,被动视觉三维重建技术已经在许多领域得到广泛应用,如机器人导航、虚拟现实、文物保护、工业制造等。
[0003]在被动视觉三维重建中,利用多视图几何技术可以将多个视角下的图像信息通过计算几何关系融合成场景的三维模型。该技术通常采用单目视觉采集序列化图像,然后通过运动结构恢复算法计算相机的位姿和参数,最终通过立体匹配算法生成待重建场景的稠密深度信息,其中相机位姿偏差对三维重建效果产生很大的影响。相机位姿的偏差是指在计算相机的位置和方向时产生的误差,这种误差会直接影响到被动视觉三维重建的准确性。当相机位姿偏差较大时,计算出的三维模型会出现明显的畸变和形变,甚至会导致三维模型失真或无法生成。因此,在进行被动视觉三维重建时,必须尽量减小相机位姿的偏差,以保证三维重建效果的准确性和可靠性。

技术实现思路

[0004]为了解决以上技术问题,本专利技术提供了一种基于人工信标辅助的三维重建相机位姿解算方法。利用ArUco码在三维重建过程中提供相机位姿信息,能够在图像匹配度低和相机位姿不准确的情况下,有效提高相机位姿解算精度,从而提升三维重建的最终效果。
[0005]本专利技术的技术方案是:
[0006]种基于人工信标辅助的三维重建相机位姿解算方法,包括如下步骤:
[0007]步骤1,在OpenCV中生成ArUco码;
[0008]步骤2,在待重建的三维场景中布置ArUco码,将其放置在需要重建的场景中的路径上;
[0009]步骤3,使用相机获取待重建三维场景的图像数据,同时对图像数据进行ArUco码检测;
[0010]步骤4,对获取的图像数据进行预处理,得到图像元数据和传感器信息等等;
[0011]步骤5,对处理后的图像数据进行特征提取;
[0012]步骤6,对所有图像进行对应的匹配工作,获取包含相同场景区域的图像对;
[0013]步骤7,基于匹配成功的图像对进行图像特征匹配工作;
[0014]步骤8,根据图像对匹配到的图像特征,使用增量式SfM算法计算图像对相应的基础矩阵,获取每幅图像所对应的相机参数及位姿;
[0015]步骤9,对包含ArUco码特征信息的图像,根据此特征信息计算对应的相机参数和
位姿;步骤10,利用前述步骤中校正后每幅图像所对应的相机位姿和ArUco码特征信息计算得到的相机位姿,经过加权融合后最终得到基于人工信标辅助的三维重建相机位姿结果。
[0016]进一步的,
[0017]所述步骤1具体包括以下步骤:
[0018]步骤1.1,使用OpenCV中的ArUco模块生成ArUco码。ArUco模块共有25个预定义的标记词典,每个词典中所有的ArUco标记均包含相同数量的块或位,且每个词典中ArUco标记的数量固定;
[0019]步骤1.2,调用getPredefinedDictionary函数加载包含250个标记的字典,其中每个标记都是6
×
6位二进制模式;
[0020]步骤1.3,使用drawMarker函数从由250个ArUco标记组成的集合中选择给定ID的标记,这250个标记的ID由0~249表示。
[0021]所述步骤3具体包括以下步骤:
[0022]步骤3.1,使用自定义数量的相机作为图像采集设备,以自定义速度的图像拍摄或者视频录制的形式采集待重建场景信息;
[0023]步骤3.2,将采集得到的图像、视频信息进行整合,将视频按帧率提取为一系列单张图像与采集到的图像打包为重建图像数据集;
[0024]所述步骤5具体包括以下步骤:
[0025]步骤5.1,构建尺度空间,检测极值点,获得尺度不变性;
[0026]步骤5.2,过滤图像特征点并对特征点进行精确定位;
[0027]步骤5.3,为特征点分配方向值;
[0028]步骤5.4,生成特征描述子;
[0029]步骤5.5,由于纹理复杂性的变化,不同图像之间提取特征的数量可能会有很大差异,因此对所有提取特征进行过滤处理以将提取特征的数量控制在合理的范围内。
[0030]所述步骤6具体包括以下步骤:
[0031]步骤6.1,使用词汇树方法生成图像描述符;
[0032]步骤6.2,将所有提取的特征描述符传递给词汇树,词汇树通过将描述符与这棵树的每个节点上的描述符进行比较来进行分类。每个特征描述符都以一片叶子结束,叶子可以通过一个简单的索引存储,将特征描述符索引的集合表示图像描述符;
[0033]步骤6.3,通过对比图像描述符来查看不同的图像是否包含相同的内容。
[0034]所述步骤7具体包括以下步骤:
[0035]步骤7.1,对输入图像对的特征描述符集合进行光度匹配,对于图像A中的每个特征,获得图像B中所对应的候选特征列表。假设另一幅图像中只有一个有效匹配项,对于第一张图像上的每个特征描述符,寻找2个最接近的特征描述符,从而建立基于光度标准的特征匹配候选列表;
[0036]步骤7.2,使用RANSAC异常值检测框架中的对极几何算法对特征匹配候选列表进行几何过滤获取最佳匹配点。
[0037]所述步骤8具体包括以下步骤:
[0038]步骤8.1,将图像对之间的所有匹配特征融合到tracks中,每个track代表空间中的一个点,可从多个视角观测;
[0039]步骤8.2,以最大化的特征匹配数量为标准选择最佳的初始图像对,同时保证图像对所对应的视角之间的角度也足够大,以提供可靠的几何信息;
[0040]步骤8.3,计算这两个图像之间的基础矩阵,并将第一幅图像所对应的相机坐标系视为世界坐标系原点。计算出前两个摄像机的位姿后可以将相应的2D特征三角化为点云;
[0041]步骤8.4,选择与已经进行三维重建的特征有足够关联的图像,使用RANSAC框架中的Perspective

n

Point算法查找验证新的相机位姿;
[0042]所述步骤9具体包括以下步骤:
[0043]步骤9.1,将采集获得的图像或者视频数据转换为灰度图像;
[0044]步骤9.2,将灰度图像进行自适应二值化;
[0045]步骤9.3,将图像进行形态学操作去除噪声;
[0046]步骤9.4,对图像进行方形轮廓提取,过滤其他图形;
[0047]步骤9.5,对得到的方形图形进行四边形筛选获取四个角点。采用道格拉斯

普克算法,它能够减少轮廓的点数量,找到可包容指定点集的最小点集。统计该点集的点数本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于人工信标辅助的三维重建相机位姿解算方法,其特征在于,包括如下步骤:步骤1),在OpenCV中生成ArUco码;步骤2),在待重建的三维场景中布置ArUco码,将其放置在需要重建的场景中的路径上;步骤3),使用相机获取待重建三维场景的图像数据,同时对图像数据进行ArUco码检测;步骤4),对获取的图像数据进行预处理,得到图像元数据和传感器信息;步骤5),对处理后的图像数据进行特征提取;步骤6),对所有图像进行对应的匹配工作,获取包含相同场景区域的图像对;步骤7),基于匹配成功的图像对进行图像特征匹配工作;步骤8),根据图像对匹配到的图像特征,使用增量式SfM算法计算图像对相应的基础矩阵,获取每幅图像所对应的相机参数及位姿;步骤9),对包含ArUco码特征信息的图像,根据此特征信息计算对应的相机参数和位姿;步骤10),利用前述步骤中校正后每幅图像所对应的相机位姿和ArUco码特征信息计算得到的相机位姿,经过加权融合后最终得到基于人工信标辅助的三维重建相机位姿结果。2.根据权利要求1所述的方法,其特征在于,所述步骤1)具体包括以下步骤:步骤1.1),使用OpenCV中的ArUco模块生成ArUco码;ArUco模块共有25个预定义的标记词典,每个词典中所有的ArUco标记均包含相同数量的块或位,且每个词典中ArUco标记的数量固定;步骤1.2),调用getPredefinedDictionary函数加载包含250个标记的字典,其中每个标记都是6
×
6位二进制模式;步骤1.3),使用drawMarker函数从由250个ArUco标记组成的集合中选择给定ID的标记,这250个标记的ID由0~249表示。3.根据权利要求1所述的方法,其特征在于,所述步骤3)具体包括以下步骤:步骤3.1),使用自定义数量的相机作为图像采集设备,以自定义速度的图像拍摄或者视频录制的形式采集待重建场景信息;步骤3.2),将采集得到的图像、视频信息进行整合,将视频按帧率提取为单张图像与采集到的图像打包为重建图像数据集。4.根据权利要求1所述的方法,其特征在于,所述步骤5)具体包括以下步骤:步骤5.1),构建尺度空间,检测极值点,获得尺度不变性;步骤5.2),过滤图像特征点并对特征点进行定位;步骤5.3),为特征点分配方向值;步骤5.4),生成特征描述子;步骤5.5),对所有提取特征进行过滤处理以将提取特征的数量控制在设置的范围内。5.根据权利要求1所述的方法,其特征在于,所述步骤6)具体包括以下步骤:步骤6.1),使用词汇树方法生成图像描述符;步骤6.2),将所有提取的特征描述符传递给词汇树,词汇树通过将描述符与这棵树的每个节点上的描述符进行比较来进行分类;每个特征描述符都以一片叶子结束,叶子可通
过一...

【专利技术属性】
技术研发人员:张雲策钟昆儒王建华郭运艳
申请(专利权)人:山东浪潮科学研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1