基于移动平台拍摄的序列图像快速三维重建方法技术

本发明专利技术公开了一种基于移动平台拍摄的序列图像快速三维重建方法，主要解决了现有三维重建方法处理速度慢的问题，其实现方案是：1.利用移动平台拍摄场景目标的序列图像，在拍摄图像的同时记录移动平台中微惯性传感器输出的数据；2.对序列图像进行SIFT特征点检测与匹配得到序列图像特征点匹配集合；3.利用微惯性传感器数据计算移动平台拍摄图像时姿态矩阵与位置信息；4.由姿态矩阵与位置信息求解图像序列对应的投影矩阵；5.根据序列图像特征点匹配集合与对应的投影矩阵计算场景中三维点坐标，完成序列图像三维重建。本发明专利技术提高了运动恢复结构SFM三维重建的速度，可用于室内外场景三维重建。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种，主要解决了现有三维重建方法处理速度慢的问题，其实现方案是：1.利用移动平台拍摄场景目标的序列图像，在拍摄图像的同时记录移动平台中微惯性传感器输出的数据；2.对序列图像进行SIFT特征点检测与匹配得到序列图像特征点匹配集合；3.利用微惯性传感器数据计算移动平台拍摄图像时姿态矩阵与位置信息；4.由姿态矩阵与位置信息求解图像序列对应的投影矩阵；5.根据序列图像特征点匹配集合与对应的投影矩阵计算场景中三维点坐标，完成序列图像三维重建。本专利技术提高了运动恢复结构SFM三维重建的速度，可用于室内外场景三维重建。【专利说明】基于移动平台拍摄的序列图像快速Ξ维重建方法
本专利技术属于图像处理
，具体的说是一种对序列图像的快速Ξ维重建方 法，可用与室内外场景的Ξ维重建。
技术介绍
近年来随着微机电系统的快速发展，微惯性传感器普遍应用于移动平台中，常见 的移动平台有智能手机、无人机、机器人等，此类移动平台共有的特点为搭载有较高分辨率 的摄像头，并于自身中集成由检测自身运动状态的微型传感器。 同时，随着人们认知水平和获取信息能力的提高，二维图像已经不能满足工作和 生活的需要。相对于二维图像，Ξ维模型对于处在常规尺度下的人类是最直观的结构，我们 最习惯的方式就是从Ξ维的角度去观察物体、环境，因此Ξ维重建就成了计算机视觉和虚 拟现实等领域的主要研究热点之一。Ξ维重建是指为Ξ维物体建立适合计算机表示和处理 的数学模型，是在计算机环境下对物体进行处理、操作和分析其性质的基础，也是在计算机 中建立表达客观世界的虚拟现实环境的关键技术。因此，物体Ξ维重建是计算机辅助几何 设计(CAGD)、计算机图形学(CG)、医学影像处理、虚拟与增强现实(VR&AR)和数字媒体创作 等领域的共性科学问题和核屯、技术，具有非常高的研究价值。 目前，Ξ维重建的方法可W分为Ξ类:第一，直接利用数字模型或Ξ维建模软件， 如AutoCAD、3Dmax等建立模型，此方法需要专业的技术人员进行处理，并且建模周期长，相 应建模成本比较高；第二，利用机械或非接触性扫描设备对真实物体进行扫描，如Kinect 等，进而重构出模型，其结果比较准确，但是由于采用结构光进行深度估计，不能适用于室 外场景目标的重建;第Ξ，利用运动恢复结构SFM的方法重建物体Ξ维模型，SFM是指通过分 析序列图像来寻找场景中物体的Ξ维结构的过程，具有低成本、方便、灵活的特点。然而，在 SFMS维重建方法的初始重构和增量式重构过程中，需要利用匹配的特征点计算相机之间 的位姿关系，该方法是一种W暴力循环的方式寻找最优解的过程，耗时较高且受图像误匹 配点影响很大；同时，在利用本质矩阵计算相机平移向量时，丢失真实比例因子，因此基于 运动恢复结构(SFM)的Ξ维重建结果是尺度模糊的。
技术实现思路
本专利技术的目的在于针对上述已有技术的问题，提出一种基于移动平台拍摄的序列 图像快速Ξ维重建方法，将序列图像与移动平台中微惯性传感器的输出信息相结合，简化 运动恢复结构SFM中计算相机位姿的过程，并恢复Ξ维模型的真实尺度。 为实现上述目的，本专利技术的技术方案包括如下： (1)利用移动平台拍摄场景目标序列图像，并对采集的序列图像进行编号，分别记 为. .Ij. . .Im}，其中Ij为第j幅图像的编号，1 y <M，M为拍摄图像的总个数；[000引（2)在拍摄目标序列图像的过程中，记录第i个采样点时移动平台的微惯性传感器 中加速度计输出数据曰1、磁力计输出数据mi和巧螺仪输出数据ω 1，其中i = 1，2. . . N，/V二^ Μ 为总的采样点数，Η为拍摄序列图像时所用的总时间，At为移动平台微惯性传感器的采样 间隔； (3)对移动平台采集的序列图像{II，12. . .Ij. . .Im}通过尺度不变特征变换SIFT进 行特征点检测与匹配，得到序列图像的特征点匹配集合N A ={ N A1,2，Μ1,3... Μ k, 1. . .ΝΑμ-ι,μ}，其中NAk,i表示第k幅图像与第1幅图像之间的匹配特征点集； (4)恢复移动平台拍摄图像时的位姿信息： (4a)利用记录的传感器数据ai，mi，w 1通过互补滤波算法计算移动平台在第i个采 样点时的姿态矩阵R(i); (4b)利用加速度输出数据ai检现膨动平台拍摄图像时所对应的采样点，分别记为 tl，t2. . .tj. . .tM，其中tj为拍摄第j幅图像时所对应的采样点； (4c)利用移动平台的姿态矩阵R(i)与其拍摄图像时所对应的采样点ti, t2. . .tj. . .tM，得出移动平台在拍摄图像时所对应的姿态矩阵R(tl)，R(t2). . .R(tj). . .R (tM)，其中R伯咸示移动平台在拍摄第j幅图像时对应的姿态矩阵； (4d)利用移动平台拍摄图像时所对应的采样点ti，t2. . .tj. . .tM、姿态矩阵R(i)和 记录的加速度数据ai通过零速修正算法恢复移动平台拍摄图像时的位置信息S(ti)，S (t2) . . . .S伯）...S(tM)，其中S伯)表示移动平台拍摄第j幅图像时的位置信息； (5)场景目标Ξ维重建： (5a) W编号为Ii的图像所对应的相机坐标系作为Ξ维重建过程中的参考坐标系； (5b)利用移动平台的姿态矩阵R(ti)，R(t2). ..R(tj). . .R(tM)与位置信息S(ti)，S (t2). . . .S(tj). . .S(tM)计算编号为Ij的图像在参考坐标系下的相机投影矩阵< j <M; (5c)根据相机投影矩阵Φ^，利用Ξ角化方法重建出图像对的匹配特征点 集Ml, 2所对应的；维点，并将图像Ii，12标记为已使用； (5d)选择未使用图像中编号最小的一幅图像，并从特征点匹配集合NA中找出该图 像与已使用的图像中编号最大的图像的匹配特征点集，根据相机投影矩阵Φ^，利用Ξ角化 方法重建该匹配点集对应的Ξ维点，并将该图像标记为已使用； (5e)重复步骤(5d)直到所有的图像序列都已经使用，完成序列图像的Ξ维重建。 本专利技术具有如下优点： 1)本专利技术由于利用移动平台的微惯性传感器输出信息恢复移动平台拍摄图像时 的位姿信息，简化了 SFM中计算相机位姿的过程； 2)本专利技术计算出的移动平台拍摄图像时的位置信息S(ti)，S(t2)....S(tj)...S (tM)具有真实的比例因子，消除了 SFMS维重建结果的尺度模糊。 3)本专利技术由于利用零速修正法计算移动平台拍摄图像时的位置信息，较好的抑制 了加速度计的累积积分误差。【附图说明】 图1是本专利技术的实现流程图； 图2是本专利技术中进行互补滤波的子流程图； 图3是本专利技术仿真中使用的利用移动平台拍摄的序列图像； 图4是用本专利技术对移动平台加速度计输出数据进行己特沃斯低通滤波的仿真结果 图； 图5是本专利技术仿真中移动平台拍摄图像时的位姿信息示意图； 图6是本专利技术仿真中利用序列图像进行Ξ维重建的结果示意图。【具体实施方式】 本专利技术中，利用移动平台围绕场景中待重建目标运动，在运动的过程中每隔一段 时间拍摄一幅场景目标的图像，并且在拍摄图像的时刻使移动平台处于静止状态，同时在 移动平台围绕场景目标运动的整个本文档来自技高网...

【技术保护点】
基于移动平台拍摄的序列图像快速三维重建方法，包括：(1)利用移动平台拍摄场景目标序列图像，并对采集的序列图像进行编号，分别记为{I1,I2...Ij...IM}，其中Ij为第j幅图像的编号，1≤j≤M，M为拍摄图像的总个数；(2)在拍摄目标序列图像的过程中，记录第i个采样点时移动平台的微惯性传感器中加速度计输出数据ai、磁力计输出数据mi和陀螺仪输出数据ωi，其中i＝1,2...N，为总的采样点数，H为拍摄序列图像时所用的总时间，Δt为移动平台微惯性传感器的采样间隔；(3)对移动平台采集的序列图像{I1,I2...Ij...IM}通过尺度不变特征变换SIFT进行特征点检测与匹配，得到序列图像的特征点匹配集合NA＝{NA1,2,NA1,3...NAk,l...NAM‑1,M}，其中NAk,l表示第k幅图像与第l幅图像之间的匹配特征点集；(4)恢复移动平台拍摄图像时的位姿信息：(4a)利用记录的传感器数据ai,mi,ωi通过互补滤波算法计算移动平台在第i个采样点时的姿态矩阵R(i)；(4b)利用加速度输出数据ai检测移动平台拍摄图像时所对应的采样点，分别记为t1,t2...tj...tM，其中tj为拍摄第j幅图像时所对应的采样点；(4c)利用移动平台的姿态矩阵R(i)与其拍摄图像时所对应的采样点t1,t2...tj...tM，得出移动平台在拍摄图像时所对应的姿态矩阵R(t1),R(t2)...R(tj)...R(tM)，其中R(tj)表示移动平台在拍摄第j幅图像时对应的姿态矩阵；(4d)利用移动平台拍摄图像时所对应的采样点t1,t2...tj...tM、姿态矩阵R(i)和记录的加速度数据ai通过零速修正算法恢复移动平台拍摄图像时的位置信息S(t1),S(t2)....S(tj)...S(tM)，其中S(tj)表示移动平台拍摄第j幅图像时的位置信息；(5)重建三维场景目标：(5a)以编号为I1的图像所对应的相机坐标系作为三维重建过程中的参考坐标系；(5b)利用移动平台的姿态矩阵R(t1),R(t2)...R(tj)...R(tM)与位置信息S(t1),S(t2)....S(tj)...S(tM)计算编号为Ij的图像在参考坐标系下的相机投影矩阵φj,1≤j≤M；(5c)根据相机投影矩阵φj，利用三角化方法重建出图像对{I1,I2}的匹配特征点集NA1,2所对应的三维点，并将图像I1,I2标记为已使用；(5d)选择未使用图像中编号最小的一幅图像，并从特征点匹配集合NA中找出该图像与已使用的图像中编号最大的图像的匹配特征点集，根据相机投影矩阵φj，利用三角化方法重建该匹配点集对应的三维点，并将该图像标记为已使用；(5e)重复步骤(5d)直到所有的图像序列都已经使用，完成序列图像的三维重建。...

【技术特征摘要】

【专利技术属性】
技术研发人员：孙伟，赵春宇，陈许蒙，陈龙，李大健，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61