基于智能手机的三维模型扫描重建方法技术

本发明专利技术提出一种基于智能手机的三维模型扫描重建方法，包括以下步骤：获取智能手机的姿态数据，并根据智能手机的姿态数据以智能手机的摄像头中心作为圆点建立世界坐标系；从通过摄像头拍摄的图像序列中筛选多个关键帧；对摄像头进行追踪得到摄像头的移动数据和姿态数据；估计多个关键帧中每一帧的深度信息以及可信度；根据每一帧的深度信息的可信度对多个关键帧的深度信息进行加权平均以得到最终的深度信息；将关键帧中每一帧映射到世界坐标系中，从而实现三维模型的重建。本发明专利技术的方法具有计算复杂度低、算法运行速度快、算法可靠性高及计算结果准确性高的优点。

【技术实现步骤摘要】

本专利技术涉及计算机视觉及三维重建
，特别涉及一种基于智能手机的三维 模型扫描重建方法。
技术介绍
当前流行的三维模型的扫描方式通常是采用Kinect，其结果比较准确，但是由于 采用结构光进行深度估计，不能用于室外场景的采集。
技术实现思路
本专利技术旨在至少在一定程度上解决上述相关技术中的技术问题之一。为此，本专利技术的目的在于提供一种，该方 法具有计算复杂度低、算法运行速度快、算法可靠性高及计算结果准确性高的优点。为了实现上述目的，本专利技术的实施例提出了一种基于智能手机的三维模型扫描重 建方法，包括以下步骤：Sl:获取所述智能手机的姿态数据，并根据所述智能手机的姿态数 据以所述智能手机的摄像头中心作为圆点建立世界坐标系；S2 :从通过所述摄像头拍摄的 图像序列中筛选多个关键帧；S3 :对所述摄像头进行追踪得到所述摄像头的移动数据和姿 态数据；S4 :估计所述多个关键帧中每一帧的深度信息以及可信度；S5 :根据每一帧的深度 信息的可信度对所述多个关键帧的深度信息进行加权平均以得到最终的深度信息；S6 :将 所述关键帧中每一帧映射到所述世界坐标系中，从而实现所述三维模型的重建。根据本专利技术实施例的，由于在智能手机中 集成了较多的传感器，因此，可以利用传感器的数据对扫描物体的位置和姿态进行估计，从 而大大降低了计算的复杂度，同时得到的结果也较为准确。另外，筛选出一些符合要求的关 键帧，并对这些关键帧进行处理，对每一个关键帧计算出的深度进行可信度估计，对所有关 键帧计算出的深度按照可信度进行加权平均，得到最终的深度结果，因此，能够提高算法运 行的速度及可靠性。另外，该方法基于智能手机实现三维重建，因此适用性很强。另外，根据本专利技术上述实施例的还可以具 有如下附加的技术特征：在一些示例中，所述步骤Sl进一步包括：从所述智能手机的陀螺仪中读取传感传感器平面的法向量为8 =(()工086^|(16〇,从法向量哀中去除2轴方向得到7轴方向，即 在一些示例中，所述关键帧的判定条件包括：所述智能手机的传感器中加速度的 值a<a_，其中，a为传感器的加速度的值，a_为传感器的加速度阈值；计算所述图像序 列中每个图片的对比度，将所述每个图片分成大小为5像素*5像素的小块D，对每一个小r，Fj,F1)表示第j帧和第i个关键帧的自相关函数，该函数的自变量u的范围是从1到width，V的范围是从1到height，Fj (x，y)表示第j帧点（X，y)上的像素值，计算corr(u， V，Fj,Fi)中的最大值max(corr(u，r，Fj,Fi))和平均值avg(corr(u，r，Fj,Fi)),如果 max(corr(u，r，Fj,Fi))彡IOavg(corr(u，r，Fj,Fi))，则判定存在一个峰值，否则忽略该帧 并跳过后面的步骤，并计算取得最大值11^1(〇01'1'(11，￥、匕，？;)）的点（1]^1￥，1]^111)，则匹配符合要求，否则忽略这一帧。 在一些示例中，所述步骤S3进一步包括：获取所述摄像头的加速度；根据所述摄 像头的加速度得到所述摄像头的速度；根据所述摄像头的速度得到所述摄像头的位置；从 所述智能手机的陀螺仪中得到所述摄像头的姿态数据，其中，第i帧传感器平面的法向量 为荩，传感器中水平方向的向量为A。 在一些示例中，在所述步骤S4中，计算所述多个关键帧中每一帧的深度信息，进 一步包括：采用滑动窗口的方法对选取的关建帧KFt和当前关键帧KFt+1进行双目立体匹 配，具体匹配公式如下： 此时关键帧KFt中的点（x，y)与关键帧KFt+1中的点（x+i，y+j)匹配，其中ws表示 搜索窗口的大小；采用多级分辨率的方法自顶向下进行搜索；计算所述关键帧中每一帧的 深度图；对得到的深度图进行双边滤波。 在一些示例中，在所述步骤S4中，计算所述多个关键帧中每一帧的可信度，进一 步包括：计算基于所述深度图的可信度，具体计算公式如下：其中，dmax(x,y)和dmin(x,y)分别为从（x-1,y-1)到（x+1,y+1)共 9 个点上的 深度的最大值和最小值；计算基于灰度图的可信度，具体计算公式如下： 其中，gmax(x,y)和gmin(x,y)分别为从（x-1,y-1)至丨」（x+1,y+1)共9个点上的灰 度值的最大值和最小值；根据所述深度图的可信度和所述灰度图的可信度计算总可信度， 具体计算公式如下：conf(X，y) =dconf(X，y)*gconf(X，y)〇 在一些示例中，像素点（Pl，qj对应的世界空间坐标系为： (%烏，馬）+ "(A，％H +人V/A +々:/V飞x A， 其中，kk2由相机焦距、C⑶之间的距离等相机的固有性质确定，d(pDqi)表示第 i帧时像素点（PDq1)上的深度值，S1U1,yi，Z1)为相机位置移动到世界空间坐标系中的点， 传感器平面的法向量为传感器中水平方向的向量为埤。 本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本专利技术的实践了解到。【附图说明】 本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变 得明显和容易理解，其中：图1是根据本专利技术一个实施例的的流程 图。【具体实施方式】 下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。 以下结合附图描述根据本专利技术实施例的。图1是根据本专利技术一个实施例的的流程 图。如图1所示，该方法包括以下步骤： 步骤Sl :获取所述智能手机的姿态数据，并根据所述智能手机的姿态数据以所述 智能手机的摄像头中心作为原点建立世界坐标系。 具体地说，该步骤即实现参数初始化。该步骤在一次扫描中只进行一次，其复杂度 并不会影响整个算法的实时性。所谓一次扫描是指从用户按下扫描开始键起，到达扫描停 止条件为止。在一些示例中，该步骤进一步包括：步骤Sll :智能手机初始状态获取。从智能手机的陀螺仪中读取传感器平面的法 和地面平行。由于智能手机上的摄像头和传感器放置于同一块主板上，因此可以将传感器 的姿态视为摄像头的角度。 步骤S12:世界坐标系设定。将此时智能手机的摄像头中心所处的时间空间坐标据步骤Sll中获取的角度数据0得到传感器平面的法向量为5 = (G，a>sAsin的，从法向量的坐标系为一组空间的单位正交基。 步骤S2 :从通过所述摄像头拍摄的图像序列中筛选多个关键帧。具体地说，为了 实现在智能手机上实时采集和记录，只对有带来额外有效信息的帧进行处理。 在一些示例中，关键帧的判定条件如下： 1.智能手机传感器中加速度的值不能过大，即a<a_，其中，a为传感器的加速度 的值，amax为传感器的加速度阈值。如果加速度值过大（a>a_)，此时智能手机可能处于快 速晃动中，状态不稳定，从传感器中读出的数据的误差也比较大，因此忽略这些帧。 2.智能手机的摄像头得到的图像质量要高。一方面，图片不能太模糊，否则将不 能辨识拍摄物体；另一方面，图片不能有大片的无纹理区域，否则将难以进行匹配。因此，需本文档来自技高网...

【技术保护点】
一种基于智能手机的三维模型扫描重建方法，其特征在于，包括以下步骤：S1：获取所述智能手机的姿态数据，并根据所述智能手机的姿态数据以所述智能手机的摄像头中心作为原点建立世界坐标系；S2：从通过所述摄像头拍摄的图像序列中筛选多个关键帧；S3：对所述摄像头进行追踪得到所述摄像头的移动数据和姿态数据；S4：估计所述多个关键帧中每一帧的深度信息以及可信度；S5：根据每一帧的深度信息的可信度对所述多个关键帧的深度信息进行加权平均以得到最终的深度信息；S6：将所述关键帧中每一帧映射到所述世界坐标系中，从而实现所述三维模型的重建。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘烨斌，张洋，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11