一种基于三目视觉的三维重建方法和装置制造方法及图纸

本发明专利技术实施例公开了一种基于三目视觉的三维重建方法，包括获取每个相机的内部结构参数和畸变参数；两两匹配不同图像中对应控制点，滤除匹配错误的控制点，确定外部参数和校正极线；依据控制点，优化内部结构参数、外部参数和畸变参数；根据优化后的内部结构参数、外部参数和畸变参数，标定每个相机；基于标定后的每个相机所采集的图像构建三维深度点云图，通过融合三维深度点云图得到重建后的深度图。本申请基于三目视觉技术的三维重建技术，相比于常见的基于双目视觉的三维重建，通过多设置一个相机，得到更多的信息，可以更好的检测噪声点等异常点，更好的判断三维点的重建是否正确，实现高精度的场景重建。

A 3D reconstruction method and device based on binocular vision

The embodiment of the invention discloses a three-dimensional reconstruction method based on binocular vision, which includes obtaining the internal structure parameters and distortion parameters of each camera; matching the corresponding control points in different images, filtering out the wrong control points, determining the external parameters and correction polar line; optimizing the internal structure parameters, external parameters and distortion parameters according to the control points; and optimizing the internal structure parameters according to the optimized internal structure parameters Part structure parameters, external parameters and distortion parameters are used to calibrate each camera; based on the images collected by each camera after calibration, the 3D depth point cloud image is constructed, and the reconstructed depth image is obtained by fusing the 3D depth point cloud image. Compared with the common three-dimensional reconstruction based on binocular vision, the three-dimensional reconstruction technology of the application based on the three-dimensional vision technology can obtain more information by setting more than one camera, better detect abnormal points such as noise points, better judge whether the reconstruction of the three-dimensional points is correct, and achieve high-precision scene reconstruction.

【技术实现步骤摘要】
一种基于三目视觉的三维重建方法和装置
本专利技术实施例涉及人工智能、立体视觉
，具体涉及一种基于三目视觉的三维重建方法和装置。
技术介绍
三维重建技术是计算机视觉领域的一个重要的问题，在无损检测，距离测量等很多方面具有广泛地应用。传统的三维重建技术是基于双目的，主要出发点是模仿人的眼睛。它采用两个视觉传感器，通过图像采集、标定、立体匹配、等获得丰富的三维场景信息确定场景中不同物体的距离。但是，上述方法存在准确性低的问题，为了提高上述方法的准确性，就需要借助于雷达，然而这样却大大的提高了成本。
技术实现思路
为此，本专利技术实施例提供一种基于三目视觉的三维重建方法和装置，以解决现有技术中三维重建准确性低以及成本高的问题。为了实现上述目的，本专利技术实施例提供如下技术方案：根据本专利技术实施例的第一方面提供了一种基于三目视觉的三维重建方法，包括三个相机，还包括：获取每个所述相机的内部结构参数和畸变参数；两两匹配不同图像中对应控制点，滤除匹配错误的控制点，确定所述相机的外部参数，校正所述相机的极线；依据所述控制点，采用光束平差参数优化方法，对内部结构参数、外部参数和畸变参数优化；根据优化后的内部结构参数、外部参数和畸变参数，标定每个所述相机的内部结构参数、外部参数和畸变参数；基于标定后的每个所述相机所采集的图像构建三维深度点云图，通过融合三维深度点云图得到重建后的深度图。进一步地，所述的基于三目视觉的三维重建方法中，所述两两匹配不同图像中的对应控制点，包括：标注每个所述相机采集的图像中的控制点；获取每个所述控制点的SIFT特征描述子；根据每个所述控制点的SIFT特征描述子，采用Hamming距离方法，两两匹配不同图像中对应控制点。进一步地，所述的基于三目视觉的三维重建方法中，所述滤除匹配错误的控制点，包括：采用RANSAC算法滤除匹配错误的控制点。进一步地，所述的基于三目视觉的三维重建方法中，所述内部参数包括：焦距参数和相机中心参数，所述外部参数包括：相机的空间位置参数、旋转矩阵和平移矩阵，所述畸变参数包括：径向畸变和切向畸变。进一步地，所述的基于三目视觉的三维重建方法中，所述基于标定后的每个所述相机所采集的图像构建三维深度点云图，通过融合三维深度点云图得到重建后的深度图，包括：计算每个标定后所述相机采集的图像中的各个点成为场景中物体的概率，得到三张概率图；采用半全局代价空间优化方法，去除每张概率图中的不连续的噪点；基于去除噪点后的三张概率图构建三维深度点云图，融合三维深度点云图得到重建后的深度图。进一步地，所述的基于三目视觉的三维重建方法中，所述基于去除噪点后的三张概率图构建三维深度点云图，融合三维深度点云图得到重建后的深度图，包括：以所述相机的采集位置为原点，通过射线的方式遍历去除噪点后的三张所述概率图，筛选出每条射线的上概率最大的点，获取概率最大的点对应的深度值，得到三维深度点云图；融合三张所述三维深度点云图，得到重建后的深度图。进一步地，所述的基于三目视觉的三维重建方法中，所述融合三张所述三维深度点云图，得到重建后的深度图，包括：将三张所述三维深度点云图上的概率最大的点映射到三维世界坐标系中，得到重建后的深度图。进一步地，所述的基于三目视觉的三维重建方法中，还包括：任一映射到所述三维世界坐标系中的概率最大的点对应的三个深度值大于等于预设值时，则滤除该点。根据本专利技术实施例的第二方面提供了一种基于三目视觉的三维重建装置，包括三个相机，包括：相机参数获取模块，用于获取每个所述相机的内部结构参数和畸变参数；控制点匹配模块，用于两两匹配不同图像中对应控制点，滤除匹配错误的控制点，确定外部参数，校正所述相机的极线；相机参数优化模块，用于依据所述控制点，采用光束平差参数优化方法，对内部结构参数、外部参数和畸变参数优化；相机参数标定模块，用于根据优化后的内部结构参数、外部参数和畸变参数，标定每个所述相机的内部结构参数、外部参数和畸变参数；图像融合模块，用于基于标定后的每个所述相机所采集的图像构建三维深度点云图，通过融合三维深度点云图得到重建后的深度图。根据本专利技术实施例的第三方面提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的基于三目视觉的三维重建方法的步骤。本专利技术实施例具有如下优点：本专利技术实施例公开了一种基于三目视觉的三维重建方法，包括三个相机，获取每个所述相机的内部结构参数和畸变参数；两两匹配不同图像中对应控制点，滤除匹配错误的控制点，确定所述相机的外部参数，校正所述相机的极线；依据所述控制点，采用光束平差参数优化方法，对内部结构参数、外部参数和畸变参数优化；根据优化后的内部结构参数、外部参数和畸变参数，标定每个所述相机的内部结构参数、外部参数和畸变参数；基于标定后的每个所述相机所采集的图像构建三维深度点云图，通过融合三维深度点云图得到重建后的深度图。一方面，本申请基于三目视觉技术的三维重建技术，相比于常见的基于双目视觉的三维重建，通过多设置一个相机，得到更多的信息，可以更好的检测噪声点等异常点，更好的判断三维点的重建是否正确，实现高精度的场景重建。另一方面，本申请采用基于三目视觉的三维重建技术，可以准确的重建出实际的三维场景，满足自动驾驶、电力系统等多个领域的实际需求，为人工智能的落地提供技术支撑，具有良好的社会效益，同时相对于雷达，其成本较低，具有较好的经济效果。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
能涵盖的范围内。图1为本专利技术本实施例提供的基于三目视觉的三维重建方法的流程图；图2为本专利技术本实施例提供的基于三目视觉的三维重建装置的结构示意图；图3为本专利技术本实施例提供的一种计算机设备的结构示意图。具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人本文档来自技高网...

【技术保护点】
1.一种基于三目视觉的三维重建方法，包括三个相机，其特征在于，还包括：/n获取每个所述相机的内部结构参数和畸变参数；/n两两匹配不同图像中对应控制点，滤除匹配错误的控制点，确定所述相机的外部参数，校正所述相机的极线；/n依据所述控制点，采用光束平差参数优化方法，对内部结构参数、外部参数和畸变参数优化；/n根据优化后的内部结构参数、外部参数和畸变参数，标定每个所述相机的内部结构参数、外部参数和畸变参数；/n基于标定后的每个所述相机所采集的图像构建三维深度点云图，通过融合三维深度点云图得到重建后的深度图。/n

【技术特征摘要】
1.一种基于三目视觉的三维重建方法，包括三个相机，其特征在于，还包括：
获取每个所述相机的内部结构参数和畸变参数；
两两匹配不同图像中对应控制点，滤除匹配错误的控制点，确定所述相机的外部参数，校正所述相机的极线；
依据所述控制点，采用光束平差参数优化方法，对内部结构参数、外部参数和畸变参数优化；
根据优化后的内部结构参数、外部参数和畸变参数，标定每个所述相机的内部结构参数、外部参数和畸变参数；
基于标定后的每个所述相机所采集的图像构建三维深度点云图，通过融合三维深度点云图得到重建后的深度图。


2.根据权利要求1所述的基于三目视觉的三维重建方法，其特征在于，所述两两匹配不同图像中的对应控制点，包括：
标注每个所述相机采集的图像中的控制点；
获取每个所述控制点的SIFT特征描述子；
根据每个所述控制点的SIFT特征描述子，采用Hamming距离方法，两两匹配不同图像中对应控制点。


3.根据权利要求2所述的基于三目视觉的三维重建方法，其特征在于，所述滤除匹配错误的控制点，包括：
采用RANSAC算法滤除匹配错误的控制点。


4.根据权利要求1所述的基于三目视觉的三维重建方法，其特征在于，
所述内部参数包括：焦距参数和相机中心参数，所述外部参数包括：相机的空间位置参数、旋转矩阵和平移矩阵，所述畸变参数包括：径向畸变和切向畸变。


5.根据权利要求1所述的基于三目视觉的三维重建方法，其特征在于，所述基于标定后的每个所述相机所采集的图像构建三维深度点云图，通过融合三维深度点云图得到重建后的深度图，包括：
计算每个标定后所述相机采集的图像中的各个点成为场景中物体的概率，得到三张概率图；
采用半全局代价空间优化方法，去除每张概率图中的不连续的噪点；
基于去除噪点后的三张概率图构建三维深度点云图，融合三维深度点云图得到重建后的深度图。


6.根...

【专利技术属性】
技术研发人员：李学钧，戴相龙，蒋勇，何成虎，杨政，
申请(专利权)人：江苏濠汉信息技术有限公司，
类型：发明
国别省市：江苏;32