一种相机标定方法、立体重建方法及图像校正方法技术

本公开涉及一种相机标定方法，包括：获取多张拍摄图像，所述拍摄图像为所述相机从不同距离和/或不同角度拍摄标定板得到的图像，所述标定板中包含标定图像，所述标定图像中包含多个离散或连续的标定点；获取所述多张拍摄图像中所述相机各个像素对应的标定点；根据所述标定点在物理世界中的坐标计算其对应的所述像素在物理世界中的射线信息，获取所述相机的各像素对应的射线信息的集合以完成对所述相机的标定。以至少部分地解决传统标定方法通用性和准确性的不足。性和准确性的不足。性和准确性的不足。

【技术实现步骤摘要】
一种相机标定方法、立体重建方法及图像校正方法


[0001]本公开涉及计算机视觉
，具体而言，涉及一种相机标定方法、立体重建方法、图像校正方法、电子设备及计算机可读存储介质。

技术介绍

[0002]立体视觉在医学图像、工业检测、3D人脸识别、自动驾驶、动漫动画、虚拟/增强现实等诸多领域都发挥着基础性作用。立体视觉旨在根据以不同视角的相机拍摄的成对的2D图像中恢复3D几何形状。几十年来，立体视觉一直是计算机视觉的核心方向，并且，变得越来越重要，尤其是对于自动驾驶。
[0003]为了提高自动驾驶的安全性，提高基于立体视觉技术的服务质量，提高立体视觉算法的准确性和效率至关重要，尤其是相机标定。

技术实现思路

[0004]传统的立体视觉方法基于针孔相机模型，所有光线会聚到单个光学中心。该模型仅使用少量参数来描述相机的相对位置和方向，以及内在畸变，包括有效焦距、倾斜参数、主中心以及径向和切向畸变。然而，现实中很多类型的相机都无法建模为针孔相机，例如，手机相机、光场相机、鱼眼镜头、广角镜头或环景相机，等等。而且，由于制造工艺精确度影响，光学镜头和数字传感器的畸变非常复杂。传统的针孔相机模型不能完全描述所有的畸变。此外，由于标定板的失真、板上特征点的稀疏性等原因，传统的标定过程不太准确。理论上，传统的相机标定算法等价于非线性优化问题，这导致标定结果可能会陷入局部最优。因此，传统的相机标定方法难以满足当今许多实际应用的要求。
[0005]鉴于此，本公开提供了一种相机标定方法、立体重建方法、图像校正方法、电子设备及存储介质，以至少部分地解决相关技术方案中存在的不足。
[0006]根据本公开其中一实施例，提供了一种相机标定方法，包括：获取多张拍摄图像，所述拍摄图像为所述相机从不同距离和/或不同角度拍摄标定板得到的图像，所述标定板中包含标定图像，所述标定图像中包含多个离散或连续的标定点；获取所述多张拍摄图像中所述相机各个像素对应的标定点；根据所述标定点在物理世界中的坐标计算其对应的所述像素在物理世界中的射线信息，获取所述相机的各像素对应的射线信息的集合以完成对所述相机的标定。
[0007]根据本公开其中一实施例，提供了一种立体重建方法，包括：通过第一相机拍摄第一图像；获取所述第一相机的各像素对应的射线信息的第一集合；通过第二相机拍摄第二图像；获取所述第二相机的各像素对应的射线信息的第二集合；基于所述第一图像、第二图像、第一集合以及第二集合进行立体重建。
[0008]根据本公开其中一实施例，提供了一种图像校正方法，包括：通过相机获取拍摄图像；获取所述相机的各像素对应的射线信息的集合；根据所述拍摄图像和所述集合生成虚拟校正图像。
[0009]根据本公开其中一实施例，提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行以上任一项的相机标定方法、立体重建方法、图像校正方法。
[0010]根据本公开其中一实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上任一项的相机标定方法、立体重建方法、图像校正方法。
附图说明
[0011]此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
[0012]图1是根据本公开其中一实施例的基于PCA的线性拟合的示意图；
[0013]图2是根据本公开其中一实施例的数字投影仪或LCD显示的条纹图案的示意图；
[0014]图3是根据本公开其中一实施例的数字投影仪或LCD显示的条纹图案的示意图；
[0015]图4是根据本公开其中一实施例的相移算法中的条纹图像的示意图；
[0016]图5是根据本公开其中一实施例的根据图4中的条纹图像计算的环境、调制和包裹相位的示意图；
[0017]图6是根据本公开其中一实施例的物理相机图像与虚拟相机图像对比的示意图；
[0018]图7是根据本公开其中一实施例的极线矫正原理的示意图；
[0019]图8是根据本公开其中一实施例的极线矫正结果的示意图；
[0020]图9是根据本公开其中一实施例的分割结果的示意图；
[0021]图10是根据本公开其中一实施例的深度图的示意图；
[0022]图11是根据本公开其中一实施例的重建3D点云的示意图；
[0023]图12是根据本公开其中一实施例的一种电子设备的示意框图；
[0024]图13是根据本公开其中一实施例的一种非易失性计算机可读存储介质示意图。
具体实施方式
[0025]为了使本
的人员更好地理解本公开方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
[0026]需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0027]需要说明的是，示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执
行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0028]根据本公开其中一实施例的相机标定方法，可以包括如下步骤：
[0029]步骤S110，获取多张拍摄图像，拍摄图像为相机从不同距离和/或不同角度拍摄标定板得到的图像，标定板中包含标定图像，标定图像中包含多个离散或连续的标定点；
[0030]步骤S130，获取多张拍摄图像中所述相机各个像素对应的标定点；
[0031]步骤S150，根据标定点在物理世界中的坐标计算其对应的像素在物理世界中的射线信息，获取相机的各像素对应的射线信息的集合以完成对相机的标定。
[0032]通过本示例性实施例中的相机标定方法，一方面，相机各像素的射线信息是独立的，可以相交于一点，也可以不相交于一点，使得该方法具有更好的通用性，不仅可以适用于针孔相机，也可以适于非针孔相机；另一方面，本方法是对相机的各个像素进行独立的标定，每个像素的标定结果通过一条射线信息来表达，相比于以相机整体作为标定对象、通过计算相机畸变的内参及外参的传统标定方法，本方法将相机标定细分到相机的各个像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机标定方法，其特征在于，所述方法包括：获取多张拍摄图像，所述拍摄图像为所述相机从不同距离和/或不同角度拍摄标定板得到的图像，所述标定板中包含标定图像，所述标定图像中包含多个离散或连续的标定点：获取所述多张拍摄图像中所述相机各个像素对应的标定点；根据所述标定点在物理世界中的坐标计算其对应的所述像素在物理世界中的射线信息，获取所述相机的各像素对应的射线信息的集合以完成对所述相机的标定。2.根据权利要求1所述的方法，其特征在于，所述相机为针孔相机或非针孔相机。3.根据权利要求2所述的方法，其特征在于，所述非针孔相机包括：手机相机、光场相机、鱼眼镜头、广角镜头、环景相机或其他特殊用途的非针孔相机。4.根据权利要求1所述的方法，其特征在于，所述标定板为电子显示屏幕设备。5.根据权利要求4所述的方法，其特征在于，所述标定板为LCD面板、CRT显示屏或等离子体显示屏。6.根据权利要求1所述的方法，其特征在于，所述根据所述标定点在物理世界中的坐标计算其对应的所述像素在物理世界中的射线信息，包括：基于主成分分析法或者线性回归法根据所述标定点在物理世界中的坐标计算其对应的所述像素在物理世界中的射线信息。7.根据权利要求6所述的方法，其特征在于，所述基于主成分分析法根据所述标定点在物理世界中的坐标计算其对应的所述像素在物理世界中的射线信息，包括：基于主成分分析法或者线性回归法根据所述标定点在物理世界中的坐标进行线性拟合以计算对应的所述像素在物理世界中的射线信息。8.根据权利要求1所述的方法，其特征在于，并行计算各所述像素的射线信息。9.根据权利要求1所述的方法，其特征在于，所述标定图像为结构光模式图案。10.根据权利要求9所述的方法，其特征在于，所述结构光模式图案包括条纹图、格雷码图或者散斑图。11.根据权利要求1所述的方法，其特征在于，所述拍摄图像中仅包含所述标定图像。12.根据权利要求1所述的方法，其特征在于，所述标定板固定在线性导轨上，所述相机可沿所述线性导轨移动；或者，所述相机固定在线性导轨上，所述标定板可沿所述线性导轨移动；或者，所述相机和所述标定板均可沿所述线性导轨移动。13.一种立体重建方法，其特征在于，所述方法包括：通过第一相机拍摄第一图像；获取所述第一相机的各像素对应的射线信息的第一集合；通过第二相机拍摄第二图像；获取所述第二相机的各像素对应的射线信息的第二集合；基于所述第一图像、第二图像、第一集合以及第二集合进行立体重建。14.根据权利要求13所述的方法，其特征在于，所述基于所述第一图像、第二图像、第一集合以及第二集合进行立体重建，包括：确定...

【专利技术属性】
技术研发人员：丁，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：