一种端到端相机建模方法及装置制造方法及图纸

本申请提供的一种端到端相机建模方法及装置，用于相机标定，首先通过获取棋盘格图像作为待标定图像，所述待标定图像为覆盖整个成像平面的棋盘格图像；然后通过将覆盖整个成像平面待标定图像进行分割，生成棋盘格图像；最后通过提取棋盘格角点对每个棋盘格区域使用接受域学习算法建立接受域，并对所述接受域进行回归优化拟合，得到相机的世界三维到图像二维平面坐标系之间投影关系，从而精确地标定出相机成像过程的映射关系，满足相机标定的统一性和通用性。

【技术实现步骤摘要】
一种端到端相机建模方法及装置
本申请涉及计算机视觉
，尤其涉及一种端到端相机建模方法及装置，用于相机标定。
技术介绍
目前，计算机视觉技术的应用在生活中随处可见，其中，相机标定技术是计算机视觉技术的基础。然而由于所处的真实世界为三维空间的，而图像为二维平面的，因此，可将相机成像当作是一个将三维空间投影到二维平面的映射。然而，相机的成像过程是一个物理过程，无法精确地用函数形式表达，因此，相机标定的目标便是求取一个合适的数学模型及其参数，使其能够尽可能地近似这个三维到二维的过程，即相机标定是在拟合世界三维坐标系与像素二维坐标系之间的映射关系。现有技术中，相机标定方式主要是基于模型的直接法，然而直接法往往需要知道关于相机的先验信息，在此，先验信息是指在进行研究对象的相关研究实验之前就已经获得的关于该研究对象的资料，即：在进行相机标定时，需要知道的先验信息包括：相机的数量、相机镜头的种类、相机的投影方式等等。然而，现有技术中，对于针孔相机来说，最具有代表性的是张正友棋盘格标定法；而对于鱼眼相机来说，最具有代表性的是generic模型和kalib模型。虽然现有技术中的相机标定方式都可以比较精确地标定出相机成像过程的映射关系，但并不具有一般性，即模型限制了所适用的相机数量与类型，因此，无法满足相机标定的统一性和通用性。
技术实现思路
本申请提供了一种端到端相机建模方法及装置，目的在于：如何精确地标定出相机成像过程的映射关系，满足相机标定的统一性和通用性。为了实现上述目的，本申请提供了以下技术方案：一种端到端相机建模方法，用于相机标定，该方法包括：获取棋盘格图像作为待标定图像，所述待标定图像为覆盖整个成像平面的棋盘格图像；检测并提取所述待标定图像中的棋盘格角点，监测当前棋盘模式是否符合预定义棋盘模式，所述棋盘格角点用于标识角点所在处的区域信息；当所述当前棋盘模式符合所述预定义棋盘模式，则基于多视图几何原理，计算各个棋盘格上的角点在世界坐标系中的坐标、图像坐标系中的坐标以及各个棋盘格上的角点在世界坐标系和图像坐标系中坐标的对应关系；使用接受域学习算法建立接受域，并对所述接受域进行回归优化拟合，得到相机的投影关系。优选的，所述检测并提取所述待标定图像中的棋盘格角点，监测当前棋盘模式是否符合预定义棋盘模式，包括：使用公开库OpenCV中的FindchessboardCorners()函数检测并提取所述待标定图像中的棋盘格角点；判断所述当前棋盘模式下棋盘格角点的数量是否与所述预定义棋盘模式下棋盘格角点的数量一致。优选的，所述基于多视图几何原理，计算各个棋盘格上的角点在世界坐标系中的坐标、图像坐标系中的图像坐标以及各个棋盘格上的角点在世界坐标系的坐标与图像坐标系中的图像坐标之间的对应关系，包括：基于多视图几何原理，通过单应性矩阵计算所述待标定图像中各个棋盘格的旋转与平移，得到各个棋盘格的旋转角度和各个棋盘格的平移位置；基于所述各个棋盘格的平移位置，使用所述公开库OpenCV中的FindchessboardCorners()函数确定各个棋盘格上的角点在图像坐标系中的图像坐标；基于各个棋盘格的旋转角度和各个棋盘格的平移位置，根据所述各个棋盘格上的角点在图像坐标系中的图像坐标和所述单应性矩阵进行计算，确定各个棋盘格上的角点在世界坐标系中的坐标；根据所述各个棋盘格上的角点在图像坐标系中的图像坐标和所述各个棋盘格上的角点在世界坐标系中的坐标，确定所述各个棋盘格上的角点在世界坐标系的坐标与图像坐标系中的图像坐标之间的对应关系。优选的，所述使用接受域学习算法建立接受域，并对所述接受域进行回归优化拟合，得到相机的投影关系，包括：判断所述成像平面上是否存在接受域；当所述成像平面上不存在接受域时，按照第一预设公式构建初始接受域；当所述成像平面上已存在接受域时，则将对应的角点对纳入距离最近的接受域中，并按照第二预设公式计算估计误差；比较所述估计误差与预设阈值之间的大小关系；若所述估计误差低于所述预设阈值，则按照第三预设公式更新所述接受域的参数；若所述估计误差高于所述预设阈值，则按照所述第二预设公式重新构建接受域参数；通过梯度下降法，对所述接受域按照优化目标函数进行回归优化拟合，优化所述优化目标函数的中接受域参数，得到所述相机的投影关系。一种端到端相机建模装置，用于相机标定，该装置包括：第一处理单元，用于获取棋盘格图像作为待标定图像，所述待标定图像为覆盖整个成像平面的棋盘格图像；第二处理单元，用于检测并提取所述待标定图像中的棋盘格角点，监测当前棋盘模式是否符合预定义棋盘模式，所述棋盘格角点用于标识角点所在处的区域信息；第三处理单元，用于当所述当前棋盘模式符合所述预定义棋盘模式，则基于多视图几何原理，计算各个棋盘格上的角点在世界坐标系中的坐标、图像坐标系中的坐标以及各个棋盘格上的角点在世界坐标系和图像坐标系中坐标的对应关系；第四处理单元，用于使用接受域学习算法建立接受域，并对所述接受域进行回归优化拟合，得到相机的投影关系。优选的，所述第二处理单元具体用于：使用公开库OpenCV中的FindchessboardCorners()函数检测并提取所述待标定图像中的棋盘格角点；判断所述当前棋盘模式下棋盘格角点的数量是否与所述预定义棋盘模式下棋盘格角点的数量一致。优选的，所述第三处理单元具体用于：基于多视图几何原理，通过单应性矩阵计算所述待标定图像中各个棋盘格的旋转与平移，得到各个棋盘格的旋转角度和各个棋盘格的平移位置；基于所述各个棋盘格的平移位置，使用所述公开库OpenCV中的FindchessboardCorners()函数确定各个棋盘格上的角点在图像坐标系中的图像坐标；基于各个棋盘格的旋转角度和各个棋盘格的平移位置，根据所述各个棋盘格上的角点在图像坐标系中的图像坐标和所述单应性矩阵进行计算，确定各个棋盘格上的角点在世界坐标系中的坐标；根据所述各个棋盘格上的角点在图像坐标系中的图像坐标和所述各个棋盘格上的角点在世界坐标系中的坐标，确定所述各个棋盘格上的角点在世界坐标系的坐标与图像坐标系中的图像坐标之间的对应关系。优选的，所述第四处理单元具体用于：判断所述成像平面上是否存在接受域；当所述成像平面上不存在接受域时，按照第一预设公式构建初始接受域；当所述成像平面上已存在接受域时，则将对应的角点对纳入距离最近的接受域中，并按照第二预设公式计算估计误差；比较所述估计误差与预设阈值之间的大小关系；若所述估计误差低于所述预设阈值，则按照第三预设公式更新所述接受域的参数；若所述估计误差高于所述预设阈值，则按照所述第二预设公式重新构建接受域参数；通过梯度下降法，对所述接受域按照优化目标函数进行回归优化拟合，优化所述优化目标函数的中接受域参数，得到所述本文档来自技高网...

【技术保护点】
1.一种端到端相机建模方法，其特征在于，用于相机标定，该方法包括：/n获取棋盘格图像作为待标定图像，所述待标定图像为覆盖整个成像平面的棋盘格图像；/n检测并提取所述待标定图像中的棋盘格角点，监测当前棋盘模式是否符合预定义棋盘模式，所述棋盘格角点用于标识角点所在处的区域信息；/n当所述当前棋盘模式符合所述预定义棋盘模式，则基于多视图几何原理，计算各个棋盘格上的角点在世界坐标系中的坐标、图像坐标系中的坐标以及各个棋盘格上的角点在世界坐标系和图像坐标系中坐标的对应关系；/n使用接受域学习算法建立接受域，并对所述接受域进行回归优化拟合，得到相机的投影关系。/n

【技术特征摘要】
1.一种端到端相机建模方法，其特征在于，用于相机标定，该方法包括：
获取棋盘格图像作为待标定图像，所述待标定图像为覆盖整个成像平面的棋盘格图像；
检测并提取所述待标定图像中的棋盘格角点，监测当前棋盘模式是否符合预定义棋盘模式，所述棋盘格角点用于标识角点所在处的区域信息；
当所述当前棋盘模式符合所述预定义棋盘模式，则基于多视图几何原理，计算各个棋盘格上的角点在世界坐标系中的坐标、图像坐标系中的坐标以及各个棋盘格上的角点在世界坐标系和图像坐标系中坐标的对应关系；
使用接受域学习算法建立接受域，并对所述接受域进行回归优化拟合，得到相机的投影关系。


2.根据权利要求1所述的方法，其特征在于，所述检测并提取所述待标定图像中的棋盘格角点，监测当前棋盘模式是否符合预定义棋盘模式，包括：
使用公开库OpenCV中的FindchessboardCorners()函数检测并提取所述待标定图像中的棋盘格角点；
判断所述当前棋盘模式下棋盘格角点的数量是否与所述预定义棋盘模式下棋盘格角点的数量一致。


3.根据权利要求2所述的方法，其特征在于，所述基于多视图几何原理，计算各个棋盘格上的角点在世界坐标系中的坐标、图像坐标系中的图像坐标以及各个棋盘格上的角点在世界坐标系的坐标与图像坐标系中的图像坐标之间的对应关系，包括：
基于多视图几何原理，通过单应性矩阵计算所述待标定图像中各个棋盘格的旋转与平移，得到各个棋盘格的旋转角度和各个棋盘格的平移位置；
基于所述各个棋盘格的平移位置，使用所述公开库OpenCV中的FindchessboardCorners()函数确定各个棋盘格上的角点在图像坐标系中的图像坐标；
基于各个棋盘格的旋转角度和各个棋盘格的平移位置，根据所述各个棋盘格上的角点在图像坐标系中的图像坐标和所述单应性矩阵进行计算，确定各个棋盘格上的角点在世界坐标系中的坐标；
根据所述各个棋盘格上的角点在图像坐标系中的图像坐标和所述各个棋盘格上的角点在世界坐标系中的坐标，确定所述各个棋盘格上的角点在世界坐标系的坐标与图像坐标系中的图像坐标之间的对应关系。


4.根据权利要求1所述的方法，其特征在于，所述使用接受域学习算法建立接受域，并对所述接受域进行回归优化拟合，得到相机的投影关系，包括：
判断所述成像平面上是否存在接受域；
当所述成像平面上不存在接受域时，按照第一预设公式构建初始接受域；
当所述成像平面上已存在接受域时，则将对应的角点对纳入距离最近的接受域中，并按照第二预设公式计算估计误差；
比较所述估计误差与预设阈值之间的大小关系；
若所述估计误差低于所述预设阈值，则按照第三预设公式更新所述接受域的参数；
若所述估计误差高于所述预设阈值，则按照所述第二预设公式重新构建接受域参数；
通过梯度下降法，对所述接受域按照优化目标函数进行回归优化拟合，优化所述优化目标函数的中接受域参数，得到所述相机的投影关系。


5.一种端到端相机建模装置，其特征在于，用于相机标定，该装置包括：
第一处理单元，用于获取棋盘格图像作为待标定图像...

【专利技术属性】
技术研发人员：李洁，欧阳紫洲，俞经睿，苏剑波，
申请(专利权)人：上海汽车集团股份有限公司，上海交通大学，
类型：发明
国别省市：上海;31