一种相机镜头畸变参数估计装置及方法制造方法及图纸

本发明专利技术提出了一种相机镜头畸变参数估计装置及方法，包括棋盘格、光源、图像采集模块、畸变校正模块和参数估计模块；所述光源发出光照射所述棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头，使用图像采集模块获取棋盘格的近距离成像；畸变校正模块将采集到的像进行角点提取，计算并记录镜头的内部参数和畸变参数；参数估计模块将计算得到的镜头的内部参数和畸变参数进行最优化估计，进而得到批量镜头的估计参数。本发明专利技术能够降低生产成本，提高生产效率，提高检测精度，适合工业化生产。

【技术实现步骤摘要】
一种相机镜头畸变参数估计装置及方法
本专利技术涉及视觉及图像处理
，尤其涉及一种相机镜头畸变参数估计装置及方法。
技术介绍
相机在安防、机器人、自动驾驶以及日常生活中等诸多行业中得以应用。相机的镜头是相机结构中最为重要的部件，它直接影响到相机实际成像效果。而由于透镜的固有特性——凸透镜汇聚光线、凹透镜发散光线，往往相机在成像时都有透视失真，这种失真对于成像质量是十分不利的。抑制由于透镜四周所产生的畸变失真直接影响到相机最终成像效果，改善视觉效果，更加真实的还原场景物体。高档的相机镜头通常通过光学设计和特殊晶片材料来抑制镜头畸变，但仍然无法完全消除畸变，而普通的体积较小相机由于设计的空间有限无法从光路上进行改善，并且随着镜头的视场角（FieldOfView,FOV）增加成像四周的畸变和失真会愈加严重。因此针对数字相机中，小体积镜头的畸变失真相抑制显得尤为重要。工业中批次量产镜头的数量多，并且各个镜头间具有差异，其个体间的镜头参数无法做到全部通用。已有的量产镜头畸变参数计算包括：首先需要采购专门的标定光箱，然后通过专业的数字采集工具，对光箱内棋盘格进行符合一定要求的成像，根据采集到的畸变图像计算出棋盘格X型角点（CornerofXType，CXT）。在提取到的角点基础上，采用相应的畸变失真模型计算出透镜畸变失真参数，即镜头内部参数。但在工业大批量的量产要求下，逐个标定镜头参数需要巨大的人力与物力，延长了产品的量产周期和交货时间，极大的提高了工厂生产成本，因此较为准确地估计出批次镜头近似参数，在提高出货率的同时，保证镜头最终的成像质量，抑制镜头四周的畸变失真是一项非常重要的工作。
技术实现思路
本专利技术提出的一种相机镜头畸变参数估计方法及处理装置，以降低生产成本，提高生产效率，提高检测精度。根据本专利技术的第一方面，提出一种相机镜头畸变参数估计装置，包括：棋盘格、光源、图像采集模块、畸变校正模块和参数估计模块；所述光源发出光照射所述棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头，使用图像采集模块获取棋盘格的近距离成像；畸变校正模块将采集到的像进行角点提取，利用自身设定公式，，计算并记录镜头的内部参数和畸变参数，并将计算得到的镜头的内部参数和畸变参数传递至参数估计模块，其中，A为相机内部参数矩阵，其中s为缩放因子，u,v表示图像坐标系中的一点(u,v)的坐标，R为相机的旋转矩阵，T为相机的平移矩阵，x,y,z为空间中一点(x,y,z)的坐标，xd,yd为畸变图像上一点(xd,yd)的坐标，r2=x2+y2，k1,k2,k3分别是径向畸变的三个参数，p1,p2是切向畸变系数；参数估计模块将计算得到的镜头的内部参数和畸变参数进行最优化估计，进而得到批量镜头的估计参数。根据本专利技术的第二方面，提出一种相机镜头畸变参数估计方法，包括步骤：光源发出光照射棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头；使用图像采集模块在所述样本镜头处获取棋盘格的近距离成像，并将成像传递至畸变校正模块；所述畸变校正模块将采集到的像进行角点提取，根据公式，，计算并记录镜头的内部参数和畸变参数，并将计算得到的镜头的内部参数和畸变参数传递至参数估计模块，其中，A为相机内部参数矩阵，其中s为缩放因子，u,v表示图像坐标系中的一点(u,v)的坐标，R为相机的旋转矩阵，T为相机的平移矩阵，x,y,z为空间中一点(x,y,z)的坐标，xd,yd为畸变图像上一点(xd,yd)的坐标，r2=x2+y2，k1,k2,k3分别是径向畸变的三个参数，p1,p2是切向畸变系数；以及所述参数估计模块进行最优化估计，进而得到批量镜头的估计参数。本专利技术规避了现有技术中需要建立单独的标定环境，并逐一对镜头进行成像采集图像计算出镜头参数，导致相机量产成本上升的问题。此外，本专利技术还克服了传统的CXT提取算法在模糊角点、分离角点、畸变处角点和棋盘格边缘角点检测准确度低、无法检测的问题。从而本专利技术适用于大批量镜头生产，能够具备较好的批量检测精准度，生产效率高，并大大降低成本。另外，根据本专利技术的一个实施例，所述光源包括自然光源，所述自然光源照射棋盘格并反射至所述样本镜头；所述光源包括灯具光源，所述灯具光源照射棋盘格透射至所述样本镜头；使用自然光源时所述棋盘格的透光性低于使用灯具光源时所述棋盘格的透光性。另外，根据本专利技术的一个实施例，所述畸变校正模块能够对畸变棋盘格图像的角点进行精准标注、随机分割图像以及使用分割结果训练网络。另外，根据本专利技术的一个实施例，所述所述畸变校正模块将采集到的像进行角点提取中，包括：1）进行深度神经网络训练：1.1）首先构建网络训练数据集，随机选择多个样本镜头分别对所述棋盘格进行成像，获取图片后对所述多个样本的图片中的角点进行精确标注，并记录角点位置；1.2）统计畸变图中相邻标注点的间距，并求出最小标注点间距，若最小间距值大于256个像素，则选用256作为裁减图像窗口，否则使用最小间距值的0.75倍作为裁减窗口w；1.3）在样本畸变图片中初始化一个随机位置，以初始位置为裁减窗口w×w中心，滑动窗口将图像分割，若窗口内有X型角点，则根据初始化位置更新标注点输出；若窗口内没有标注点，则对应输出无效坐标(256,256)；该步骤至少执行1次；1.4）若裁减窗口w小于256，则对样本集的右下方添加黑边，将样本集尺寸扩展为256×256；2）使用训练好的深度神经网络对采集到的像进行角点提取，涉及：2.1）对图像进行分割预处理，根据拍摄图像距离设定图像裁剪尺寸，尺寸设定的依据包括图像中最小方格边长的像素长度，裁剪尺寸小于所述最小方格边长的像素长度，大于256×256，裁剪尺寸不足256×256的情况下，添加空白区域扩充到256×256尺寸；2.2）裁剪出第一个窗口后，送入网络进行识别，若识别结果为有效的CXT输出，则根据裁剪窗口对应图像位置记录该CXT，然后以裁剪窗口宽移动窗口到下一个裁剪位置；2.3）若网络输出不是有效CXT，则窗口的移动宽度为窗口宽度的0.5到0.75之间，以使得CXT出现两个窗口边缘时被有效检测出；2.4）窗口移动到图像的宽度后，若依旧未能检测到CXT，则从第一个窗口位置开始，检测窗口在图像高度方向上移动1/2~3/4的窗口高度距离，若第一行中检测到有效CXT，则窗口向下移动窗口的高度距离；2.5）重复2.2）~2.4）直到整个图像都被网络检测过后，即可获取所有CXT的坐标值。超大FOV镜头相机由于图像中心的解析力远大于图像四周，从而导致其中心的亮度和清晰度都远大于四周，通常所表现差异有四周局部模糊，方格间角点粘连区域大，同时图像形状畸变严重，边缘模糊，这使得传统算法在进行阈值化处理图像方格粘连、方格边框提取偏差以及计算出的角点位置误差过大，并且后续难以再进行修正。同时图像边缘处，方本文档来自技高网...

【技术保护点】
1.一种相机镜头畸变参数估计装置，其特征在于，包括：/n棋盘格、光源、图像采集模块、畸变校正模块和参数估计模块；/n所述光源发出光照射所述棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头，使用图像采集模块获取棋盘格的近距离成像；畸变校正模块将采集到的像进行角点提取，利用自身设定公式/n

【技术特征摘要】
1.一种相机镜头畸变参数估计装置，其特征在于，包括：
棋盘格、光源、图像采集模块、畸变校正模块和参数估计模块；
所述光源发出光照射所述棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头，使用图像采集模块获取棋盘格的近距离成像；畸变校正模块将采集到的像进行角点提取，利用自身设定公式

，

，
计算并记录镜头的内部参数和畸变参数，并将计算得到的镜头的内部参数和畸变参数传递至参数估计模块，其中，A为相机内部参数矩阵，其中s为缩放因子，u,v表示图像坐标系中的一点(u,v)的坐标，R为相机的旋转矩阵，T为相机的平移矩阵，x,y,z为空间中一点(x,y,z)的坐标，xd,yd为畸变图像上一点(xd,yd)的坐标，r2=x2+y2，k1,k2,k3分别是径向畸变的三个参数，p1,p2是切向畸变系数；参数估计模块将计算得到的镜头的内部参数和畸变参数进行最优化估计，进而得到批量镜头的估计参数。


2.如权利要求1所述的相机镜头畸变参数估计装置，其特征在于，所述光源包括自然光源，所述自然光源照射棋盘格并反射至所述样本镜头；所述光源包括灯具光源，所述灯具光源照射棋盘格透射至所述样本镜头；使用自然光源时所述棋盘格的透光性低于使用灯具光源时所述棋盘格的透光性。


3.如权利要求1所述的相机镜头畸变参数估计装置，其特征在于，所述畸变校正模块能够对畸变棋盘格图像的角点进行精准标注、随机分割图像以及使用分割结果训练网络。


4.一种相机镜头畸变参数估计方法，其特征在于，包括步骤：
光源发出光照射棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头；
使用图像采集模块在所述样本镜头处获取棋盘格的近距离成像，并将成像传递至畸变校正模块；
所述畸变校正模块将采集到的像进行角点提取，根据公式

，

，
计算并记录镜头的内部参数和畸变参数，并将计算得到的镜头的内部参数和畸变参数传递至参数估计模块，其中，A为相机内部参数矩阵，其中s为缩放因子，u,v表示图像坐标系中的一点(u,v)的坐标，R为相机的旋转矩阵，T为相机的平移矩阵，x,y,z为空间中一点(x,y,z)的坐标，xd,yd为畸变图像上一点(xd,yd)的坐标，r2=x2+y2，k1,k2,k3分别是径向畸变的三个参数，p1,p2是切向畸变系数；以及
所述参数估计模块进行最优化估计，进而得到批量镜头的估计参数。


5.如权利要求4所述的相机镜头畸变参数估计方法，其特征在于，所述所述畸变校正模块将采集到的像进行角点提取中，包括：
1）进行深度神经网络训练：
1.1）首先构建网络训练数据集，随机选择多个样本镜头分别对所述棋盘格进行成像，获取图片后对所述多个样本的图片中的角点进行精确标注，并记录角点位置；
1.2）统计畸变图中相邻标注点的间距，并求出最小标注点间距，若最小间距值大于256个像素，则选用256作为裁减图像窗口，否则使用最小间距值的0.75倍作为裁减窗口w；
1.3）在样本畸变图片中初始化一个随机位置，以初始位置为裁减窗口w×w中心，滑动窗口将图像分割，若窗口内有X型角点，则根据初始化位置更新标注点输出；若窗口内没有标注点，则对应输出无效坐标(256,256)；该步骤至少执行1次；
1.4）若裁减窗口w小于256，则对样本集的右下方添加黑边，将样本集尺寸扩展为256×256；
2）使用训练好的深度神经网络对采集到的像进行角点提取，涉及：
2.1）对图像进行...

【专利技术属性】
技术研发人员：谭孝江，赵晓刚，李强，杨靖博，
申请(专利权)人：上海海栎创微电子有限公司，
类型：发明
国别省市：上海;31