广角相机非规则畸变全域校正方法技术

本发明专利技术涉及一种广角相机非规则畸变全域校正方法，属于视觉测量领域。该方法为：S1图片采集：使用相关软件，对采集的图像作辅助线，并实时显示；将辅助线对齐棋盘格中心区域，拍摄照片；S2角点检测：S3棋盘格检测：对检测到的角点，通过生长法检测出棋盘格；S4数据初始化；S5拟合曲面：使用改进后的薄板样条插值TPS方法拟合出插值曲面；S6生成插值地图：使用得到的插值曲面反向求出插值地图；S7实时畸变校正：载入插值地图，实时采集图片，并实时进行畸变校正。本发明专利技术能够对一些非规则(对称)畸变进行校正，相对于原TPS插值方法，提升了边缘的精度，以及控制点外的可观性。

【技术实现步骤摘要】
广角相机非规则畸变全域校正方法
本专利技术属于视觉测量领域，涉及广角相机非规则畸变全域校正方法。
技术介绍
随着计算机行业和芯片行业的飞速发展和不断更新，智能驾驶、智能监控等技术不断成熟。相机的作用和应用有了很大的发展，相机不仅仅是获取图像，我们希望通过计算机处理所得的图片，并从中提取需要的信息，以完成后续的计算和应用。我们知道三维世界中的点在二维图像上存在唯一的对应点，为了更准确的得到图像中的信息，我们需要建立相机成像模型，这些模型的参数就是相机参数，求解这些相机参数的过程称为相机的标定。依据相机焦距的长短可以将相机镜头分为三类，长焦镜头、标准镜头和广角镜头。长焦镜头可以拍摄很远的目标，远处景物如同在眼前一样，但拍摄视角比较小，不便拍摄近处景物。标准镜头是日常生活中最常见的，可以拍摄出比较符合人眼的观察习惯的图像。广角镜头的最大特点是拍摄视角大，得到的图像信息量比较多，但图像畸变比较大，一般需要对图像进行校正，目前多用于监控系统。现有的相机标定方法分为传统标定方法和自主标定方法。目前多采用张正友相机模型和畸变模型，来进行相机内外参和畸变标定。但仍然面临一些需要解决的问题：一方面，现有张正友标定方法的畸变模型，对于广角相机或者广角镜头的的广角方向的畸变校正精度仍然存在一定的误差，所以现有的立体视觉多考虑无畸变的90°，或者更小角度的相机进行，有效三角测量角度范围受到相机角度的限制较大。因此设计一个广角相机畸变校正算法是十分有必要的。另一方面，对于某些特殊场景(大角度)，作为广角相机，不需要消耗额外的系统资源来做标准相机的拼接。因为对于实时拼接而言，在线计算拼接每次拼接之前，都需要计算特征点，匹配，滤波，计算矩阵需要占用较多的系统资源；而离线计算拼接矩阵，则又涉及到相机抖动之后，产生有较大的，无法预测的拼接误差。处理好广角相机的广角方向上的畸变，广角相机所具有的优势能更好的体现出来。其次，对于不规则的图像畸变或不对称的畸变，使用张正友标定方法无法得到解决。最后，原有的TPS(薄板样条插值)算法进行畸变校正，由于受控制点的影响，对于边沿(最外一层控制点之外的区域)，会存在较大的未处理的畸变，从而影响可视性。而本文的改进TPS(薄板样条插值)算法能够改进这种边沿畸变的可读性，增加广角方向上的畸变校正精度和有效范围，并且能够处理一些成像的不规则畸变。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种广角相机非规则畸变全域校正方法，改进广角相机以及非规则畸变的校正问题，提高广角相机广角方向的校正精度，以及成像的边沿区域可视性。为达到上述目的，本专利技术提供如下技术方案：广角相机非规则畸变全域校正方法，该方法包括以下步骤：S1图片采集：使用相关软件，对采集的图像作辅助线，并实时显示；将辅助线对齐棋盘格中心区域，拍摄照片；S2角点检测：S3棋盘格检测：对检测到的角点，通过生长法检测出棋盘格；S4数据初始化：检测中心区域的棋盘格，并以中心点为基准，图像左上角为像素坐标系原点，向右为u轴，向下为v轴正方向；根据检测到的棋盘格，获取期望棋盘格的位置数据；S5拟合曲面：使用改进后的薄板样条插值TPS方法拟合出插值曲面；S6生成插值地图：使用得到的插值曲面反向求出插值地图；S7实时畸变校正：载入插值地图，实时采集图片，并实时进行畸变校正。进一步，所述步骤S2具体为：S21使用Prewitt算子计算出两个方向的梯度，并计算图片梯度的方向和幅值；S22归一化梯度方向，初始化角点模板，使用角点模板对原图片进行滤波处理，获得初始角点；S23对得到角点进行非极大值抑制；S24对角点进行亚像素化，使角点更加准确；S25剔除边沿点，即非角点，和角点评分低于阈值的角点。进一步，所述步骤S2具体为：所述步骤S3具体为：S31与图像最中心点的欧氏距离从近到远循环每一个角点；S32初始化一个棋盘格，通过寻找该点周围8个方向上的匹配点作为初始棋盘格；S33通过向上下左右四个方向上生长，计算生长后棋盘格的能量，当能量函数小于阈值时，生长成功；S34进行棋盘格方向校正，重复部分全部通过，则进行拼接，得到新的棋盘格。进一步，所述步骤S2具体为：所述改进后的薄板样条插值TPS方法为：TPS函数的趋势函数部分，用于提高畸变校正后的图像的边沿的可读性；改进后的趋势函数为：f(x,y)趋势函数＝a0+x+x[a1r2+a2r4]其中，r2为欧氏距离的平方。本专利技术的有益效果在于：现有的相机标定方法分为传统标定方法和自主标定方法。目前多采用张正友相机模型和畸变模型，来进行相机内外参和畸变标定。但仍然面临一些需要解决的问题：一方面，现有张正友标定方法的畸变模型，对于广角相机或者广角镜头的的广角方向的畸变校正精度仍然存在一定的误差，所以现有的立体视觉多考虑无畸变的90°，或者更小角度的相机进行，有效三角测量角度范围受到相机角度的限制较大。因此设计一个广角相机畸变校正算法是十分有必要的。另一方面，对于某些特殊场景(大角度)，作为广角相机，不需要消耗额外的系统资源来做标准相机的拼接。因为对于实时拼接而言，在线计算拼接每次拼接之前，都需要计算特征点，匹配，滤波，计算矩阵需要占用较多的系统资源；而离线计算拼接矩阵，则又涉及到相机抖动之后，产生有较大的，无法预测的拼接误差。处理好广角相机的广角方向上的畸变，广角相机所具有的优势能更好的体现出来。其次，对于不规则的图像畸变或不对称的畸变，使用张正友标定方法无法得到解决。最后，原有的TPS(薄板样条插值)算法进行畸变校正，由于受控制点的影响，对于边沿(最外一层控制点之外的区域)，会存在较大的未处理的畸变，从而影响可视性。而本文的改进TPS(薄板样条插值)算法能够改进这种边沿畸变的可读性，增加广角方向上的畸变校正精度和有效范围，并且能够处理一些成像的不规则畸变。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为程序流程图；图2为图像采集实时显示图；图3为拟合曲面图；(a)为u的拟合曲面，(b)为v的拟合曲面；图4为算法比较图；(a)为opencv，(b)为TPS，(c)为改进TPS；图5为初始棋盘格的8个基本模型；图6为使用方向双线性插值算法进行畸变校正示意图。具体实施方式下面将结合附图，对本专利技术的优选实施例进行详细的描述。如图1所示，为程序流程图。TPS(薄板样条插值)是一种最小曲率插值方法，该函数分为两部分：基函数和趋势函数。基函数也是离散部分，通过对每个数据点附近的曲面进行弯曲拉伸，使其通过数据点，并使其能量函数最小；趋势函数也是仿射部分，根据所有数据点拟合的一个平面，反映数据点外的薄板的曲面趋势。通过对函数中的参数的计算，得到拟合后的曲面。其中，|·|表示欧几里德范数，ci是系数，U为TPS的核函数改进TPS(薄板样条插值)函数的趋势函数部分，提高畸变校正后的图像的边沿的可读性。改进后的趋势函数如下：f(x,y)趋势函数＝a0+x+x[a1r2+a2r4]其中，r2为欧氏距离的平方。软件方面：离线标定部分和实时校正部分。硬件方面：主要针对广角相机(大于等于90°，小于等于180°)软件结构组成：Step1.图片采集：使用相关软件，对采集的图像作辅助线，并实时显示。将辅助线对齐棋盘格中心区本文档来自技高网...

【技术保护点】
1.广角相机非规则畸变全域校正方法，其特征在于：该方法包括以下步骤：S1图片采集：使用相关软件，对采集的图像作辅助线，并实时显示；将辅助线对齐棋盘格中心区域，拍摄照片；S2角点检测：S3棋盘格检测：对检测到的角点，通过生长法检测出棋盘格；S4数据初始化：检测中心区域的棋盘格，并以中心点为基准，图像左上角为像素坐标系原点，向右为u轴，向下为v轴正方向；根据检测到的棋盘格，获取期望棋盘格的位置数据；S5拟合曲面：使用改进后的薄板样条插值TPS方法拟合出插值曲面；S6生成插值地图：使用得到的插值曲面反向求出插值地图；S7实时畸变校正：载入插值地图，实时采集图片，并实时进行畸变校正。

【技术特征摘要】
1.广角相机非规则畸变全域校正方法，其特征在于：该方法包括以下步骤：S1图片采集：使用相关软件，对采集的图像作辅助线，并实时显示；将辅助线对齐棋盘格中心区域，拍摄照片；S2角点检测：S3棋盘格检测：对检测到的角点，通过生长法检测出棋盘格；S4数据初始化：检测中心区域的棋盘格，并以中心点为基准，图像左上角为像素坐标系原点，向右为u轴，向下为v轴正方向；根据检测到的棋盘格，获取期望棋盘格的位置数据；S5拟合曲面：使用改进后的薄板样条插值TPS方法拟合出插值曲面；S6生成插值地图：使用得到的插值曲面反向求出插值地图；S7实时畸变校正：载入插值地图，实时采集图片，并实时进行畸变校正。2.根据权利要求1所述的广角相机非规则畸变全域校正方法，其特征在于：所述步骤S2具体为：S21使用Prewitt算子计算出两个方向的梯度，并计算图片梯度的方向和幅值；S22归一化梯度方向，初始化角点模板，使用角点模板对原图片进行滤波处理，获得初始角...

【专利技术属性】
技术研发人员：李银国，程诚，史豪豪，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50