一种基于球面展开模型的鱼眼视频实时全景校正方法技术

本发明专利技术提供了一种基于球面展开模型的鱼眼视频实时全景校正方法，属于图像视频处理领域，包括鱼眼图像的采集，鱼眼图像预处理，鱼眼图像轮廓提取，图像几何关系变换，基于鱼眼图像的重投影，鱼眼视频漫游的实现。本发明专利技术采集到鱼眼视频后，先求出鱼眼图像对应的“球面模型”的半径，然后选择并将每帧鱼眼图像中的每个像素还原到一个“球面模型”上；再将球面上每一个像素按照对应的球面圆弧展开到一个校正平面上；最后对校正后像素进行采样插值即得到鱼眼图像的校正图像。本发明专利技术相比同类算法，克服了宽视角和时效性的限制，解决了球面不可展的问题，有效提高了图像校正精度，并且实现鱼眼视频全景展开，且能满足实时的应用，对不同模型的鱼眼镜头具备一定的鲁棒性，有较强的实用性。

A fisheye video real-time panoramic correction method based on spherical expansion model

The present invention provides a real-time panoramic video model based on fisheye sphere correction method, which belongs to the field of image and video processing, including fisheye image acquisition, fisheye image preprocessing, fisheye image contour extraction, image geometry transform, projection fisheye image based on fisheye video roaming implementation. The present invention collected fisheye video, first calculate the fisheye image corresponding to the \spherical\ model radius, then select and each pixel of each frame in the fisheye image to restore a \spherical model\; then according to each pixel on a spherical spherical arc corresponding to a correction plane at the end of the corrected pixel; sampling interpolation to obtain the corrected image of fisheye image. The present invention compared to similar algorithm, to overcome the wide viewing angle and timeliness constraints, solve the problem of spherical nondeveloped, effectively improve the accuracy of image correction, and the realization of fisheye video panorama, and can satisfy the real-time application, has certain robustness to the fisheye lens of different models, has stronger practicability.

【技术实现步骤摘要】
一种基于球面展开模型的鱼眼视频实时全景校正方法
本专利技术属于涉及图像视频处理领域，具体涉及一种基于球面展开模型鱼眼图像校正方法，并实现鱼眼视频的实时全景展开。
技术介绍
鱼眼镜头具有结构紧凑、体积小、不易损坏等优点；同时考虑到采用鱼眼镜头构建的全方位视觉可获取真正意义上的全景球面图像，无盲区，无须考虑图像拼合和嵌接等问题，所以鱼眼镜头是构建全方位视觉系统最有效的方法之一，具有很高的研究价值和广泛的潜在应用前景。目前它在视频监控、视频会议、虚拟现实和机器人导航等领域都具有很广泛的应用。但鱼眼镜头摄像机拍摄的图像具有非常严重的畸变，若要利用这些具有严重变形图像的信息，就需将这些变形图像校正展开为人们所习惯的图像模式。因此研究开发一种算法，使鱼眼图像恢复成人眼所能接受显示效果，并且能实现实时、精确的校正和展开具有学术意义和实际应用价值。实现鱼眼视频的全景校正一般分为以下几步：鱼眼图像的采集→鱼眼图像预处理→几何关系变换→图像的重投影→鱼眼视频实时全景校正的实现。鱼眼图像校正技术主要可以分为三类：基于几何投影、基于相机标定、基于人工智能。基于几何投影模型的校正方法主要是利用空间几何坐标关系进行校正，找到鱼眼图像中的像素点与校正后图像中像素点之间的映射关系，但是基于几何投影模型的校正方法往往受限于鱼眼图像的宽视角，导致有效校正区域小，边缘部分仍存在较大畸变。基于相机标定的校正方法，是建立在鱼眼相机模型的基础上，通过设计适合的标定方法求得相应鱼眼相机的模型参数。鱼眼镜头标定的目的是得到鱼眼相机模型的变形参数，依据这些畸变参数就可以校正当前镜头拍摄的鱼眼图像。然而这种方法的主要问题是，鱼眼镜头生产工艺的精度不一定都能满足要求，而且实际使用的镜头千差万别，特定的畸变模型不一定能够适合多种镜头的成像结果校正法估算多项式的系数。基于人工智能的校正方法，以基于支持向量机(SVM)的方法为例，该类方法避免了畸变模型的选择和选用特定模型带来的局限性问题。使用SVM技术建立校正后图像点与校正前图像点的坐标映射关系，从而实现鱼眼图像的校正，但这种方法需要大量的训练样本，导致工作量巨大，并且训练过程也比较耗时，难以同时满足时效与精度的要求。综上所述，目前鱼眼视频的校正存在以下问题：(1)基于几何投影的鱼眼图像校正方法简便，但是受限于鱼眼镜头的宽视角，导致有效校正区域受限；(2)基于相机标定的鱼眼图像校正方法对特定镜头校正精度高，但不能同时满足多种鱼眼镜头的畸变校正；(3)基于人工智能的鱼眼图像校正方法避免了针对特定镜头校正的局限性，但是训练样本大，计算复杂度高且存储空间大，不易于硬件实现。
技术实现思路
鉴于以上所述现有技术存在的问题和不足，本专利技术技术方案提供的一种基于球面展开模型的鱼眼图像校正方法，实现鱼眼视频的实时全景校正，包括以下步骤：步骤S1，采集鱼眼图像；步骤S2，鱼眼图像预处理；步骤S3，鱼眼图像轮廓提取；步骤S4，计算图像校正平面上任意点对应鱼眼图像上的像素点坐标，具体包括以下子步骤，步骤S4-1，根据步骤3获得像平面及鱼眼镜头半球面，其中像平面为鱼眼图像所在平面，设为XOY平面，鱼眼镜头半球面以鱼眼图像的中心O为球心，R为半径；步骤S4-2，确定图像校正平面，设校正平面ABCD平行于所述像平面，且与鱼眼镜头半球面相切与O’；步骤S4-3，将图像校正平面上的点先还原到鱼眼镜头半球面上，再将半球面上该点垂直投影到鱼眼图像像平面，具体实施如下，遍历校正平面上的任意点N”(x2,y2)，设O’N”的倾斜角α，角α与O’N”的长度计算如下，N’是半球面上一点，圆弧段O’N’的长度等于O’N”，则N’点坐标计算如下，将N’点垂直投影到像平面上，得N点坐标为，其中，R为鱼眼图像的半径，N为校正平面上点N”在鱼眼图像上对应的像素点坐标；步骤S5，基于鱼眼图像的重投影，将鱼眼图像上所有像素点的像素值赋给校正平面对应的像素点；步骤S6，将鱼眼镜头实时采集的每幅鱼眼图像的每个像素进行所述步骤S1-S5的校正过程，实现鱼眼视频实时全景校正。而且，所述步骤S3，鱼眼图像轮廓提取的具体实施方式如下，步骤S3-1，从图像第一行开始，在行方向上进行扫描，若当前行中像素的灰度值都为0，则继续扫描下一行，直到在某一行中第一次出现有像素的灰度值不为0，则记录下当前行号H1；步骤S3-2，接着上一步在行方向上继续进行扫描，若当前行中有像素的灰度值不为0，则继续扫描下一行，直到在某一行中第一次出现所有的像素的灰度值都为0，则记录下当前行号H2；步骤S3-3，从图像第一列开始，在列方向上进行扫描，若当前行中像素的灰度值都为0，则继续扫描下一列，直到在某一列中第一次出现有像素的灰度值不为0，则记录下当前列号L1；步骤S3-4，接着上一步在列方向上继续进行扫描，若当前列中有像素的灰度值不为0，则继续扫描下一列，直到在某一列中第一次出现所有的像素的灰度值都为0，则记录下当前列号L2；步骤S3-5，记录下H1，H2，L1，L2后，圆形区域C可用圆心坐标(x,y)和半径R来表示，C→{(x，y)，R}(1)其中，鱼眼图像轮廓则是以圆心坐标(x,y)为中心、半径R的圆形区域轮廓。与现有的技术相比，本专利技术具有以下优点和有益效果：(1)本专利技术能实现鱼眼图像的广视角、大范围区域的校正，使校正的图像范围不受图像宽视角的限制；(2)本专利技术考虑到鱼眼图像校正的时效性，从鱼眼图像的圆形特征出发，建立“球面模型”，利用球面展开原理进行全景图像展开以及校正，无需大量训练样本，算法复杂度小，便于实现，步骤简明高效。(3)本专利技术的方法对各种鱼眼镜头的校正效果良好，具备一定的鲁棒性与普适性，有较强的实用性。附图说明图1是本专利技术实施例的总体流程图。图2是本专利技术中鱼眼图像的成像模型示意图。图3是本专利技术中基于“球面展开模型”的鱼眼图像校正原理示意图。具体实施方式下面结合附图和实施例对本专利技术的技术方案作进一步说明。利用人工智能的方法可以弥补鱼眼图像校正在精度上的不足，但是常用的特征训练算法复杂度较高，样本量需求较大，时效性受到影响，不利于实时的应用。从上述问题出发，本专利技术提供一种基于球面展开模型的鱼眼图像校正方法，实现鱼眼视频的实时全景校正。下面以一个鱼眼镜头作为实施例。实施例中选用威鑫视界SY019HD型号的240度广角鱼眼摄像头进行实时鱼眼图像的采集。本专利技术一种基于球面展开模型的鱼眼视频实时全景校正方法的实施例具体流程包括：步骤S1，采集鱼眼图像，一幅完整的鱼眼图像应该是呈圆形状的，周围黑色背景是没有像素值的区域，后续步骤就是基于圆形图像区域进行校正的；步骤S2，鱼眼图像预处理，图像预处理阶段主要是对图像进行去噪，提高图像质量；步骤S3，鱼眼图像轮廓提取，即鱼眼图像的像平面轮廓提取，鱼眼图像的圆形轮廓是后续步骤的实施基础。本专利技术实施例利用“扫描法”进行圆形轮廓进行提取，具体步骤如下：步骤S3-1，从图像第一行开始，在行方向上进行扫描，若当前行中像素的灰度值都为0，则继续扫描下一行，直到在某一行中第一次出现有像素的灰度值不为0，则记录下当前行号H1；步骤S3-2，接着上一步在行方向上继续进行扫描，若当前行中有像素的灰度值不为0，则继续扫描下一行，直到在某一行中第一次出现所有的像素的灰度值都为0本文档来自技高网...

【技术保护点】
一种基于球面展开模型的鱼眼视频实时全景校正方法，其特征在于，包括如下步骤：步骤S1，采集鱼眼图像；步骤S2，鱼眼图像预处理；步骤S3，鱼眼图像轮廓提取；步骤S4，计算图像校正平面上任意点对应鱼眼图像上的像素点坐标，具体包括以下子步骤，步骤S4‑1，根据步骤3获得像平面及鱼眼镜头半球面，其中像平面为鱼眼图像所在平面，设为XOY平面，鱼眼镜头半球面以鱼眼图像的中心O为球心，R为半径；步骤S4‑2，确定图像校正平面，设校正平面ABCD平行于所述像平面，且与鱼眼镜头半球面相切与O’；步骤S4‑3，将图像校正平面上的点先还原到鱼眼镜头半球面上，再将半球面上该点垂直投影到鱼眼图像像平面，具体实施如下，遍历校正平面上的任意点N”(x

【技术特征摘要】
1.一种基于球面展开模型的鱼眼视频实时全景校正方法，其特征在于，包括如下步骤：步骤S1，采集鱼眼图像；步骤S2，鱼眼图像预处理；步骤S3，鱼眼图像轮廓提取；步骤S4，计算图像校正平面上任意点对应鱼眼图像上的像素点坐标，具体包括以下子步骤，步骤S4-1，根据步骤3获得像平面及鱼眼镜头半球面，其中像平面为鱼眼图像所在平面，设为XOY平面，鱼眼镜头半球面以鱼眼图像的中心O为球心，R为半径；步骤S4-2，确定图像校正平面，设校正平面ABCD平行于所述像平面，且与鱼眼镜头半球面相切与O’；步骤S4-3，将图像校正平面上的点先还原到鱼眼镜头半球面上，再将半球面上该点垂直投影到鱼眼图像像平面，具体实施如下，遍历校正平面上的任意点N”(x2,y2)，设O’N”的倾斜角α，角α与O’N”的长度计算如下，N’是半球面上一点，圆弧段O’N’的长度等于O’N”，则N’点坐标计算如下，将N’点垂直投影到像平面上，得N点坐标为，其中，R为鱼眼图像的半径，N为校...

【专利技术属性】
技术研发人员：种衍文，黄简峰，潘少明，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42