一种基于多帧的鱼眼视频校正方法技术

本发明专利技术公开的一种基于多帧的鱼眼视频校正方法，包括以下步骤：混合多帧灰度图，从混合后的灰度图中提取边缘图，通过边缘图求得外接圆参数；然后根据所述外接圆参数采用等距投影校正鱼眼视频。本发明专利技术的基于多帧的鱼眼视频校正方法，解决了目前校正方法存在的无法准确区分成像和非成像区域和不具有容错性的缺点。本发明专利技术的方法大大提高了鱼眼视频校正的鲁棒性和效率，处理过程简单，具有实时性和理想的校正效果。使用计算机软件执行本方法时，易于模块化和移植，可以很方便地嵌入到鱼眼相关的应用系统。

【技术实现步骤摘要】

本专利技术属于图像处理
，具体是一种基于多帧的鱼眼视频校正方法。
技术介绍
鱼眼镜头是一种基于仿生学的镜头，对物理空间进行变形，具有短焦距、大视角的优点，比广角镜头和超广角镜头具有更大的视场角，视场角一般大于等于180°。起初是应用于摄影，尽管引入桶形畸变，但不影响分辨率，可以实现大范围的清晰成像，目前已经扩展到虚拟实景、视频监控、建筑测量、智能交通、机器人导航、国防军事等领域。在全景监控方面，鱼眼镜头相较于多镜头式系统还具有结构紧凑、体积较小、不易损坏、技术要求低等特点，所以在安全和军事领域，由鱼眼镜头为核心的全景监控系统也成为了近年来全景监控研究的热点之一。鱼眼镜头所成的像，由于景深曲率的影响，图像的桶形畸变十分严重。桶形畸变是图像的横向放大率随视场增大而减小的畸变。在鱼眼视频中，边缘的会出现明显的失真。不同于小孔成像线性模型，现实世界中直线，如果不是沿着径向，成像后是不可能是直线的。所以，为了能正确地分析鱼眼视频中的信息，需要将鱼眼视频进行校正。鱼眼镜头采用非相似投影模型，常用的投影模型包括等距投影、等立体角投影、正交投影、体视投影模型等。在等距投影下，相同的半视场角在像面上对应着相等的距离，故称之为“等距投影”。等距投影成像使像高与半视场角成非常简单的正比关系，可以方便地提取空间目标的角坐标及其随时间变化的动态信息。这是等距投影的特殊优势，并使等距投影成为最受重视的成像方式。
技术实现思路
本专利技术要解决的问题是提供一种基于多帧的鱼眼视频校正方法，该方法首先使用混合视频的多帧灰度图，然后外接圆的参数标定，最后使用等距投影模型来进行鱼眼视频的实时校正，该校正方法能够准确区分成像区域和非成像区域，并且不受成像区域顶点确认错误的影响，提高鱼眼视频的校正精度。本专利技术的基于多帧的鱼眼视频校正方法，包括以下步骤：混合鱼眼视频的多帧灰度图得到一张灰度图，从混合后的灰度图中提取边缘图，通过边缘图求得外接圆参数，所述外接圆参数包括外接圆半径和圆心坐标；通过混合多帧视频，可以防止单帧视频出现的成像区域灰度值低而无法区分成像区域和非成像区域，同时可以减少提取不必要的边缘，减少噪点，提高外接圆边缘的可靠性。根据所述外接圆半径和圆心坐标，采用等距投影校正鱼眼视频。进一步的，所述混合多帧视频灰度图过程中，混合后的第n帧视频灰度图的计算公式如下：其中，是前n-1帧的混合灰度图，Gn是第n帧的灰度图。进一步的，所述提取边缘图的过程采用Canny算法。Canny边缘检测算子是John F.Canny于1986年开发出来的一个多级边缘检测算法。成像区域和非成像区域的边界可能是模糊的，造成边界处的梯度值不高，以至于不能被提取出来，所以本专利技术算法采取缩小图像的方法，边界范围缩小且清晰，并且进一步采用多尺度，即在多个缩放尺度上生成边缘图，消除了误差。进一步的，在通过边缘图求得所述外接圆参数前，确定成像区域的上下左右四个顶点：Pt(xt,yt),Pb(xb,yb),Pl(xl,yl),Pr(xr,yr)。二维坐标系下求外接圆的公式为：(x-xc)2+(y-yc)2＝r2 公式(4)由公式(4)可见，只要有任意三个不在一条直线的点，就可以建立三元方程组，可以唯一确定一个圆(xc,yc,r)，其中(xc,yc)为圆心坐标，r为半径。理论情况下，所有的边缘都应在外接圆内，所以同样可以通过采用扫描边缘图，获得成像区域的上下左右四个顶点：Pt(xt,yt),Pb(xb,yb),Pl(xl,yl),Pr(xr,yr)，选择任意三个点计算得到的圆，如果第四个点也在这个圆上或圆内，那么这个圆就是外接圆。可以防止任意一个点出现错误而造成结果错误。进一步的，所述采用等距投影校正鱼眼视频，包括以下几个过程：根据鱼眼视频帧的外接圆半径和圆心坐标；然后建立等距投影模型，经过多次拉升变换，得到最终输出的视频帧图中每个像素点在原始鱼眼视频帧中的对应点；最后采用双线性插值算法，逐个取原始鱼眼图的像素点去填充拉升后图的像素点。进一步的，在所述采用等距投影校正鱼眼视频的过程中，得到所述最终输出的视频帧图中每个像素点在原始鱼眼视频帧中的对应点，计算步骤如下：计算鱼眼视频投影模型中的θ和α：0＝πy/h 公式(5)α＝2πx/w 公式(6)所述校正后视频的分辨率为w*h。等距投影模型中，其中h是整个弧长l1；y是θ角对应的弧长。计算鱼眼视频投影模型中的半径f(图2中线段O1P1的长度)f＝2r/φ 公式(7)其中，φ是是鱼眼镜头的视角，r是外接圆半径。计算线段O0P0的长度：r0＝f*θ 公式(8)O0为圆心。计算P0坐标：其中(xc,yc)是外接圆圆心O0坐标。为了实现实时性，采用以用空间换时间的方式进行优化。通过建表，直接生成P3和P0的对应关系表，性能上得到提升，但是需要分配w*h*4*2的字节内存空间，随着输出视频帧的分辨率成倍增长。在使用计算机软件执行上述方法时，需要按照行和列遍历进行处理，总共需要调用w*h次cos和sin函数，耗费大量时间。用查表代替函数调用，性能得到很大提高。通过公式(6)可知，x的取值范围在(0,w),所以只需要分配w*2*4字节的内存空间，相比较w*h*4*2，大大减少了内存的分配，一旦输出视频帧的分辨率确定，就可以重复使用cos和sin函数表。本专利技术的基于多帧的鱼眼视频校正方法，包括以下步骤：混合原始鱼眼视频的多帧灰度图得到一张灰度图，从混合后的灰度图中提取边缘图，通过边缘图求得外园参数外接圆半径和圆心坐标；根据所述外接圆参数包括外接圆半径和圆心坐标，采用等距投影校正鱼眼视频。本专利技术的基于多帧的鱼眼视频校正方法解决了目前校正方法存在的问题：单帧视频灰度低，无法区分成像和非成像区域；简单依赖扫描图像得到的成像区域上下左右四个顶点，不具有容错性。本专利技术的方法大大提高了鱼眼视频校正的鲁棒性和效率，处理过程简单，具有实时性和理想的校正效果。使用计算机软件执行本方法时，易于模块化和移植，可以很方便地嵌入到鱼眼相关的应用系统。附图说明图1为本专利技术的基于多帧的鱼眼视频校正方法一个实施例的一帧原始视频灰度图；图2为本专利技术的基于多帧的鱼眼视频校正方法一个实施例的投影模型示意图；图3为本专利技术的基于多帧的鱼眼视频校正方法一个实施例的展开模型；图4为图3所示的展开模型展开后的二维平面图；图5为本专利技术的基于多帧的鱼眼视频校正方法一个实施例的流程框图。具体实施方式下面结合附图，对本专利技术提出的一种基于多帧的鱼眼视频校正方法进行详细说明。如图1所示，鱼眼镜头拍摄的场景，最终成像是个圆形，需要校正的是成像区域，所以区分成像区域和非成像区域。已有的算法是直接扫描图像的灰度图，由于非成像区域的特征是灰度值低，设定一定的灰度阈值来区分成像区域和非成像区域，得到成像区域的上下左右四个顶点：Pt(xt,yt),Pb(xb,yb),Pl(xl,yl),Pr(xr,yr)圆心O0坐标计算公式组(1)为：xc＝(xr+xl)/2yc＝(yt+yb)/2 公式组(1)半径r计算公式为：r＝max((xr-xl)/2，(yb-yt)/2) 公式(2)上述方法的缺点本文档来自技高网...

【技术保护点】
一种基于多帧的鱼眼视频校正方法，其特征在于，包括以下步骤：混合原始鱼眼视频的多帧灰度图得到一张灰度图，从混合后的灰度图中提取边缘图，通过边缘图求得外接圆参数，所述外接圆参数包括外接圆半径和圆心坐标；根据所述外接圆半径和圆心坐标，采用等距投影校正鱼眼视频。

【技术特征摘要】
1.一种基于多帧的鱼眼视频校正方法，其特征在于，包括以下步骤：混合原始鱼眼视频的多帧灰度图得到一张灰度图，从混合后的灰度图中提取边缘图，通过边缘图求得外接圆参数，所述外接圆参数包括外接圆半径和圆心坐标；根据所述外接圆半径和圆心坐标，采用等距投影校正鱼眼视频。2.根据权利要求1所述的所述基于多帧的鱼眼视频校正方法，其特征在于，所述混合多帧灰度图过程中，混合后的第n帧灰度图的计算公式如下：其中，是前n-1帧的混合灰度图，Gn是第n帧的灰度图。3.根据权利要求1所述的所述基于多帧的鱼眼视频校正方法，其特征在于，所述提取边缘图的过程采用Canny算法。4.根据权利要求1所述的所述基于多帧的鱼眼视频校正方法，其特征在于，在所述通过边缘图求得外接圆参数前，确定成像区域的上下左右四个顶点：Pt(xt,yt),Pb(xb,yb),Pl(xl,yl),Pr(xr,yr)。5.根据权利要求1所述的所述基于多帧的鱼眼视频校正方法，其特征在于，所述通过边缘图求得外接圆参数过程中，二维坐标系下求外接圆的公式为：(x-xc)2+(y-yc)2＝r2 公式(4)其中，(xc,yc)是外接圆圆心O0的坐标。6.根据权利要求1所述的所...

【专利技术属性】
技术研发人员：何健，
申请(专利权)人：诚迈科技南京股份有限公司，
类型：发明
国别省市：江苏;32