当前位置: 首页 > 专利查询>天津大学专利>正文

鱼眼相机视频矫正及传输系统及方法技术方案

技术编号:17307863 阅读:566 留言:0更新日期:2018-02-19 05:18
本发明专利技术涉及视频的采集、矫正、编码以及传输,为提出一种灵活的、实时的鱼眼相机视频矫正及传输系统。本发明专利技术,鱼眼相机视频矫正及传输方法,步骤如下:第一步:利用相机模组CSI摄像头获取影像;第二步:利用pipeline的第一个插件是V4L2驱动插件,用以获取CSI摄像头视频流;所获取的视频流传递到矫正插件,矫正插件对原始图像矫正,得到无形变的图像;视频流再经过H.264压缩插件;最后把视频流传递到传输插件;第三步:构建RTSP服务器,并把RTP视频流挂载到RTSP服务器上;第四步:客户端在局域网内通过VLC进行视频接收并播放。本发明专利技术主要应用于视频处理场合。

Video correction and transmission system and method of fish eye camera

The invention relates to the acquisition, correction, coding and transmission of video, in order to propose a flexible, real-time video correction and transmission system for the fish eye camera. The present invention, fisheye camera video correction and transmission method comprises the following steps: the first step: using CSI camera image acquisition camera module; the second step: the first is the V4L2 driver using pipeline plug-in plug-in, to obtain CSI video camera; the acquired video stream to correct the plug-in, plug-in correction to the original image correction. The image of the invisible change; video streaming after H.264 compression plug-in; finally the video stream to transport plug-in; the third step: to build a RTSP server, and the RTP video stream mounted to the RTSP server; the fourth step: the client in the LAN through the VLC video receiving and broadcasting. The invention is mainly used in video processing.

【技术实现步骤摘要】
鱼眼相机视频矫正及传输系统及方法
本专利技术涉及视频的采集、矫正、编码以及传输,即鱼眼相机视频矫正及传输系统。
技术介绍
传统摄像机的视场角比较小,会导致难以满足人们的要求。随着技术的日益更新,全向视觉系统[1]出现了。全向视觉系统包括鱼眼镜头系统、多图像拼接系统和反射折射系统。工程上将视场角大于120°的镜头称为鱼眼镜头。尽管鱼眼镜头的视野大这个特点使得它能够广泛应用在生活中的许多领域,但是由于其拍摄的图像具有严重的畸变,使得人们看起来很不舒服。倘若我们需要利用这些畸变图像的具体内容时,就需要将这些图像矫正成符合人们习惯的图像。将鱼眼镜头拍摄的图像恢复成符合人类观看的图像我们称之为鱼眼矫正[2]。文献[3]提出了一种完整的鱼眼相机处理流程,在给定的FPGA内设计并提出了坏点矫正算法以及鱼眼矫正算法的处理架构,并将其加入整个相机的处理流程。文献[4]提取了鱼眼视频矫正的核心算子——向量点积,分析了其访存模式,发现了访存性能与分辨率具有线性关系以及缓存容量的限制造成性能阶段性下降。根据此规律,提出了四像素点并行处理可以达到最优性能的结论。文献[5]采用鱼眼图像的球面投影模型,提出一种基于鱼眼透镜球面投影的实时矫正方法。[1]李曦琳.折反射全向视觉系统理论研究及优化设计[D].天津大学.2007.[2]英向华,胡占义.一种基于球面透视投影约束的鱼眼镜头矫正方法[J].计算机学报,2003,26(12):1702-1708.[3]孙培双.鱼眼图像畸变矫正算法的研究[D].天津工业大学,2015.[4]汪晨.嵌入式鱼眼视频矫正方案的设计与实现[D].东南大学,2015.[5]吕耀文,安喆,徐熙平.鱼眼视频图像畸变的实时矫正方法[J].吉林大学学报:理学版,2017,55(1):103-108。
技术实现思路
为克服现有技术的不足,本专利技术旨在提出一种灵活的、实时的鱼眼相机视频矫正及传输系统。本专利技术采用的技术方案是,鱼眼相机视频矫正及传输方法,步骤如下:第一步:利用相机模组CSI摄像头获取影像;第二步:利用开源多媒体框架Gstreamer构建流水线pipeline:pipeline的第一个插件是V4L2驱动插件,用以获取CSI摄像头视频流;所获取的视频流传递到矫正插件,矫正插件对原始图像矫正,得到无形变的图像;视频流再经过H.264压缩插件,转换为H.264视频流,便于视频的传输;最后把视频流传递到传输插件,其所起的作用是把视频流打包为RTP包;第三步:利用Gstreamer的实时流传输协议RTSP模块,构建RTSP服务器,并把RTP视频流挂载到RTSP服务器上;第四步:客户端在局域网内通过VLC进行视频接收并播放。对视频流进行矫正的具体步骤是,对相机进行标定,获取畸变参数,基于畸变参数,利用图形处理器GPU实现矫正算法的并行化,达到鱼眼视频的实时传输。矫正的进一步具体步骤如下:(1)鱼眼相机成像,就是将三维空间上的点经过坐标变换投影到二维平面上的过程,设世界坐标系为Pw(X,Y,Z),鱼眼镜头的相机坐标系为PM(X,Y,Z),由于成像图像经过鱼眼镜头后发生了畸变,因此需要分析世界坐标系与图像坐标系之间的转化过程;(2)摄像头为径向畸变,径向畸变就是沿着透镜半径方向分布的畸变,畸变的数学模型用主点principlepoint周围的泰勒级数展开式的前几项进行描述,采用k1、k2和k3即前三项,调节公式如下:x0=x(1+k1r2+k2r4+k3r6)y0=y(1+k1r2+k2r4+k3r6)上式中,(x0,y0)为畸变图像中的原始位置,(x,y)为校正后的新位置,r为畸变图像中像素点距离图像中心的长度,通过公式1即可完成坐标点的映射关系。即可以确定k1、k2和k3,即畸变参数;(3)GPU实现坐标映射获得畸变参数后,得到原始图像到矫正后图像的坐标映射,GPU实现并行实现坐标变换,已达到矫正的目的,得到矫正后的图像。本专利技术的特点及有益效果是:本系统采用NvidiaJetsonTK1为硬件实现平台,NvidiaJetsonTK1是全球首款嵌入式超级计算机,可以进行每秒326千兆的浮点运算。此外,采用Gstreamer编程框架,Gstreamer在设计时采用了非常灵活的体系结构,并且提供了许多预定义的媒体处理模块,因此能够极大简化该系统设计的难度。通过建立Pipeline,将四个模块封装成Gstreamer插件,再对插件进行调用来进行鱼眼视频矫正以及传输处理,处理效率高。通过插件调用,在保证对鱼眼视频进行实时性矫正的同时,增加了系统使用的灵活性。附图说明:图1鱼眼相机录像及传输硬Pipeline流水线示意图。图2element之间的关联。图3RTSP服务器建立流程。具体实施方式本专利技术属于图像传输领域,是一种新颖的实现视频的采集、矫正、编解码以及传输的系统。本专利技术提出一种以NvidiaJetsonTK1为实现平台,采用Gstreamer多媒体框架,建立Pipeline,将视频采集模块、矫正模块、编码模块以及传输模块分别封装成标准的Gstreamer插件,再分别调用插件来进行鱼眼视频矫正与传输的系统。本专利技术具体涉及到一种对鱼眼相机获取的视频图像进行矫正以及传输的系统的设计方案,其包括OV4689相机模组(CSI接口)、矫正模块(采用GPU并行处理)、H.264编解码模块、以太网传输模块等。在鱼眼视频矫正的实现方案中,嵌入式领域传统一般采用特定用途集成电路(ApplicationSpecificIntegratedCircuit,ASIC)设计方法来实现鱼眼视频矫正。该方法虽然能够实现较高的性能,但是研发周期较长,设计一旦固化,就难以进行更新和升级,而且不具备可移植性。本专利技术的目的是提供一种灵活的、实时的鱼眼相机视频矫正及传输系统。本系统是基于NvidiaJetsonTK1平台,实现实时鱼眼视频的矫正与传输。本专利技术的技术方案具体是:1总体架构该系统采用Gstreamer视频处理框架,建立Pipeline,将采集、矫正、编码及传输四个模块分别封装成标准的Gstreamer插件。通过V4L2插件(采集)采集视频流,然后视频流依次通过矫正插件、编码插件、传输插件。图1为Pipeline示意图。具体处理流程如下:第一步:CSI摄像头与TX1开发板连接,使得电路板能够检查到设备。第二步:在TK1开发平台上,利用Gstreamer构建pipeline。pipeline的第一个插件是V4L2驱动插件,用以获取视频流;所获取的视频流传递到矫正插件,矫正插件对原始图像矫正,得到无形变的图像;视频流再经过H.264压缩插件,转换为H.264视频流,便于视频的传输;最后把视频流传递到传输插件,其所起的作用是把视频流打包为RTP包。第三步:在TK1开发平台上,利用Gstreamer的RTSP模块,构建RTSP服务器,并把RTP视频流挂载到RTSP服务器上。第四步:在局域网内,客户端主机通过VLC进行视频接收并播放。2基于Gstreamer框架建立PipelineGstreamer是用来构建流媒体应用的开源多媒体框架(framework),本质上也是一个库和插件的集合,安装Gstreamer库并按照该框架建立pipeline。本项目中,视频的采本文档来自技高网
...
鱼眼相机视频矫正及传输系统及方法

【技术保护点】
一种鱼眼相机视频矫正及传输方法,其特征是,步骤如下:第一步:利用相机模组CSI摄像头获取影像;第二步:利用开源多媒体框架Gstreamer构建流水线pipeline:pipeline的第一个插件是V4L2驱动插件,用以获取CSI摄像头视频流;所获取的视频流传递到矫正插件,矫正插件对原始图像矫正,得到无形变的图像;视频流再经过H.264压缩插件,转换为H.264视频流,便于视频的传输;最后把视频流传递到传输插件,其所起的作用是把视频流打包为RTP包;第三步:利用Gstreamer的实时流传输协议RTSP模块,构建RTSP服务器,并把RTP视频流挂载到RTSP服务器上;第四步:客户端在局域网内通过VLC进行视频接收并播放。

【技术特征摘要】
1.一种鱼眼相机视频矫正及传输方法,其特征是,步骤如下:第一步:利用相机模组CSI摄像头获取影像;第二步:利用开源多媒体框架Gstreamer构建流水线pipeline:pipeline的第一个插件是V4L2驱动插件,用以获取CSI摄像头视频流;所获取的视频流传递到矫正插件,矫正插件对原始图像矫正,得到无形变的图像;视频流再经过H.264压缩插件,转换为H.264视频流,便于视频的传输;最后把视频流传递到传输插件,其所起的作用是把视频流打包为RTP包;第三步:利用Gstreamer的实时流传输协议RTSP模块,构建RTSP服务器,并把RTP视频流挂载到RTSP服务器上;第四步:客户端在局域网内通过VLC进行视频接收并播放。2.如权利要求1所述的鱼眼相机视频矫正及传输方法,其特征是,对视频流进行矫正的具体步骤是,对相机进行标定,获取畸变参数,基于畸变参数,利用图形处理器GPU实现矫正算法的并行化,达到鱼眼视频的实时传输。3.如权利要求1所述的鱼眼相机视频矫正及传输方法,其特...

【专利技术属性】
技术研发人员:汪清窦同东赵建军杨耀通方浩宇
申请(专利权)人:天津大学
类型:发明
国别省市:天津,12

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1