视频稳像系统及方法技术方案

本发明专利技术涉及一种视频稳像系统及方法，为解决现有稳像处理系统无法达到高帧率视频实时处理要求的问题，本系统包括：用于采集视频数据的摄像单元；用于获取所述摄像单元姿态变化并输出相应三维姿态数据的姿态获取单元；与所述姿态获取单元电连接，用于根据所述三维姿态数据计算并输出补偿所述摄像单元姿态变化所需变换矩阵的补偿计算单元；与所述补偿计算单元和所述摄像单元电连接，用于根据所述变换矩阵对所述摄像单元输出的视频数据进行姿态变化消除的视频处理单元。该稳像系统可实现实时输出1080P分辨率、每秒40帧的稳像效果，视频输出延迟低于100ms，采用RTSP视频流的输出方式可以很方便地进行播放观看，大大方便了产品化。

Video image stabilizing system and method

The invention relates to a video stabilization system and method for solving the existing image stabilization system can achieve real-time processing of high frame rate video requirements, the system comprises a camera unit for collecting video data; for the camera unit and output the corresponding 3D attitude change attitude data acquisition unit is connected with the attitude; the attitude acquisition unit, used to calculate and output the compensated according to the 3D pose data compensation camera unit attitude change required to transform matrix calculation unit; and the compensation calculation unit and the imaging unit is electrically connected to the video processing unit according to the elimination of the attitude change of the transformation matrix of video data the output of the camera unit. The system can realize the real-time output 1080P resolution, 40 frames per second video stabilization effect, the output delay is less than 100ms, the output of RTSP video stream can easily play to watch, greatly facilitate the product.

【技术实现步骤摘要】
视频稳像系统及方法
本专利技术涉及图像处理
，更具体地说，涉及一种视频稳像系统及方法。
技术介绍
对于非固定式的拍摄设备而言，如何拍摄出稳定的图像一直以来是研究重点和难点。稳像的核心技术问题一般包括：运动向量的获取和反向补偿的实现。运动向量的获取方式主要包括：图像匹配与辅助传感器。反向补偿的实现方式主要包括：机械补偿与图像补偿两种方式。其中机械补偿需要配合辅助传感器使用，而图像补偿则可以配合运动向量获取方式实现。基于上述技术的稳像解决方案主要包括以下三种：1、光学防抖：通过对成像光路进行补偿来达到稳像效果，包括镜片移动式和感光元件移动式。2、云台稳像：通过把摄像机安装在一个机械增稳云台上，在物理上消除摄像机的抖动，进而防止视频抖动的发生。3、电子稳像：通过计算机对摄像机拍摄下来的视频进行后处理以消除视频抖动。但上述三种方案具有一定局限性：1、光学防抖需要在相机中安装陀螺仪来获取相机抖动，然后通过高精度机械结构移动镜片或感光元件进行补偿，保证光路的稳定。这种方式所用的机械结构需要很高的工艺要求，成本昂贵。2、云台稳像所需要的高性能机械云台结构比较复杂，产品成本较高；此外云台的体积一般都比较大，有一定的使用环境限制。3、现行电子稳像由于视觉算法的复杂度和精度问题以及摄像机抖动对画面曝光质量的影响，稳像效果和性能低于光学防抖和云台稳像。中国专利申请(CN201510283660X)公开了一种移动终端视频的电子稳像方法，通过内置于移动终端的姿态传感器获得移动终端的运动数据，并通过移动终端内置CPU对每一帧运动图像进行平移或旋转处理实现稳像。但在实际计算中，CPU需要对每帧运动图像上的每个像素点进行遍历，大大降低了处理速度。图像越大其处理速度越慢，该处理系统及方法无法达到对高帧率视频的实时处理要求。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术无法实现高性能视频稳像的缺陷，提供一种视频稳像系统及方法。本专利技术解决其技术问题所采用的技术方案是：构造一种视频稳像系统：包括：用于采集视频数据的摄像单元；用于获取所述摄像单元姿态变化并输出相应三维姿态数据的姿态获取单元；与所述姿态获取单元电连接，用于根据所述三维姿态数据计算并输出补偿所述摄像单元姿态变化所需变换矩阵的补偿计算单元；与所述补偿计算单元和所述摄像单元电连接，用于根据所述变换矩阵对所述摄像单元输出的视频数据进行姿态变化消除的视频处理单元。优选地，所述补偿计算单元包括：与所述姿态获取单元连接用于获取三维姿态数据的获取模块；与所述获取模块连接用于根据所述三维姿态数据计算相应变换矩阵的矩阵计算模块；与所述矩阵计算模块以及所述视频处理单元连接，用于将所述变换矩阵输出至所述视频处理单元的矩阵输出模块。优选地，所述视频处理单元包括：与所述摄像单元连接用于对上述摄像单元进行初始配置的配置模块；与所述摄像单元连接用于接收所述摄像单元输出视频数据的视频采集模块；与所述视频采集模块连接，将其接收到的所述视频数据缓存在内部FIFO中的视频缓存模块；用于存储视频数据的存储模块；与所述视频缓存模块、存储模块连接，用于对所述存储模块进行读写控制的控制模块；与所述控制模块以及所述矩阵输出模块连接，用于根据所述变换矩阵对视频数据进行仿射变换以消除姿态变化的姿态变化消除模块，所述姿态变化消除模块通过所述控制模块将进行仿射变换处理后的视频数据输出至存储模块。优选地，所述视频采集模块与所述获取模块连接并向所述获取模块发送中断触发信号；所述获取模块根据所述中断触发信号向所述矩阵计算模块输出三维姿态数据。优选地，所述视频处理单元还包括：与所述控制模块连接，通过所述控制模块读取所述存储模块中视频数据的视频读取模块；与所述视频读取模块连接，用于生成标准视频输出时序并根据所述标准视频输出时序从所述视频读取模块中读取视频数据的时序生成模块；与所述时序生成模块连接，用于输出视频数据的视频输出模块。优选地，所述补偿计算单元还包括：与所述视频输出模块连接，用于接收视频数据的视频接收模块；与所述视频接收模块连接，用于对所述视频数据进行压缩编码处理的压缩编码模块；与所述压缩编码模块连接，用于将进行压缩编码后的视频数据进行封装并通过RTSP协议输出至外部设备的网络视频流生成模块。实施本专利技术的稳像系统，可在不增加复杂的外部硬件的条件下，实现高性能的视频稳像效果，且对于大角度姿态变化的修正可以做到和普通角度姿态变化修正的相同效果。该稳像系统可实现实时输出1080P分辨率、每秒40帧的稳像效果，视频输出延迟低于100ms，采用RTSP视频流的输出方式可以很方便地进行播放观看，大大方便了产品化。本专利技术还提供一种视频稳像方法，包括以下步骤：S1：采集摄像单元的姿态变化得到相应的三维姿态数据；S2：根据所述三维姿态数据计算补偿摄像单元姿态变化所需的变换矩阵；S3：根据所述变换矩阵对视频数据进行姿态变化消除处理。优选地，所述三维姿态数据包括欧拉角(α，β，θ)。优选地，所述步骤S2包括以下步骤：S21：获取所述摄像单元的视场角V；S22：获取所述摄像单元的水平分辨率W与垂直分辨率H；S23：根据所述欧拉角、视场角V、水平分辨率W以及垂直分辨率H计算变换矩阵H：优选地，所述步骤S3包括：S31：获取每一个像素点的原始坐标(x,y)；S32：对上述原始坐标进行仿射变换以消除姿态变化，得到像素点的新坐标(x′,y′)：本专利技术的稳像方法，获取摄像头的姿态变化参数，计算得到消除姿态变化的矩阵，并根据变换矩阵对视频数据进行处理。本方法的计算过程简单，结果可靠，可实现任意角度的姿态变化消除，包括对图像360°全角度旋转的完全修正。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术稳像系统的原理图；图2是图1所示的稳像系统的结构示意图；图3是图1所示姿态获取单元的坐标系与摄像单元镜头方向示意图；图4是本专利技术稳像方法的流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。如图1所示，本专利技术提供一种视频稳像系统：包括：用于采集视频数据的摄像单元1；用于获取摄像单元1姿态变化并输出相应三维姿态数据的姿态获取单元2；与姿态获取单元2电连接，用于根据三维姿态数据计算并输出补偿摄像单元1姿态变化所需变换矩阵的补偿计算单元3；与补偿计算单元3和摄像单元1电连接，用于根据变换矩阵对摄像单元1输出的视频数据进行姿态变化消除的视频处理单元4。用于采集视频的摄像单元1为由镜头，CMOS传感器等部件组成的摄像头，本专利技术采用的摄像头型号为OV5658，通过对CMOS传感器的配置，可以采集分辨率为2592*1944，帧率为30fps的视频数据，其数据接口为LVDS接口；当然，传感器、摄像头的型号、类型，可以根据实际需要进行选择。为实现高性能的三维姿态方位变化采集效果，本专利技术的姿态获取单元2采用姿态传感器来获取摄像单元1的实时姿态，本实施例中的姿态传感器的型号为MPU9250，其内部集成有三轴陀螺仪、三轴加速度及和数据运动处理器等，当然，姿态传感器的型号也可以根据实际需要进行调整。通过配置数据运动处理器，可以直接输出多种形式的实时三维姿态数据，本专利技术配置的三维姿态数据为四元数本文档来自技高网...

【技术保护点】
一种视频稳像系统，其特征在于，包括用于采集视频数据的摄像单元(1)；用于获取所述摄像单元(1)姿态变化并输出相应三维姿态数据的姿态获取单元(2)；与所述姿态获取单元(2)电连接，用于根据所述三维姿态数据计算并输出补偿所述摄像单元(1)姿态变化所需变换矩阵的补偿计算单元(3)；与所述补偿计算单元(3)和所述摄像单元(1)电连接，用于根据所述变换矩阵对所述摄像单元(1)输出的视频数据进行姿态变化消除的视频处理单元(4)。

【技术特征摘要】
1.一种视频稳像系统，其特征在于，包括用于采集视频数据的摄像单元(1)；用于获取所述摄像单元(1)姿态变化并输出相应三维姿态数据的姿态获取单元(2)；与所述姿态获取单元(2)电连接，用于根据所述三维姿态数据计算并输出补偿所述摄像单元(1)姿态变化所需变换矩阵的补偿计算单元(3)；与所述补偿计算单元(3)和所述摄像单元(1)电连接，用于根据所述变换矩阵对所述摄像单元(1)输出的视频数据进行姿态变化消除的视频处理单元(4)。2.根据权利要求1所述的视频稳像系统，其特征在于，所述补偿计算单元(3)包括：与所述姿态获取单元(2)连接用于获取三维姿态数据的获取模块(31)；与所述获取模块(31)连接用于根据所述三维姿态数据计算相应变换矩阵的矩阵计算模块(32)；与所述矩阵计算模块(32)以及所述视频处理单元(4)连接，用于将所述变换矩阵输出至所述视频处理单元(4)的矩阵输出模块(33)。3.根据权利要求2所述的视频稳像系统，其特征在于，所述视频处理单元(4)包括：与所述摄像单元(1)连接用于对上述摄像单元(1)进行初始配置的配置模块(41)；与所述摄像单元(1)连接用于接收所述摄像单元(1)输出视频数据的视频采集模块(42)；与所述视频采集模块(42)连接，将其接收到的所述视频数据缓存在内部FIFO中的视频缓存模块(43)；用于存储视频数据的存储模块(46)；与所述视频缓存模块(43)、存储模块(46)连接，用于对所述存储模块(46)进行读写控制的控制模块(44)；与所述控制模块(44)以及所述矩阵输出模块(33)连接，用于根据所述变换矩阵对视频数据进行仿射变换以消除姿态变化的姿态变化消除模块(45)，所述姿态变化消除模块(45)通过所述控制模块(44)将进行仿射变换处理后的视频数据输出至存储模块(46)。4.根据权利要求3所述的视频稳像系统，其特征在于，所述视频采集模块(42)与所述获取模块(31)连接并向所述获取模块(31)发送中断触发信号；所述获取模块(31)根据所述中断触发信号向所述矩阵计算模块(32)输出三维姿态数据。5.根据权利要求3所述的视频稳像系统，其特征在于，所述视频处理单元(4...

【专利技术属性】
技术研发人员：徐渊，姚浩东，郑炯彬，黄凯，
申请(专利权)人：深圳市前海视微科学有限责任公司，
类型：发明
国别省市：广东,44