一种全景视频防抖的方法、装置及便携式终端制造方法及图纸

本发明专利技术适用于视频领域，提供了一种全景视频防抖的方法、装置及便携式终端。所述方法包括：实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值；使用扩展卡尔曼滤波器对相机的运动进行平滑；对平滑后的运动分解处理，合成ePTZ模式的虚拟镜头运动，计算所述虚拟镜头的旋转量；对原始视频重投影，生成稳定的视频。本发明专利技术通过对相机的运动进行分解，合成虚拟的镜头运动，可以滤除除垂直和水平方向以外其他方向的运动，生成稳定的视频。

【技术实现步骤摘要】
一种全景视频防抖的方法、装置及便携式终端
本专利技术属于全景视频领域，尤其涉及一种全景视频防抖的方法、装置及便携式终端。
技术介绍
目前拍摄全景视频时，通常是通过手持全景拍摄设备拍摄，在移动拍摄时，由于人手不稳定，会造成全景拍摄视频出现抖动的现象。在获取全景视角时，常常会由于相机的运动或抖动导致原始镜头焦点的丢失，影响全景视频的观看体验。目前解决方法之一是使用云台稳定全景拍摄设备，使其拍摄的画面稳定。然而，缺点是云台比较昂贵，体积一般比较大，而且也并没有完全解决手持全景拍摄设备拍摄视频是画面抖动的问题。当全景视频观看者在观看全景视频时，仅想要看全景视频的垂直和水平这两个方向的视角时，就需要使视频能够保留垂直方向和水平方向变化的视角且保持稳定，因此有必要研究一种仅保留垂直方向和水平方向运动状态的全景视频防抖的方法。
技术实现思路
本专利技术的目的在于提供一种全景视频防抖的方法、装置及便携式终端，旨在解决在获取全景视频视角时，原始镜头焦点丢失的问题，该方法能够生成垂直和水平方向平滑的稳定视频，并保留相机原始的拍摄视角。第一方面，本专利技术提供了一种全景视频防抖的方法，所述方法包括：实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值；使用扩展卡尔曼滤波器对相机的运动进行平滑；对平滑后的运动分解处理，合成ePTZ模式的虚拟镜头运动，计算所述虚拟镜头的旋转量；对原始视频重投影，生成稳定的视频。第二方面，本专利技术提供了一种全景视频防抖的装置，所述装置包括：获取模块，用于实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值；平滑模块，用于使用扩展卡尔曼滤波器对相机的运动进行平滑；计算模块，用于对平滑后的运动分解处理，合成ePTZ模式的虚拟镜头运动，计算所述虚拟镜头的旋转量；生成模块，用于对原始视频重投影，生成稳定的视频。第三方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的全景视频防抖方法的步骤。第四方面，本专利技术提供了一种便携式终端，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的全景视频防抖方法的步骤。在本专利技术中，通过对相机的运动进行分解，合成仅保留垂直和水平方向运动的ePTZ模式的虚拟的镜头运动，可以使全景视频播放时镜头的焦点始终在垂直和/或水平方向的变化，而过滤掉原始相机运动的其他方向的变化，因此该方法可以保持渲染镜头运动平滑，生成稳定的视频，并保留相机原始的拍摄视角，对大噪声场景和大部分运动场景都有很强的鲁棒性。附图说明图1是本专利技术实施例一提供的全景视频防抖方法的流程图。图2是本专利技术实施例二提供的全景视频防抖装置的示意图。图3是本专利技术实施例三提供的便携式终端的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。实施例一：请参阅图1，本专利技术实施例一提供的全景视频防抖方法包括以下步骤：S101、实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值。在本专利技术实施例一中，S101具体可以为：所述参考点的世界坐标为Pw，相机坐标为Pc，具体包括：Pw＝Rw2cPc(1)公式(1)中，为相机坐标转换到世界坐标的旋转矩阵；实时获取便携式终端中的陀螺仪的角速度数值具体是：利用角速度感应器读取三轴角速度数值为wk。S102、使用扩展卡尔曼滤波器对相机的运动进行平滑。扩展卡尔曼滤波算法是将非线性系统线性化，然后进行卡尔曼滤波，卡尔曼滤波是一种高效率的递归滤波器，它能够从一系列的不完全包含噪声的测量中，估计动态系统的状态；请参阅图2，在本专利技术实施例一中，S102具体可以为：使用扩展卡尔曼滤波算法对相机的运动状态建立状态模型和观测模型，具体为：状态模型为：观测模型为：公式(2)和公式(3)中，k为时刻，wk和qk为可以获得的观测向量，qk为Rw2c-1的四元数表示，wk为陀螺仪的角速度数值，为第k-1时刻的状态转移矩阵，Φ(wk-1)＝exp(wk-1)，为估计出的平滑后的镜头运动四元数表示，为由前一时刻的值估计出来的状态值；具体更新预测的过程为：当在k时刻时，利用前一时刻的估计出的和当前时刻的观测值qk来更新对状态变量的估计，求出当前时刻的估计值，该预测值即为第k时刻虚拟镜头的旋转量。S103、对平滑后的运动分解处理，合成ePTZ模式的虚拟镜头运动，计算所述虚拟镜头的旋转量。在本专利技术实施例一中，S103具体可以为：所述参考点在所述虚拟镜头中的坐标为具体包括：公式(4)中，是一个3*3矩阵，为所述虚拟镜头的旋转量；ePTZ模式为仅保留垂直和水平这两个方向运动的模式，对于合成的ePTZ模式的虚拟镜头，设旋转量为其中，为相机在垂直方向平滑后的运动轨迹，为相机在水平方向平滑后的运动轨迹；对平滑后的运动分解处理，ePTZ模式虚拟镜头运动，计算所述虚拟镜头的旋转量具体为：给定原始镜头焦点方向则平滑后的视点方向为其中，表示四元数空间的向量旋转，为虚拟相机向上的方向，可设置为[0,0,1]T。需要说明的是，利用Rodrigues公式可以由单位向量旋转θ角度后的四元数求得旋转矩阵R，具体为设四元数为q＝(θ,x,y,z)T，则旋转矩阵R的计算公式为：S104、对原始视频重投影，生成稳定的视频。在本专利技术实施例一中，S104具体可以为：计算原始视频帧中像素与输出视频帧中像素之间的对应关系，然后根据对应关系，对原始视频帧进行插值重采样，生成输出视频帧，最终生成稳定的视频；其中，设原始视频帧中像素为Ps，对应的输出的视频帧中像素为Pd，则对应关系为：其中Ps＝[xs,ys]T，Pd＝[xd,yd]T，Kc和Dc分别为相机的内参和畸变模型，为虚拟相机的投影内参；然后根据对应关系对原始视频帧Is进行插值重采样，生成输出视频帧Id具体为：公式(5)中，wi为插值权重，为Ps的邻域坐标。实施例二：请参阅图2，本专利技术实施例二提供的全景视频防抖的装置包括：获取模块11，用于实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值；平滑模块12，用于使用扩展卡尔曼滤波器对相机的运动进行平滑；计算模块13，用于对平滑后的运动分解处理，ePTZ模式虚拟镜头运动，计算所述虚拟镜头的旋转量；生成模块14，用于对原始视频重投影，生成稳定的视频。本专利技术实施例二提供的全景视频防抖的装置及本专利技术实施例一提供的全景视频防抖的方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。5.如权利要求4所述的方法，其特征在于，对平滑后的运动分解处理，合本文档来自技高网...

【技术保护点】
1.一种全景视频防抖的方法，其特征在于，所述方法包括：实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值；使用扩展卡尔曼滤波器对相机的运动平滑；对平滑后的运动分解处理，合成ePTZ模式的虚拟镜头运动，计算所述虚拟镜头的旋转量；对原始视频重投影，生成稳定的视频。

【技术特征摘要】
1.一种全景视频防抖的方法，其特征在于，所述方法包括：实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值；使用扩展卡尔曼滤波器对相机的运动平滑；对平滑后的运动分解处理，合成ePTZ模式的虚拟镜头运动，计算所述虚拟镜头的旋转量；对原始视频重投影，生成稳定的视频。2.如权利要求1所述的方法，其特征在于，所述参考点的世界坐标为Pw，相机坐标为Pc，角速度计数值为wk，具体包括：Pw＝Rw2cPc其中，为相机坐标转换到世界坐标的旋转矩阵；实时获取便携式终端中的陀螺仪的角速度数值具体是：利用角速度感应器读取三轴角速度数值wk。3.如权利要求1所述的方法，其特征在于，所述参考点在所述虚拟镜头中的坐标为具体包括：其中，是一个3*3矩阵，为所述虚拟镜头的旋转量。4.如权利要求1所述的方法，其特征在于，使用扩展卡尔曼滤波器对相机的运动进行平滑具体为：状态模型为：观测模型为：其中，k为时刻，wk和qk为可以获得的观测向量，qk为Rw2c-1的四元数表示，wk为陀螺仪的角速度数值，为第k-1时刻的状态转移矩阵，Φ(wk-1)＝exp(wk-1)，为估计出的平滑后的镜头运动四元数表示，为由前一时刻的值估计出来的状态值。5.如权利要求4所述的方法，其特征在于，对平滑后的运动分解处理，合成ePTZ模式的虚拟镜头运动，计算所述虚拟镜头的旋转量具体为：给定原始镜头焦点方向则平滑后的视点方向为其中，表示四元数空间的向量旋转，为虚拟相机向上的方向，可设置为[0,0,1]T。6.如权利要求1所述的方法，其特征在于对原始视频重投影，生成稳定的视频，具体包括：计算原始视频帧中像素与输出视频帧中像素之间的对应关系，然后根据对...

【专利技术属性】
技术研发人员：陈聪，
申请(专利权)人：深圳岚锋创视网络科技有限公司，
类型：发明
国别省市：广东,44