一种全景视频防抖的方法、系统及便携式终端技术方案

本发明专利技术适用于视频领域，提供了一种全景视频防抖的方法、系统及便携式终端。所述方法包括：实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。本发明专利技术能稳定抖动的视频帧，能减轻VR晕动症。

【技术实现步骤摘要】
一种全景视频防抖的方法、系统及便携式终端
本专利技术属于视频领域，尤其涉及一种全景视频防抖的方法、系统及便携式终端。
技术介绍
现有技术提供的全景视频，当戴上VR眼镜看时，会让人感觉恶心、眩晕，VR晕动症是一个一直未能很好解决的问题，除了硬件方面未能取得突破外，软件部分也是一个原因，特别是VR全景视频，如果使用手持式的全景相机拍摄，画面的抖动会进一步加速VR晕动症的产生。
技术实现思路
本专利技术的目的在于提供一种全景视频防抖的方法、系统及便携式终端，旨在解决画面的抖动会进一步加速VR晕动症的产生的问题。第一方面，本专利技术提供了一种全景视频防抖的方法，所述方法包括：实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。第二方面，本专利技术提供了一种全景视频防抖的系统，所述系统包括：获取模块，用于实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；估计模块，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；计算模块，用于根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；和视频帧生成模块，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。第三方面，本专利技术提供了一种便携式终端，包括存储器和处理器，所述处理器和所述存储器通过总线连接；所述存储器用于存储一组程序代码，所述处理器用于调用所述存储器中存储的程序代码，执行如下操作：实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。因为加速度计数值估计出的角度，容易受到干扰(如行走，徒步，奔跑等)，随着时间的累积，角速度的累积误差会越来越大。在本专利技术中，由于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量，并根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵，然后旋转全景图像，因此最终能稳定抖动的视频帧，能减轻VR晕动症。附图说明图1是本专利技术实施例一提供的全景视频防抖的方法的流程图。图2是本专利技术实施例一提供的全景视频防抖的方法中的S102的流程图。图3是本专利技术实施例二提供的全景视频防抖的系统的示意图。图4是本专利技术实施例三提供的便携式终端的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。实施例一：请参阅图1，本专利技术实施例一提供的全景视频防抖的方法包括以下步骤：S101、实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值。在本专利技术实施例一中，实时获取便携式终端的加速度计数值具体可以是：利用重力感应器读取三轴加速度计数值。实时获取便携式终端的角速度数值具体可以是：利用角速度感应器读取三轴角速度数值。在本专利技术实施例一中，S101之后还可以包括以下步骤：利用低通滤波对加速度计数值和角速度数值进行降噪处理。具体可以包括以下步骤：通过公式d'i＝α·di+(1-α)·d'i-1分别对加速度计数值和角速度数值进行低通滤波降噪处理，其中，di表示第i时刻的加速度计数值或角速度数值；d'i表示第i时刻经过低通滤波后的加速度计数值或角速度数值；d'i-1表示第i-1时刻时滤波后的加速度计数值或角速度数值；α表示平滑因子，其中fc表示低通滤波的截止频率，Rc表示时间常数，Δt表示采样时间间隔。S102、利用扩展卡尔曼滤波(ExtendedKalmanFiltering)结合加速度计数值和角速度数值，估计当前状态的旋转向量。扩展卡尔曼滤波是将非线性系统线性化，然后进行卡尔曼滤波，卡尔曼滤波是一种高效率的递归滤波器,它能够从一系列的不完全包含噪声的测量中，估计动态系统的状态。请参阅图2，在本专利技术实施例一中，S102具体可以包括以下步骤：S1021、利用角速度数值计算k时刻的状态转移矩阵Fk；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量在本专利技术实施例一中，S1021具体可以包括以下步骤：对初始状态转移矩阵、初始预测协方差矩阵和初始观测矩阵进行初始化，其中，初始状态转移矩阵初始预测协方差矩阵，初始观测矩阵计算k时刻的状态转移矩阵计算观测信息矩阵其中，xk-1表示k-1时刻的便携式终端的状态估计，xk表示k时刻的便携式终端的状态估计，表示偏微分符号，f表示状态方程函数，x表示便携式终端的状态，即三个轴方向上的旋转角度，h表示观测方程函数，xk-2表示第k-2时刻的便携式终端的状态，uk-1表示第k-1时刻的角速度数值，wk-1表示k-1时刻的过程噪声，表示利用k-2时刻来预测第k-1时刻便携式终端的估计状态，xk-1表示第k-1时刻的便携式终端的状态，uk表示第k时刻的角速度数值，wk表示第k时刻的过程噪声，表示利用k-1时刻来预测第k时刻便携式终端的估计状态，xk-2＝[Xk-2,Yk-2,Zk-2]T，其中，Xk-2,Yk-2,Zk-2表示第k-2时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，xk-1＝[Xk-1,Yk-1,Zk-1]T，其中，Xk-1,Yk-1,Zk-1表示第k-1时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，T表示转置；把参考系坐标系下的垂直向下的重力加速度投影到刚体坐标系下，通过公式计算观测余量其中，zk为k时刻利用低通滤波进行降噪处理后的加速度计数值，Hk是观测信息矩阵，表示观测方程zk＝h(xk,g,vk)使用当前估计状态计算的雅可比(Jacobian)矩阵，其中，g表示参考坐标系下的垂直向下的重力矢量，g＝[0,0,-9.81]T，vk表示为测量误差。S1022、利用上一状态的估计误差协方差矩阵Pk-1|k-1、当前状态的状态转移矩阵Fk和过程噪声Q估计当前状态的误差协方差矩阵Pk|k-1；在本专利技术实施例一中，S1022具体可以利用公式计算出的状态预测估计协方差矩阵Pk|k-1，其中，Pk-1|k-1表示k-1时刻状态的估计协方差矩阵，Qk表示过程噪声的协方差矩阵，dt表示陀螺仪数据的采样间隔时间，Fk表示k时刻的状态转移矩阵，表示Fk的转置。S1023、利用估计的当前状态的误差协方差矩阵Pk|k-1、观测矩阵Hk和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵Kk；在本专利技术实施例一中，S1023具体可以包括以下步骤：利用状态预测估计协方差矩阵Pk|k-1来计算k时刻的最优卡尔曼增益矩阵Kk，R表示噪声协方差矩阵，σ2表示噪声方差，一般地σ＝0.75，Hk表示k时刻的观测信息雅克比矩阵，表示Hk的转置。S1024、根据当前状态的最优卡尔曼增益矩阵Kk和当前时刻预测余量更新当前状态估计旋转向量在本专利技术实施例一中，S1024具体可以包括以下步骤：更本文档来自技高网...

【技术保护点】
一种全景视频防抖的方法，其特征在于，所述方法包括：实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。

【技术特征摘要】
1.一种全景视频防抖的方法，其特征在于，所述方法包括：实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。2.如权利要求1所述的方法，其特征在于：所述实时获取便携式终端的加速度计数值具体是：利用重力感应器读取三轴加速度计数值；所述实时获取便携式终端的角速度数值具体是：利用角速度感应器读取三轴角速度数值。3.如权利要求1所述的方法，其特征在于，所述实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值之后，所述方法还包括：利用低通滤波对加速度计数值和角速度数值进行降噪处理。4.如权利要求3所述的方法，其特征在于，所述利用低通滤波对加速度计数值和角速度数值进行降噪处理具体包括：通过公式d′i＝α·di+(1-α)·d′i-1分别对加速度计数值和角速度数值进行低通滤波降噪处理，其中，di表示第i时刻的加速度计数值或角速度数值；d′i表示第i时刻经过低通滤波后的加速度计数值或角速度数值；d′i-1表示第i-1时刻时滤波后的加速度计数值或角速度数值；α表示平滑因子，其中fc表示低通滤波的截止频率，Rc表示时间常数，Δt表示采样时间间隔。5.如权利要求1或3所述的方法，其特征在于，所述利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量具体包括：利用角速度数值计算k时刻的状态转移矩阵Fk；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量利用上一状态的估计误差协方差矩阵Pk-1|k-1、当前状态的状态转移矩阵Fk和过程噪声Q估计当前状态的误差协方差矩阵Pk|k-1；利用估计的当前状态的误差协方差矩阵Pk|k-1、观测矩阵Hk和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵Kk；根据当前状态的最优卡尔曼增益矩阵Kk和当前时刻预测余量更新当前状态估计旋转向量6.如权利要求5所述的方法，其特征在于，所述利用角速度数值计算k时刻的状态转移矩阵Fk；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量具体包括以下步骤：对初始状态转移矩阵、初始预测协方差矩阵和初始观测矩阵进行初始化，其中，初始状态转移矩阵初始预测协方差矩阵，初始观测矩阵计算k时刻的状态转移矩阵计算观测信息矩阵其中，xk-1表示k-1时刻的便携式终端的状态估计，xk表示k时刻的便携式终端的状态估计，表示偏微分符号，f表示状态方程函数，x表示便携式终端的状态，即三个轴方向上的旋转角度，h表示观测方程函数，xk-2表示第k-2时刻的便携式终端的状态，uk-1表示第k-1时刻的角速度数值，wk-1表示k-1时刻的过程噪声，表示利用k-2时刻来预测第k-1时刻便携式终端的估计状态，xk-1表示第k-1时刻的便携式终端的状态，uk表示第k时刻的角速度数值，wk表示第k时刻的过程噪声，表示利用k-1时刻来预测第k时刻便携式终端的估计状态，xk-2＝[Xk-2,Yk-2,Zk-2]T，其中，Xk-2,Yk-2,Zk-2表示第k-2时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，xk-1＝[Xk-1,Yk-1,Zk-1]T，其中，Xk-1,Yk-1,Zk-1表示第k-1时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，T表示转置；把参考系坐标系下的垂直向下的重力加速度投影到刚体坐标系下，通过公式计算观测余量其中，zk为k时刻利用低通滤波进行降噪处理后的加速度计数值，Hk是观测信息矩阵，表示观测方程zk＝h(xk,g,vk)使用当前估计状态计算的雅可比矩阵，其中，g表示参考坐标系下的垂直向下的重力矢量，g＝[0,0,-9.81]T，vk表示为测量误差；所述利用上一状态的估计...

【专利技术属性】
技术研发人员：蔡锦霖，姜文杰，刘靖康，
申请(专利权)人：深圳岚锋创视网络科技有限公司，
类型：发明
国别省市：广东,44