一种视频防抖方法及移动设备技术

公开了一种视频防抖方法，包括：获取移动设备在拍摄过程中陀螺仪的三轴角速度数据和所拍得的视频帧图像数据；根据相邻时间间隔内陀螺仪的轴角速度计算得到对应轴的旋转角度；对于所拍得的每一视频帧：计算视频帧对应的三轴旋转角度；根据视频帧的三轴旋转角度和相机标定矩阵计算该视频帧的第一运动轨迹；根据与视频帧相邻的至少一个参考帧对该视频帧的第一运动轨迹进行平滑处理，得到该视频帧的运动轨迹；对视频帧进行分块处理，并根据视频帧的运动轨迹计算出各分块的运动轨迹；根据各分块的运动轨迹对各分块内图像数据进行调整，输出防抖处理后的视频帧。一并公开了相应地移动设备。

A video anti shake method and mobile device

【技术实现步骤摘要】
【国外来华专利技术】一种视频防抖方法及移动设备
本专利技术涉及图像处理
，尤其是一种视频防抖方法及移动设备。
技术介绍
随着科学技术的飞速发展，各种移动设备不断地丰富并方便了大众生活，因其具有方便快捷、节省资源等优势，已经成为人们生活中不可或缺的一部分。其中，智能手机、平板电脑等具有摄像头的移动设备使得用户可以随时拍摄自身想要的视频图像，增加用户体验。但是，在视频拍摄过程中，由于环境因素或其他因素，例如，在行走、行车过程中拍摄时，由于设备跟随移动造成拍摄目标无规律的抖动，导致所拍摄的视频图像发生抖动现象，进而降低用户的观感。可见，为提高拍摄效果，需要对获取到的视频进行防抖处理。现有的视频防抖技术主要有两种：一是利用运动传感器检测相机的运动矢量再转换为图像的运动量从而进行防抖；另一种是直接利用数字图像处理技术，通过确定图像间的运动量而进行补偿达到防抖的目的。基于数字图像处理技术的防抖方法依赖于图像的质量，容易出现运动量估计误差大的情况，并且在大幅度快速移动、拍摄环境昏暗等情况下防抖效果不理想。因此，如何有效降低由于视频拍摄过程中移动设备不稳定所造成的视频抖动是一个亟待解决的问题。
技术实现思路
为此，本专利技术提供了一种视频防抖方法及移动设备，以力图解决或者至少缓解上面存在的至少一个问题。根据本专利技术的一个方面，提供了一种视频防抖方法，该方法用于对通过移动设备采集的视频进行防抖处理，该方法包括步骤：获取移动设备在拍摄过程中陀螺仪的三轴角速度数据和所拍得的视频帧图像数据；根据相邻时间间隔内陀螺仪的轴角速度计算得到对应轴的旋转角度；；对于所拍得的每一视频帧：计算视频帧对应的三轴旋转角度；根据视频帧的三轴旋转角度和相机标定矩阵计算该视频帧的第一运动轨迹；根据与视频帧相邻的至少一个参考帧对该视频帧的第一运动轨迹进行平滑处理，得到该视频帧的运动轨迹；对视频帧进行分块处理，并根据视频帧的运动轨迹计算出各分块的运动轨迹；以及根据各分块的运动轨迹对各分块内图像数据进行调整，输出防抖处理后的视频帧。可选地，在根据本专利技术的视频防抖方法中，获取移动设备在拍摄过程中陀螺仪的三轴角速度数据的步骤还包括：将所获取的陀螺仪三轴角速度值约束到预定区间内；以及利用预定的核函数对当前时刻陀螺仪的对应轴角速度及其前后时间段内多个陀螺仪的对应轴角速度进行平滑处理，得到该陀螺仪的三轴角速度。可选地，在根据本专利技术的视频防抖方法中，根据相邻时间间隔内陀螺仪的轴角速度计算得到对应轴的旋转角度的步骤还包括：以陀螺仪相邻时间间隔内的时间戳信息确定表征该三轴旋转角度的时间戳信息，作为第一时间。可选地，在根据本专利技术的视频防抖方法中，获取视频帧图像数据的同时，还获取了视频帧对应的系统时间，作为第二时间。可选地，在根据本专利技术的视频防抖方法中，计算视频帧对应的三轴旋转角度的步骤包括：利用视频帧的第二时间、根据第一时间与三轴旋转角度的对应关系匹配到该视频帧的三轴旋转角度。可选地，在根据本专利技术的视频防抖方法中，还包括预先对第二时间进行校正的步骤：根据视频帧的曝光时间对视频帧的第二时间进行校正，得到校正后的第二时间。可选地，在根据本专利技术的视频防抖方法中，校正后的第二时间为：frame_time2＝frame_time1+base_val+(0.03-exp_Time)×0.5其中，frame_time1为视频帧的第二时间，frame_time2为校正后的视频帧的第二时间，base_val为基准校正值，exp_Time为视频帧的曝光时间，当无法获取视频帧的曝光时间时，exp_Time为0。可选地，在根据本专利技术的视频防抖方法中，根据第一时间与三轴旋转角度的对应关系匹配到当前视频帧的三轴旋转角度的步骤包括：从第一时间中查找是否存在校正后的第二时间，若存在则将所查找到的第一时间对应的三轴旋转角度作为该视频帧的三轴旋转角度；以及若不存在则按照预定条件计算出该视频帧的三轴旋转角度。可选地，在根据本专利技术的视频防抖方法中，按照预定条件计算该视频帧的三轴旋转角度的步骤包括：从第一时间中取出与校正后的第二时间相邻的前后两个时间；以及根据所取出的两个时间及其对应的三轴旋转角度计算该视频帧的三轴旋转角度。可选地，在根据本专利技术的视频防抖方法中，视频帧的三轴旋转角度θi为：其中，i＝x,y,z分别代表x,y,z三个坐标轴，gyro(k)_time和gyro(k+1)_time表示与校正后第二时间frame_time2相邻的前后两个时间，gyro(k)_θi和gyro(k+1)_θi表示这两个时间对应的三轴旋转角度。可选地，在根据本专利技术的视频防抖方法中，利用张正友标定算法对移动设备的相机进行标定，并求得相机焦距。可选地，在根据本专利技术的视频防抖方法中，第一运动轨迹H＝KR，其中，K为相机标定矩阵，R为旋转矩阵，其中，θx,θy,θz分别表示x,y,z三轴的旋转角度。可选地，在根据本专利技术的视频防抖方法中，对第一运动轨迹进行平滑处理包括：其中，t为当前图像帧，r为与t相邻的前/后参考帧。H(t)表示第t帧的运动轨迹，H(r)表示第r帧的运动轨迹，P(t)表示经过轨迹平滑后第t帧的运动轨迹。Gt表示帧序列层面上第r帧对于第t帧的权重，Gm表示在运动轨迹层面上第r帧对于第t帧的权重。可选地，在根据本专利技术的视频防抖方法中，对该视频帧的第一运动轨迹进行平滑处理得到该视频帧的运动轨迹的步骤包括：对第一运动轨迹进行平滑处理得到第二运动轨迹、调整第二运动轨迹得到该视频帧的运动轨迹的步骤，即：计算第一运动轨迹和第二运动轨迹的差异值；若差异值大于阈值则根据该差异值对第二运动轨迹进行调整，直到差异值小于阈值，将调整后的第二运动轨迹作为该视频帧的运动轨迹；以及若差异值小于阈值则将第二运动轨迹作为该视频帧的运动轨迹。可选地，在根据本专利技术的视频防抖方法中，计算第一运动轨迹和第二运动轨迹的差异值的步骤包括：根据该视频帧的图像数据定义有效区域的四个角点的初始坐标；计算第一运动轨迹下四个角点的第一坐标集合；计算第二运动轨迹下四个角点的第二坐标集合；以及计算第一坐标集合和第二坐标集合分别确定的矩形区域的面积差值作为这两个运动轨迹的差异值。可选地，在根据本专利技术的视频防抖方法中，第一运动轨迹下角点的第一坐标Xt＝HtX，第二运动轨迹下角点的第二坐标Xs＝HsX，其中，Ht为第一运动轨迹的单应性矩阵，Hs为第二运动轨迹的单应性矩阵，X为角点的初始坐标。可选地，在根据本专利技术的视频防抖方法中，差异值diff＝Areat-Areas，其中，Areat和Areas代表第一坐标集合和第二坐标集合所分别确定的矩形区域的面积。可选地，在根据本专利技术的视频防抖方法中，根据该差异值对第二运动轨迹进行调整的步骤包括：根据该差异值计算插值比；以及根据插值比以线性插值本文档来自技高网...

【技术保护点】
一种视频防抖方法，该方法用于对通过移动设备采集的视频进行防抖处理，该方法包括步骤：/n获取移动设备在拍摄过程中陀螺仪的三轴角速度数据和所拍得的视频帧图像数据；/n根据相邻时间间隔内陀螺仪的轴角速度计算得到对应轴的旋转角度；/n对于所拍得的每一视频帧：/n计算视频帧对应的三轴旋转角度；/n根据所述视频帧的三轴旋转角度和相机标定矩阵计算该视频帧的第一运动轨迹；/n根据与视频帧相邻的至少一个参考帧对该视频帧的第一运动轨迹进行平滑处理，得到该视频帧的运动轨迹；/n对视频帧进行分块处理，并根据视频帧的运动轨迹计算出各分块的运动轨迹；以及/n根据各分块的运动轨迹对各分块内图像数据进行调整，输出防抖处理后的视频帧。/n

【技术特征摘要】
【国外来华专利技术】一种视频防抖方法，该方法用于对通过移动设备采集的视频进行防抖处理，该方法包括步骤：
获取移动设备在拍摄过程中陀螺仪的三轴角速度数据和所拍得的视频帧图像数据；
根据相邻时间间隔内陀螺仪的轴角速度计算得到对应轴的旋转角度；
对于所拍得的每一视频帧：
计算视频帧对应的三轴旋转角度；
根据所述视频帧的三轴旋转角度和相机标定矩阵计算该视频帧的第一运动轨迹；
根据与视频帧相邻的至少一个参考帧对该视频帧的第一运动轨迹进行平滑处理，得到该视频帧的运动轨迹；
对视频帧进行分块处理，并根据视频帧的运动轨迹计算出各分块的运动轨迹；以及
根据各分块的运动轨迹对各分块内图像数据进行调整，输出防抖处理后的视频帧。


如权利要求1所述的方法，其中所述获取移动设备在拍摄过程中陀螺仪的三轴角速度数据的步骤还包括：
将所获取的陀螺仪三轴角速度值约束到预定区间内；以及
利用预定的核函数对当前时刻陀螺仪的对应轴角速度及其前后时间段内多个陀螺仪的对应轴角速度进行平滑处理，得到该陀螺仪的三轴角速度。


如权利要求1或2所述的方法，其中，所述根据相邻时间间隔内陀螺仪的轴角速度计算得到对应轴的旋转角度的步骤还包括：
以陀螺仪相邻时间间隔内的时间戳信息确定表征该三轴旋转角度的时间戳信息，作为第一时间。


如权利要求3所述的方法，其中，所述获取视频帧图像数据的步骤还包括：

获取视频帧对应的系统时间，作为第二时间。


如权利要求4所述的方法，其中，所述计算视频帧对应的三轴旋转角度的步骤包括：
利用视频帧的第二时间、根据...

【专利技术属性】
技术研发人员：侯峰，陈星，张长定，叶志鸿，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建;35