一种视频处理方法及移动终端技术

本申请提供一种视频处理方法及移动终端，能够根据运动强度的变化，动态调整EIS的视频帧裁切比例，提高视频拍摄时画面的稳定性，提升用户的录像体验。本申请提供的移动终端包括摄像头、显示屏、运动传感器、处理器；摄像头用于录制视频；显示屏用于显示视频录制界面；运动传感器用于在摄像头录制视频时持续采集运动数据；根据运动数据，确定运动强度是否变化；若运动强度发生变化，视频录制界面用于显示启动动态防抖的提示；显示屏用于接收点击所述提示的触摸操作，处理器用于执行动态防抖。处理器用于执行动态防抖。处理器用于执行动态防抖。

【技术实现步骤摘要】
一种视频处理方法及移动终端


[0001]本申请涉及视频
，尤其涉及一种视频处理的方法及移动终端。

技术介绍

[0002]在视频拍摄者手持终端设备进行视频拍摄时，由于拍摄者手持不问、在运动中拍摄导致终端设备发生抖动。电子图像防抖(electronic image stabilization,EIS)算法通过陀螺仪等运动信息，计算出视频帧成像过程中每个像素的运动矢量，求出单应矩阵建立的输入图与稳像后的输出图像素之间的映射关系，计算运动矢量并对运动路径做平滑性处理。
[0003]EIS的实现依赖于对图像的裁剪，但是现有的EIS算法中，由于裁剪比例固定，所以EIS算法能够去除的抖动幅度有限。对于大运动场景来说，裁剪面积不足意味着输出图所需要的像素信息超出了输入图的范围。

技术实现思路

[0004]本申请实施例提供一种视频处理方法及移动终端，能够根据运动强度的变化，动态调整EIS的视频帧裁切比例，提高视频拍摄时画面的稳定性，提升用户的录像体验。
[0005]为达上述目的，本申请实施例采用如下方案：
[0006]一方面，本申请实施例提供了一种移动终端，该移动终端包括摄像头、显示屏、运动传感器、处理器；
[0007]摄像头用于录制视频；显示屏用于显示视频录制界面；
[0008]运动传感器用于在摄像头录制视频时持续采集运动数据；
[0009]根据运动数据，确定运动强度是否变化；
[0010]若运动强度发生变化，视频录制界面用于显示启动动态防抖的提示；/>[0011]显示屏用于接收点击所述提示的触摸操作，处理器用于执行动态防抖。
[0012]在该方案中，用户在录制视频时，如果在大幅度运动的场景下，移动终端可以弹出是否执行动态防抖的提示，以此来提示用户是否开启动态防抖，也即提示用户是否开启动态调整EIS的裁切比例。此种方案给了用户选择权，让用户拥有选择是否使用动态防抖的功能，因为有的用户可能不喜欢裁切比例不断的变化。
[0013]在一种可能的设计中，运动传感器包括惯性传感器、加速度传感器、陀螺仪。
[0014]在另一种可能的设计中，启动动态防抖的提示包括：动态防抖的说明部分和开关控制部分。
[0015]在另一种可能的设计中，摄像头录制视频时会生成视频帧；将运动数据与视频帧进行时间戳对齐，时间戳对齐为根据时间建立运动数据与视频帧的对应关系；对视频帧进行电子图像防抖处理，所述电子图像防抖为对视频帧进行裁切，将经过裁切的所述视频帧进行扭曲；计算视频帧的旋转矢量；根据运动数据，进行路径平滑；路径平滑为优化由所述运动数据组成的曲线；确定移动终端的运动状态；统计经过扭曲的所述视频帧的越界次数；
若越界次数大于第一阈值，则增大裁切比例；若越界次数小于等于第一阈值，则保持所述裁切比例。
[0016]在另一种可能的设计中，越界为进行所述扭曲前的所述视频帧的部分像素在进行所述扭曲后的所述视频帧中没有定义。
[0017]另一方面，本实施例提供一种视频处理方法，包括移动终端的摄像头采集视频帧；
[0018]移动终端的运动传感器采集运动数据；
[0019]移动终端的处理器将视频帧和运动数据进行时间戳对齐；
[0020]处理器对视频帧进行电子图像防抖，电子图像防抖为对视频帧进行裁切，将经过裁切的视频帧进行扭曲；
[0021]根据运动数据计算视频帧的旋转矢量；
[0022]处理器识别移动终端的运动状态；
[0023]处理器对视频帧进行裁切处理，统计经过裁切处理后的视频帧的越界次数；
[0024]处理器根据越界次数确定是否调整裁切比例；
[0025]若越界次数小于等于第一阈值，则保持裁切比例，处理器计算视频帧对应的H矩阵；根据H矩阵进行图像扭曲处理；
[0026]若越界次数大于所述第一阈值，处理器计算视频帧新的裁切比例，生成新的裁切比例下的初始视频帧；
[0027]处理器根据移动终端的运动强度变化确定各个所述视频帧的裁切比例；
[0028]处理器计算视频帧对应的H矩阵；
[0029]根据H矩阵进行图像扭曲处理。
[0030]在一种可能的设计中，移动终端的摄像头采集的视频帧存储在存储器的缓存中。
[0031]在另一种可能的设计中，运动数据包括：移动终端的加速度、角速度。
[0032]在另一种可能的设计中，时间戳对齐为处理器使用样条插值将运动数据由离散值变为连续曲线；处理器对连续曲线进行非线性优化，得到不同连续曲线之间的时间差；处理器循环执行非线性优化，当时间差符合特定条件，循环结束。
[0033]在另一种可能的设计中，处理器根据旋转矢量对视频帧进行路径平滑。
[0034]在另一种可能的设计中，运动路径平滑为处理器计算运动数据中每两个相邻数据点的向量，并对所有数据点进行遍历；处理器去掉向量相同的两个相邻数据点中的一个；处理器去掉由运动数据组成的数据曲线中的拐点；处理器去掉所有数据点中两个可以直接通过的数据点之间的数据点。
[0035]在另一种可能的设计中，越界为经过裁切处理前的视频帧的部分像素在经过裁切处理后的视频帧中没有定义。
[0036]在另一种可能的设计中，若越界次数大于第一阈值，移动终端的显示屏显示提示用户开启动态防抖的界面。显示屏接收用户的触摸操作，开启动态防抖。
[0037]在另一种可能的设计中，动态防抖为处理器根据运动强度的变化，调整裁切比例。
[0038]又一方面，本实施例提供一种计算机可读存储介质，包括指令，当指令在移动终端上运行时，使得移动终端执行上述视频处理的方法。
附图说明
[0039]图1是一种经过路径平滑算法处理的陀螺仪数据示意图；
[0040]图2A是一种在抖动场景下视频裁切比例的示意图；
[0041]图2B是另一种在那个场景下视频裁切比例的示意图；
[0042]图3是一种视频处理的方法步骤示意图；
[0043]图4A是一种运动传感器确定的运动状态示意图；
[0044]图4B是一种不同运动状态下的陀螺仪数据示意图；
[0045]图4C是一种不同运动状态下进行运动状态转移的示意图；
[0046]图5是一种调整视频裁切比例的方法步骤示意图；
[0047]图6是一种开启动态FOV的UI界面示意图；
[0048]图7A是一种处理视频抖动的示意图；
[0049]图7B是另一种处理视频抖动的示意图；
[0050]图8A是一种没有经过路径平滑处理的陀螺仪数据示意图；
[0051]图8B是一种经过路径平滑处理的陀螺仪数据示意图；
[0052]图9是一种根据运动趋势确定裁切比例尺寸变化的方法步骤示意图；
[0053]图10A是一种终端设备采集到的视频帧的示意图；
[0054]图10B是一种表示运动强度变化和裁切比例变化的示意图；
[0055]图11本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动终端，其特征在于，包括摄像头、显示屏、运动传感器、处理器；所述摄像头用于录制视频；所述显示屏用于显示视频录制界面；所述运动传感器用于在所述摄像头录制视频时持续采集运动数据；根据所述运动数据，确定运动强度是否变化；若所述运动强度发生变化，所述视频录制界面用于显示启动动态防抖的提示；所述显示屏用于接收点击所述提示的触摸操作，所述处理器用于执行动态防抖。2.根据权利要求1所述的移动终端，其特征在于，所述运动传感器包括惯性传感器、加速度传感器、陀螺仪。3.根据权利要求1所述的移动终端，其特征在于，所述启动动态防抖的提示包括：动态防抖的说明部分和开关控制部分。4.根据权利要求1所述的移动终端，其特征在于，所述摄像头录制视频时会生成视频帧；将所述运动数据与所述视频帧进行时间戳对齐，所述时间戳对齐为根据时间建立所述运动数据与所述视频帧的对应关系；对所述视频帧进行电子图像防抖处理，所述电子图像防抖为对所述视频帧进行裁切，将经过所述裁切的所述视频帧进行扭曲；计算所述视频帧的旋转矢量；根据所述运动数据，进行路径平滑；所述路径平滑为优化由所述运动数据组成的曲线；确定所述移动终端的运动状态；统计经过所述扭曲的所述视频帧的越界次数；若所述越界次数大于第一阈值，则增大裁切比例；若所述越界次数小于等于第一阈值，则保持所述裁切比例。5.根据权利要求4所述的移动终端，其特征在于，所述越界为进行所述扭曲前的所述视频帧的部分像素在进行所述扭曲后的所述视频帧中没有定义。6.一种视频处理方法，其特征在于，包括：移动终端的摄像头采集视频帧；所述移动终端的运动传感器采集运动数据；所述移动终端的处理器将所述视频帧和所述运动数据进行时间戳对齐；所述处理器对所述视频帧进行电子图像防抖，所述电子图像防抖为对所述视频帧进行裁切，将经过所述裁切的所述视频帧进行扭曲；根据所述运动数据计算所述视频帧的旋转矢量；所述处理器识别所述移动终端的运动状态；所述处理器对所述视频帧进行裁切处理，统计经过所述裁切处理后的所述视频帧的越界次数；所述处理器根据所述越界次数确定是否调整裁切比例；若所述越界次数小于等于第一阈...

【专利技术属性】
技术研发人员：王宇，朱聪超，敖欢欢，胡斌，李远友，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：