智能终端及其视频稳像方法及装置制造方法及图纸

智能终端及其视频稳像方法及装置，所述方法包括：在视频压缩过程中，获取图像帧中各个宏块运动估计的残差；对图像帧中各个宏块的残差进行统计，得出图像帧的残差；依据所述图像帧的残差，调整运动传感器和图像传感器之间的时间戳偏移；以调整后的时间戳偏移进行后续图像帧的时间戳对应、抖动估计和抖动补偿。本发明专利技术依据视频压缩过程中得到的运动估计的残差，来调整视频稳像过程中运动传感器和图像传感器之间的时间戳偏移，从而在时间戳偏移因自动曝光等因素发生变化时，系统能够对时间戳对应、抖动估计和抖动补偿时所使用的时间戳偏移进行动态调整，减小了因时间戳偏移的变化对稳像效果带来的不利影响。

【技术实现步骤摘要】

本专利技术涉及电子信息
，特别是涉及一种智能终端及其视频稳像方法及装置。
技术介绍
录像设备在录像过程中，设备本身的抖动会导致其采集到的原始视频也存在相应的抖动。尤其是对于一些具备录像功能的便携式手持移动终端来说，其在摄像时抖动幅度较大，因而采集到的原始视频也常常会伴随有明显的画面抖动。近年来，随着运动传感器的成熟，录像设备可以借助于运动传感器来感知设备的抖动，从而用于视频画面的稳像和防抖。基于运动传感器的视频稳像方案可以分为光学防抖方案和数字防抖方案。前者需要在相机模组中使用专用的运动传感器，并且需要马达控制模块来完成光学成像系统的实时补偿，设计和生产成本较高；后者则不需要专用的运动传感器，并且稳像过程完全由数字方案实现，设计成本较低。本专利技术讨论的是数字防抖方案。公开号为US2013/0076921A1的美国专利公开了一种视频稳像方法，在图像传感器采集画面之后，基于运动传感器的数据进行帧间抖动估计，并进行逐帧的运动补偿，输出稳像之后的视频序列。由于运动传感器获得的录像设备运动路径(或称为抖动路径)是即时的，而图像传感器从图像帧被采样到帧间运动估计需要花费一定的运算时间(通常是几毫秒)，因此，运动传感器和图像传感器之间会存在一定的时间戳偏移(timing delay, td)。数字防抖方案在进行抖动估计时，需要确定运动传感器和图像传感器之间的时间戳偏移。现有技术中通常通过一组实验样本来标定该时间戳偏移。例如，拍摄一组视频并同时记录运动传感器的采样数据，通过诸如特征点匹配等方式来估计视频帧间的相对运动，并将该运动与运动传感器采样的运动路径进行对比，从而得到运动传感器和图像传感器之间的时间戳偏移。在得到时间戳偏移之后，就可以以此进行后续的抖动估计以及抖动补偿。如图1所示，图1中的方块对应运动传感器的样本值及其相应的时间戳；圆圈表示将视频帧时间戳经过时间戳偏移校准(Tf+td)之后对应到运动传感器数据上的位置，其对应的运动信息(mot1n)值可以当作该视频帧对应的运动信息(具体的“对应”过程可以采用某种插值算法来实现，本专利技术对此不作限定)；三角表示采用非最优的时间戳偏移(记为td')对视频帧时间戳进行时间戳偏移校准(Tf+td')之后对应到运动传感器数据上的位置。在视频稳像过程中，视频稳像系统若采用非最优的时间戳偏移进行时间戳偏移校准，将会导致抖动估计和抖动补偿时所采用的运动路径，与图像传感器采样到图像帧时录像设备实际的运动路径不一致，进而对稳像效果带来不利影响。如何得到尽可能接近最优的时间戳偏移，是影响数字防抖方案稳像效果的重要因素。如前所述，现有技术中确定时间戳偏移的方法，是在稳像前预先标定。在完成标定后，即以该标定的时间戳偏移进行抖动估计和抖动补偿，并假定时间戳偏移在整个录像过程中是恒定的。专利技术人发现，录像时的自动曝光功能或者其他系统设计方面的因素，有时会导致时间戳偏移发生变化。因此，现有技术中假定时间戳偏移在整个录像过程中恒定的做法，会对稳像效果带来不利影响。
技术实现思路
本专利技术解决的技术问题是:在视频稳像过程中，如何减小因运动传感器和图像传感器之间时间戳偏移的变化对稳像效果带来的不利影响。为了解决上述技术问题，本专利技术实施例提供一种视频稳像方法，包括:在视频压缩过程中，获取图像帧中各个宏块运动估计的残差；对图像帧中各个宏块的残差进行统计，得出图像帧的残差；依据所述图像帧的残差，调整运动传感器和图像传感器之间的时间戳偏移；以调整后的时间戳偏移进行后续图像帧的时间戳对应、抖动估计和抖动补偿。可选的，所述调整运动传感器和图像传感器之间的时间戳偏移具体是:采用坐标下降法或梯度下降法来调整所述时间戳偏移，使其逼近时间戳偏移的真实值。为了解决上述技术问题，本专利技术实施例还提供一种视频稳像方法，包括:根据时间戳偏移，进行图像帧与抖动路径在时间上的对应；根据图像帧所对应的抖动路径，对该图像帧进行抖动估计和抖动补偿；对抖动补偿之后的图像帧进行视频压缩，在视频压缩过程中，获取图像帧中各个宏块运动估计的残差；对图像帧中各个宏块的残差进行统计，得出图像帧的残差；将所述残差与所述第一阈值进行比较，判断出是否需要调整时间戳偏移，所述第一阈值是预设的；若需要调整时间戳偏移，则采用最优化算法，调整运动传感器和图像传感器之间的时间戳偏移；以调整后的时间戳偏移对后续的图像帧循环执行上述步骤，直至不需要调整时间戳偏移为止。可选的，在得出需要调整时间戳偏移的判断之后，进入重新校准状态，直至在后续的图像帧处理中得出不需要调整时间戳偏移的判断为止；在所述重新校准状态下，针对每一帧图像执行时间戳校准步骤，在所述重新校准状态以外，每隔若干帧或固定的时间间隔执行时间戳校准步骤；所述时间戳校准步骤包括:所述获取图像帧中各个宏块运动估计的残差、所述得出图像帧的残差、所述判断出是否需要调整时间戳偏移、和所述若需要调整时间戳偏移，则采用最优化算法，调整运动传感器和图像传感器之间的时间戳偏移的步骤。可选的，在所述进行图像帧与抖动路径在时间上的对应之前，还包括:图像传感器采集到图像帧，将图像帧与采样时间对应保存；运动传感器感知到录像设备的抖动路径，将抖动路径与采样时间对应保存。可选的，在所述对该图像帧进行抖动估计和抖动补偿之前，还包括:对所述图像帧进行抖动路径平滑。可选的，所述调整运动传感器和图像传感器之间的时间戳偏移具体是:采用坐标下降法或梯度下降法来调整所述时间戳偏移，使其逼近时间戳偏移的真实值。可选的，所述运动传感器为陀螺仪或加速度传感器。为了解决上述技术问题，本专利技术实施例还提供一种视频稳像装置，包括:残差获取单元、残差统计单元、调整单元和稳像单元；其中:残差获取单元，用于在视频压缩过程中，获取图像帧中各个宏块运动估计的残差。残差统计单元，用于在所述残差获取单元获取图像帧中各个宏块运动估计的残差之后，对图像帧中各个宏块的残差进行统计，得出图像帧的残差；调整单元，用于在所述残差统计单元得出图像帧的残差之后，依据所述图像帧的残差，调整运动传感器和图像传感器之间的时间戳偏移；稳像单元，用于根据时间戳偏移或调整后的时间戳偏移进行图像帧的时间戳对应、抖动估计和抖动补偿。可选的，所述调整运动传感器和图像传感器之间的时间戳偏移具体是:采用坐标下降法或梯度下降法来调整所述时间戳偏移，使其逼近时间戳偏移的真实值。为了解决上述技术问题，本专利技术实施例还提供一种视频稳像装置，包括:稳像单元、视频压缩单元、残差获取单元、残差统计单元、判断单元和调整单元；其中:稳像单元，用于根据时间戳偏移，进行图像帧与抖动路径在时间上的对应，还用于根据图像帧所对应的抖动路径，对该图像帧进行抖动估计和抖动补偿；视频压缩单元，用于对抖动补偿之后的图像帧进行视频压缩；残差获取单元，用于在所述视频压缩单元视频压缩过程中，获取图像帧中各个宏块运动估计的残差；残差统计单元，用于在所述残差获取单元获取图像帧中各个宏块运动估计的残差之后，对图像帧中各个宏块的残差进行统计，得出图像帧的残差；判断单元，用于在所述残差统计单元得出图像帧的残差之后，将所述残差与所述第一阈值进行比较，判断出是否需要调整时间戳偏移，所述第一阈值是预设的；调整单元，用于在所述判断单元判断出是当前第1页1 2&本文档来自技高网...

【技术保护点】
一种视频稳像方法，其特征在于，包括：在视频压缩过程中，获取图像帧中各个宏块运动估计的残差；对图像帧中各个宏块的残差进行统计，得出图像帧的残差；依据所述图像帧的残差，调整运动传感器和图像传感器之间的时间戳偏移；以调整后的时间戳偏移进行后续图像帧的时间戳对应、抖动估计和抖动补偿。

【技术特征摘要】

【专利技术属性】
技术研发人员：蔡进，王浩，孟春芝，
申请(专利权)人：北京展讯高科通信技术有限公司，
类型：发明
国别省市：北京;11