延迟校准方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:30151690 阅读:19 留言:0更新日期:2021-09-25 15:00
本申请涉及一种延迟校准方法、装置、计算机设备和存储介质。所述方法包括:获取视频组,视频组中至少包括一个视频;对惯性传感器与视觉系统之间的延时值进行更新,并基于更新后的延时值,获取视频组对应的防抖性能得分,重复上述延时值的更新过程及获取防抖性能得分的过程,直至获取到的防抖性能得分满足预设条件,则获取满足预设条件的防抖性能得分所对应的延时值。由于不需要由IMU与视觉系统分别估计两组运动,再以两组运动之间的误差作为代价值,使误差最小化来估计两者之间的延迟,从而能够避免两组运动估计本身所带来的误差,进而能够提高校准延迟时的精准度。能够提高校准延迟时的精准度。能够提高校准延迟时的精准度。

【技术实现步骤摘要】
延迟校准方法、装置、计算机设备和存储介质


[0001]本申请涉及图像处理
,特别是涉及一种延迟校准方法、装置、计算机设备和存储介质。

技术介绍

[0002]目前通常从IMU(Inertial Measurement Unit,惯性传感器)侦测到的抖动信号计算相机的姿态,再根据计算得到的相机姿态,对通过视觉系统拍摄得到的图像进行补偿处理,以实现电子防抖。由于视觉系统在拍摄图像时与IMU侦测到抖动信号之间存在延迟,比如视觉系统拍摄了某一帧的图像,IMU检测到的抖动却是上一帧对应时刻的,而系统却可能认为这两者是同一时刻相匹配的,也即视觉系统很难在IMU检测到抖动的那一刻恰好拍摄了图像,从而针对上述延迟,实际应用中就需要对IMU与视觉系统之间的延迟进行校准,也即对于IMU对应的时钟及视觉系统的时钟,需要确定其中一个时钟以另一个时钟为标准下的时间偏差。
[0003]在相关技术中,一般是分别通过IMU与视觉系统估计两组运动,再通过非线性优化算法以两组运动之间的误差作为代价值,使误差最小化来估计二者之间的延迟。由于两组运动估计本身存在误差,从而导致通过该方法估计的延迟精度较低,不能满足高精度延迟的需求。另外,若上述两组运动中存在周期性重复的运动,则该方法还存在估计错误的情况。

技术实现思路

[0004]基于此,有必要针对上述技术问题,提供一种能够精准校准IMU与视觉系统之间延迟的延迟校准方法、装置、计算机设备和存储介质。
[0005]一种延迟校准方法,该方法包括:
[0006]获取视频组,视频组中至少包括一个视频;
[0007]对惯性传感器与视觉系统之间的延时值进行更新,并基于更新后的延时值,获取视频组对应的防抖性能得分,重复上述延时值的更新过程及获取防抖性能得分的过程,直至获取到的防抖性能得分满足预设条件,则获取满足预设条件的防抖性能得分所对应的延时值;
[0008]其中,惯性传感器与视觉系统耦合在同一拍摄设备上,视频组中每一视频均是基于视觉系统所获取的,防抖处理是通过视觉系统及惯性传感器,并基于两者之间的延时值所完成的,防抖性能得分用于评估对视频作防抖处理后的防抖效果。
[0009]在其中一个实施例中,获取视频组包括:
[0010]获取多个视频,视频是在拍摄设备存在抖动的前提下所拍摄的;
[0011]根据多个视频中每个视频对应的拍摄时间段内所获取到的拍摄设备的姿态数据,对多个视频进行筛选,并由筛选后得到的视频构成视频组;其中,拍摄设备的姿态数据是基于惯性传感器所获取的。
[0012]在其中一个实施例中,根据多个视频中每个视频对应的拍摄时间段内所获取到的拍摄设备的姿态数据,对多个视频进行筛选,包括:
[0013]将在每个视频对应的拍摄时间段内所获取到的拍摄设备的姿态数据转换至频域空间,以得到每个视频对应的幅频特性曲线集合;
[0014]根据每个视频对应的幅频特性曲线集合,获取每个视频对应的频域分值;
[0015]根据每个视频对应的频域分值,对多个视频进行筛选。
[0016]在其中一个实施例中,根据每个视频对应的幅频特性曲线集合,获取每个视频对应的频域分值,包括:
[0017]对于任一视频对应的幅频特性曲线集合,根据幅频特性曲线集合中每一幅频特性曲线对应的频率及幅值,获取每一幅频特性曲线对应的频域分值;
[0018]根据每一幅频特性曲线对应的频域分值,获取该视频对应的频域分值。
[0019]在其中一个实施例中,根据幅频特性曲线集合中每一幅频特性曲线对应的频率及幅值,获取每一幅频特性曲线对应的频域分值,包括:
[0020]获取每一幅频特性曲线对应的频率与幅值的乘积,并将乘积作为每一幅频特性曲线对应的频域分值;或者,
[0021]获取每一幅频特性曲线对应频率的得分,获取每一幅频特性曲线对应的得分与幅值的乘积,并将乘积作为每一幅频特性曲线对应的频域分值。
[0022]在其中一个实施例中,根据每一幅频特性曲线对应的频域分值,获取任一视频对应的频域分值,包括:
[0023]对幅频特性曲线集合中所有幅频特性曲线对应的频域分值进行加权求和,将得到的和值作为该视频对应的频域分值。
[0024]在其中一个实施例中,根据每个视频对应的频域分值,对多个视频进行筛选,包括:
[0025]对多个视频中每个视频对应的频域分值按照从大到小排序,选取前预设数量个视频,并作为筛选后得到的视频。视频为单通道视频或多通道视频。
[0026]一种延迟校准装置,该装置包括:
[0027]获取模块,用于获取视频组,视频组中至少包括一个视频;
[0028]更新模块,用于对惯性传感器与视觉系统之间的延时值进行更新,并基于更新后的延时值,获取视频组对应的防抖性能得分,重复上述延时值的更新过程及获取防抖性能得分的过程,直至获取到的防抖性能得分满足预设条件,则获取满足预设条件的防抖性能得分所对应的延时值;
[0029]其中,惯性传感器与视觉系统耦合在同一拍摄设备上,视频组中每一视频均是基于视觉系统所获取的,防抖处理是通过视觉系统及惯性传感器,并基于两者之间的延时值所完成的,防抖性能得分用于评估对视频作防抖处理后的防抖效果。
[0030]一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
[0031]获取视频组,视频组中至少包括一个视频;
[0032]对惯性传感器与视觉系统之间的延时值进行更新,并基于更新后的延时值,获取视频组对应的防抖性能得分,重复上述延时值的更新过程及获取防抖性能得分的过程,直
至获取到的防抖性能得分满足预设条件,则获取满足预设条件的防抖性能得分所对应的延时值;
[0033]其中,惯性传感器与视觉系统耦合在同一拍摄设备上,视频组中每一视频均是基于视觉系统所获取的,防抖处理是通过视觉系统及惯性传感器,并基于两者之间的延时值所完成的,防抖性能得分用于评估对视频作防抖处理后的防抖效果。
[0034]一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
[0035]获取视频组,视频组中至少包括一个视频;
[0036]对惯性传感器与视觉系统之间的延时值进行更新,并基于更新后的延时值,获取视频组对应的防抖性能得分,重复上述延时值的更新过程及获取防抖性能得分的过程,直至获取到的防抖性能得分满足预设条件,则获取满足预设条件的防抖性能得分所对应的延时值;
[0037]其中,惯性传感器与视觉系统耦合在同一拍摄设备上,视频组中每一视频均是基于视觉系统所获取的,防抖处理是通过视觉系统及惯性传感器,并基于两者之间的延时值所完成的,防抖性能得分用于评估对视频作防抖处理后的防抖效果。
[0038]上述延迟校准方法、装置、计算机设备和存储介质,通过获取视频组,对惯性传感器与视觉系统之间的延时值进行更新,并基于更新后的延时值,获取视频组对应的防抖性能本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种延迟校准方法,其特征在于,所述方法包括:获取视频组,所述视频组中至少包括一个视频;对惯性传感器与视觉系统之间的延时值进行更新,并基于更新后的延时值,获取所述视频组对应的防抖性能得分,重复上述延时值的更新过程及获取防抖性能得分的过程,直至获取到的防抖性能得分满足预设条件,则获取满足预设条件的防抖性能得分所对应的延时值;其中,所述惯性传感器与所述视觉系统耦合在同一拍摄设备上,所述视频组中每一视频均是基于所述视觉系统所获取的,所述防抖处理是通过所述视觉系统及所述惯性传感器,并基于两者之间的延时值所完成的,所述防抖性能得分用于评估对视频作防抖处理后的防抖效果。2.根据权利要求1所述的方法,其特征在于,所述获取视频组包括:获取多个视频,所述视频是在拍摄设备存在抖动的前提下所拍摄的;根据所述多个视频中每个视频对应的拍摄时间段内所获取到的拍摄设备的姿态数据,对所述多个视频进行筛选,并由筛选后得到的视频构成所述视频组;其中,所述拍摄设备的姿态数据是基于所述惯性传感器所获取的。3.根据权利要求2所述的方法,其特征在于,所述根据所述多个视频中每个视频对应的拍摄时间段内所获取到的拍摄设备的姿态数据,对所述多个视频进行筛选,包括:将在每个视频对应的拍摄时间段内所获取到的拍摄设备的姿态数据转换至频域空间,以得到每个视频对应的幅频特性曲线集合;根据每个视频对应的幅频特性曲线集合,获取每个视频对应的频域分值;根据每个视频对应的频域分值,对所述多个视频进行筛选。4.根据权利要求3所述的方法,其特征在于,所述根据每个视频对应的幅频特性曲线集合,获取每个视频对应的频域分值,包括:对于任一视频对应的幅频特性曲线集合,根据所述幅频特性曲线集合中每一幅频特性曲线对应的频率及幅值,获取每一幅频特性曲线对应的频域分值;根据每一幅频特性曲线对应的频域分值,获取所述任一视频对应的频域分值。5.根据权利要求4所述的方法,其特征在于,所述根据所述幅频特性曲线集合中每...

【专利技术属性】
技术研发人员:门泽华
申请(专利权)人:影石创新科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1