一种基于多尺度特征的延迟校准方法技术

本发明专利技术涉及一种基于多尺度特征的延迟校准方法。该方法包括以下步骤，步骤一：获取多个视频帧并获取IMU在视频拍摄期间检测到的视频抖动信息，该信息具体可以包括多个抖动信号：s1，s2，

【技术实现步骤摘要】
一种基于多尺度特征的延迟校准方法


[0001]本专利技术属于图像处理的
，尤其涉及一种基于多尺度特征的延迟校准方法。

技术介绍

[0002]现有的中国专利数据库中，公开了名称为基于多尺度特征匹配的图像校准方法、系统、终端及介质的专利，申请号为202110341817.5，申请日为2021.03.30，所述方法及系统，对目标图像进行处理，生成目标图像的特征点及特征向量；对待识别图像进行处理，生成待识别图像的特征点及特征向量组队列；基于待识别图像的特征点及特征向量组队列以及目标图像的特征点及特征向量，进行多距离标准阈值匹配，生成特征点对组队列；对特征点对组队列中的每一组特征点对进行匹配度计算，获取匹配度大于设定阈值的匹配特征点对进行变换矩阵计算，生成变换图像队列；过滤变换图像队列中的变换图像，获取最佳矫正图像，完成图像校准。同时提供了一种终端及介质。本专利技术对特征点检测速度快，自适应强，数据以及时间成本低，可操作性强。
[0003]目前通常从IMU(Inertial Measurement Unit，惯性传感器)侦测到的抖动信号计算相机的姿态，再根据计算得到的相机姿态，对通过视觉系统拍摄得到的图像进行补偿处理，以实现电子防抖。由于视觉系统在拍摄图像时与IMU侦测到抖动信号之间存在延迟，比如视觉系统拍摄了某一帧的图像，IMU检测到的抖动却是上一帧对应时刻的，而系统却可能认为这两者是同一时刻相匹配的，也即视觉系统很难在IMU检测到抖动的那一刻恰好拍摄了图像，从而针对上述延迟，实际应用中就需要对IMU与视觉系统之间的延迟进行校准，但是当前相机延迟校准的效果还有待改善。

技术实现思路

[0004]本专利技术要解决的技术问题是如何改善图像延迟校准的效果，为了改善其不足之处，本专利技术提供了一种基于多尺度特征的延迟校准方法。
[0005]为达到上述目的，本专利技术是通过以下技术方案实现的：
[0006]一种基于多尺度特征的延迟校准方法，包括有以下步骤，
[0007]步骤一：获取拍摄设备在抖动状态下拍摄的视频，该视频具体包括多个视频帧：f1，f2，...，fn，并获取IMU在视频拍摄期间检测到的视频抖动信息，该信息具体可以包括多个抖动信号：s1，s2，...，sn；
[0008]步骤二：对于视频，计算两两视频帧之间的图像差量信息：
△
(fi,fi+1)；对于视频抖动信息，计算两两抖动信号之间的信号差量信息：
△
(sj,si+1)；
[0009]步骤三：计算图像差量信息与信号差量信息之间的匹配度，并在匹配度超过预设延迟阈值时，对IMU与视觉系统之间的延时值进行更新，以便于基于更新后的延时值，对IMU与视觉系统之间进行延迟校准。
[0010]作为优选方案，所述图像差量信息基于多尺度特征进行计算，具体算法步骤如下；
[0011]S1：针对fi进行对象检测，以确定fi中的不同对象；
[0012]S2：对于不同类型的对象，设置不同的特征尺度，用以提取该类型对象在对应特征尺度下的对象特征，例如，对于类型1的对象，可以设置其对应的特征尺度为浅层特征尺度；对于类型2的对象，可以设置其对应的特征尺度为高层特征尺度，根据fi中不同对象对应的特征尺度，对fi中的各对象进行特征提取，得到fi中各对象在特定特征尺度下的对象特征：v1，v2，...，vk；
[0013]S3：对v1，v2，...，vk进行特征融合以得到融合后特征v_fi，则v_fi即可作为视频帧fi的对象特征描述符，同理确定视频帧fi+1的对象特征描述符v_fi+1；
[0014]S4：计算v_fi与v_fi+1之间的特征距离，来计算视频帧fi与fi+1之间的图像差量信息。
[0015]作为优选方案，所述信号差量信息的计算影响因素还包括有抖动信号之间的时间间隔，时间间隔越长，信号差量信息的精度越低。
[0016]作为优选方案，所述图像差量信息的视频帧之间的间隔，以及计算信号差量信息的抖动信号之间的间隔，根据视频当前算力进行自适应调整。
[0017]与现有技术相比，本专利技术的有益效果是：该方案能够基于视频帧中不同对象在特定特征尺度下的对象特征，生成表征视频帧的对象特征描述符，并基于此计算图像差量信息，不仅能够有效地提高图像差量的精确度，亦使得后续基于图像差量信息与信号差量信息进行延迟校准时，能够有效地改善延迟校准效果，该装置适用于工业生产中，具有很强的实用性。
具体实施方式
[0018]下面结合实施例对本申请的技术方案作进一步地描述说明。
[0019]一种基于多尺度特征的延迟校准方法，包括有以下步骤，
[0020]步骤一：获取拍摄设备在抖动状态下拍摄的视频，该视频具体包括多个视频帧：f1，f2，...，fn，并获取IMU在视频拍摄期间检测到的视频抖动信息，该信息具体可以包括多个抖动信号：s1，s2，...，sn；
[0021]步骤二：对于视频，计算两两视频帧之间的图像差量信息：
△
(fi,fi+1)；对于视频抖动信息，计算两两抖动信号之间的信号差量信息：
△
(sj,si+1)；其中，可以基于多尺度特征来计算两两视频帧之间的图像差量信息，具体地，可以以视频帧fi为例：
[0022]首先，可以针对fi进行对象检测，以确定fi中的不同对象。
[0023]其次，对于不同类型的对象，可以设置不同的特征尺度，用以提取该类型对象在对应特征尺度下的对象特征。例如，对于类型1的对象，可以设置其对应的特征尺度为浅层特征尺度；对于类型2的对象，可以设置其对应的特征尺度为高层特征尺度，等等。这样的话，即可根据fi中不同对象对应的特征尺度，对fi中的各对象进行特征提取，得到fi中各对象在特定特征尺度下的对象特征：v1，v2，...，vk。
[0024]进而，可以对v1，v2，...，vk进行特征融合以得到融合后特征v_fi，则v_fi即可作为视频帧fi的对象特征描述符，类似地，可以确定视频帧fi+1的对象特征描述符v_fi+1。
[0025]最后，可以通过计算v_fi与v_fi+1之间的特征距离，来计算视频帧fi与fi+1之间的图像差量信息。
[0026]步骤三：计算图像差量信息与信号差量信息之间的匹配度，并在匹配度超过预设延迟阈值时，对IMU与视觉系统之间的延时值进行更新，以便于基于更新后的延时值，对IMU与视觉系统之间进行延迟校准。
[0027]为提高精度，在计算信号差量信息时，可以将抖动信号之间的时间间隔考虑在内，具体地，时间间隔越长，信号差量信息的精度越低。
[0028]具体地，所述图像差量信息的视频帧之间的间隔，以及计算信号差量信息的抖动信号之间的间隔，根据视频当前算力进行自适应调整。
[0029]该方案不仅仅可以应用于延迟校准，也可以根据图像差量信息与信号差量信息之间的参数值对比应用于防抖效果的评估。
[0030]本专利技术并不局限于上述实施例，在本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征的延迟校准方法，其特征在于：包括有以下步骤，步骤一：获取拍摄设备在抖动状态下拍摄的视频，该视频具体包括多个视频帧：f1，f2，...，fn，并获取IMU在视频拍摄期间检测到的视频抖动信息，该信息具体可以包括多个抖动信号：s1，s2，...，sn；步骤二：对于视频，计算两两视频帧之间的图像差量信息：
△
(fi,fi+1)；对于视频抖动信息，计算两两抖动信号之间的信号差量信息：
△
(sj,si+1)；步骤三：计算图像差量信息与信号差量信息之间的匹配度，并在匹配度超过预设延迟阈值时，对IMU与视觉系统之间的延时值进行更新，以便于基于更新后的延时值，对IMU与视觉系统之间进行延迟校准。2.根据权利要求1所述的一种基于多尺度特征的延迟校准方法，其特征在于：所述图像差量信息基于多尺度特征进行计算，具体算法步骤如下；S1：针对fi进行对象检测，以确定fi中的不同对象；S2：对于不同类型的对象，设置不同的特征尺度，用以提取该类型对象在对...

【专利技术属性】
技术研发人员：陈金尧，陈子安，
申请(专利权)人：江苏影智科技有限公司，
类型：发明
国别省市：