成像防抖方法、成像防抖装置、摄像器件和可读存储介质制造方法及图纸

本申请公开了一种成像防抖方法、成像防抖装置、摄像器件和可读存储介质，其中，成像防抖方法包括：基于摄像器件当前时刻的第一抖动数据，得到摄像器件在当前时刻的抖动状态数据；其中，抖动状态数据包括第一抖动数据和摄像器件在当前时刻之前至少一个第二抖动数据；基于摄像器件在当前时刻的抖动状态数据，进行补偿预测，得到当前时刻的抖动补偿数据；基于当前时刻的抖动补偿数据，控制抖动补偿器对摄像器件的成像元件进行抖动补偿。上述方案，能够预测抖动趋势，并尽可能准确地抑制抖动。并尽可能准确地抑制抖动。并尽可能准确地抑制抖动。

【技术实现步骤摘要】
成像防抖方法、成像防抖装置、摄像器件和可读存储介质


[0001]本申请涉及成像领域，特别是涉及一种成像防抖方法、成像防抖装置、摄像器件和可读存储介质。

技术介绍

[0002]随着成像技术的快速发展，诸如球机摄像头、热成像仪等各类摄像器件在生产、生活中得到广泛应用。
[0003]然而，由于摄像器件的应用环境不可避免存在抖动，对于部分需要获取清晰图像的应用场景而言，对摄像器件进行防抖控制显得尤为必要。现有的摄像器件防抖方法需要等到位移发生明显偏移后再进行反方向的位移补偿，由于缺乏预测性，在防抖控制上存在滞后，进而也会导致防抖不精确。有鉴于此，如何预测抖动趋势，提前抑制抖动，并提高防抖精度成为亟需解决的问题。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种成像防抖方法、成像防抖装置、摄像器件和可读存储介质，能够尽可能在成像过程中避免摄像器件抖动。
[0005]为了解决上述技术问题，本申请第一方面提供了一种成像防抖方法，包括：基于摄像器件当前时刻的第一抖动数据，得到摄像器件在当前时刻的抖动状态数据；其中，抖动状态数据包括第一抖动数据和摄像器件在当前时刻之前至少一个第二抖动数据；基于摄像器件在当前时刻的抖动状态数据，进行补偿预测，得到当前时刻的抖动补偿数据；基于当前时刻的抖动补偿数据，控制抖动补偿器对摄像器件的成像元件进行抖动补偿。
[0006]为了解决上述技术问题，本申请第二方面提供了一种成像防抖装置，包括抖动状态获取模块、抖动补偿预测模块和抖动补偿控制模块，抖动状态获取模块用于基于摄像器件当前时刻的第一抖动数据，得到摄像器件在当前时刻的抖动状态数据；其中，抖动状态数据包括第一抖动数据和摄像器件在当前时刻之前至少一个第二抖动数据；抖动补偿预测模块用于基于摄像器件在当前时刻的抖动状态数据，进行补偿预测，得到当前时刻的抖动补偿数据；抖动补偿控制模块，用于基于当前时刻的抖动补偿数据，控制抖动补偿器对摄像器件的成像元件进行抖动补偿。
[0007]为了解决上述技术问题，本申请第三方面提供了一种摄像器件，包括抖动补偿器、成像元件、处理器和存储器，抖动补偿器、成像元件和存储器分别与处理器耦接，处理器用于执行存储器存储的程序指令，以实现上述第一方面中的成像防抖方法。
[0008]为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的成像防抖方法。
[0009]上述方案中，通过对摄像器件当前时刻的第一抖动数据分析，得到摄像器件在当前时刻的抖动状态数据，进而对抖动状态数据进行补偿预测，得到当前时刻的抖动补偿数据，最终控制抖动补偿器对摄像器件的成像元件依照抖动补偿数据进行抖动补偿，因此通
过对抖动状态数据进行抖动趋势预测分析，同时考虑了未来的抖动趋势和当前的抖动状态，能够提前尽可能准确地抑制抖动。
附图说明
[0010]图1是本申请成像防抖方法一实施例的流程示意图；
[0011]图2是样本效用值获取方法一实施例的流程示意图；
[0012]图3是目标载体一实施例的示意图；
[0013]图4是图2中步骤S202一实施例的流程示意图；
[0014]图5是抖动补偿模型训练方法一实施例的流程示意图；
[0015]图6是图5中步骤S501一实施例的流程示意图；
[0016]图7是抖动补偿器执行抖动补偿一实施例的示意图；
[0017]图8是本申请成像防抖装置一实施例的框架示意图；
[0018]图9是本申请摄像器件一实施例的框架示意图；
[0019]图10是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
[0020]下面结合说明书附图，对本申请实施例的方案进行详细说明。
[0021]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
[0022]本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
[0023]请参阅图1，图1是本申请成像防抖方法一实施例的流程示意图。
[0024]具体而言，本实施例中的成像防抖方法可以包括如下步骤：
[0025]步骤S11：基于摄像器件当前时刻的第一抖动数据，得到摄像器件在当前时刻的抖动状态数据。
[0026]本实施例中，摄像器件包含诸如陀螺仪、角运动传感器之类的空间感知元件，用于获取抖动数据。
[0027]在一个实施场景中，抖动数据按照预设时间间隔获取，预设时间间隔可以是500毫秒、1秒等具体时间，在此不做具体限制。
[0028]在一个实施场景中，抖动数据包括摄像器件在三维坐标系中X轴方向、Y轴方向、竖直方向的相对坐标位置和时间信息。例如，数学式(1，2，3，15：30：10)表示摄像器件在15点30分15秒时，在三维坐标系中X轴方向的相对坐标位置为1，Y轴方向的相对坐标位置为2，竖直方向的相对位置坐标为3。
[0029]在一个实施场景中，摄像器件在当前时刻的抖动状态数据包括摄像器件在当前时刻的第一抖动数据和摄像器件在当前时刻之前获取的至少一个第二抖动数据。
[0030]在一个具体的实施场景中，可以对抖动数据构建数据列表来作为抖动状态数据，抖动数据列表中最大存储容量不少于两组抖动数据，且抖动数据按照时间顺序排列。此外，
抖动数据列表会在存储容量已满的情况下，当每次获取新的抖动数据时，剔除最老的数据。例如，抖动数据列表最大存储容量为8组抖动数据，当前时刻抖动数据列表中包括：(1，2，3，15：30：10)、(3，2，3，15：30：30)、(4，4，4，15：31：15)
……
等8组抖动数据，此时获取最新抖动数据(5，6，7，15：32：00)，则需要剔除(1，2，3，15：30：10)来腾出存储空间，存储最新抖动数据。
[0031]步骤S12：基于摄像器件在当前时刻的抖动状态数据，进行补偿预测，得到当前时刻的抖动补偿数据。
[0032]在一个实施场景中，为了提升补偿预测的效率和精度，可以预先训练抖动补偿模型，且抖动补偿模型可以包括补偿生成网络，补偿生成网络用于根据摄像器件在当前时刻的抖动状态数据进行补偿预测，得到当前时刻的抖动补偿数据。需要说明的是，抖动生成网络为抖动补偿模型的一部分，抖动补偿模型还包括补偿评价网络，补偿评价网络可以评价补偿效果，以促进补偿生成网络的网络性能，具体可以参阅下述相关描述，在此暂不赘述。
[0033]更进一步地，对样本数据进行训练得到抖动补偿模型，其中样本数据包括：样本第一时刻的样本第一抖动状态、样本第一时刻的样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种成像防抖方法，其特征在于，包括：基于摄像器件当前时刻的第一抖动数据，得到所述摄像器件在所述当前时刻的抖动状态数据；其中，所述抖动状态数据包括所述第一抖动数据和所述摄像器件在所述当前时刻之前至少一个第二抖动数据；基于所述摄像器件在所述当前时刻的抖动状态数据，进行补偿预测，得到所述当前时刻的抖动补偿数据；基于所述当前时刻的抖动补偿数据，控制抖动补偿器对所述摄像器件的成像元件进行抖动补偿。2.根据权利要求1所述的方法，其特征在于，所述补偿预测由补偿生成网络执行，抖动补偿模型包括补偿评价网络和所述补偿生成网络，所述抖动补偿模型基于样本数据训练得到，所述样本数据包括：样本第一时刻的样本第一抖动状态、所述样本第一时刻的样本第一抖动补偿、执行所述样本第一抖动补偿之后的样本效用值和执行所述样本第一抖动补偿之后样本第二时刻的样本第二抖动状态。3.根据权利要求2所述的方法，其特征在于，所述样本效用值的获取步骤包括：在执行所述样本第一抖动补偿之后，获取所述摄像器件对目标载体拍摄到的样本第一图像；其中，所述目标载体上设有目标对象；基于所述样本第一图像上所述目标对象以及样本第二图像上所述目标对象之间的差异，得到第一效用值；其中，所述摄像器件在静止状态下对所述目标载体拍摄到所述样本第二图像，所述第一效用值表征执行所述样本第一抖动补偿的抖动补偿效果；至少基于所述第一效用值，得到所述样本效用值。4.根据权利要求3所述的方法，其特征在于，所述基于所述样本第一图像上所述目标对象以及样本第二图像上所述目标对象之间的差异，得到第一效用值，包括：检测所述样本第一图像上所述目标对象的样本第一轮廓，并检测所述样本第二图像上所述目标对象的样本第二轮廓；获取所述样本第一轮廓上距离最远的两点之间的样本第一距离，并获取所述样本第二轮廓上距离最远的两点之间的样本第二距离；基于所述样本第一距离与所述样本第二距离之间的绝对差值，得到所述第一效用值。5.根据权利要求3所述的方法，其特征在于，在所述至少基于所述第一效用值，得到所述样本效用值之前，所述方法还包括：基于所述样本第一抖动补偿，得到第二效用值；其中，所述第二效用值表征所述抖动补偿器执行所述样本第一抖动补偿的执行复杂程度；所述至少基于所述第一效用值，得到所述样本效用值，包括：基于所述第一效用值和所述第二效用值进行融合，得到所述样本效用值。6.根据权利要求2所述的方法，其特征在于，所述抖动补偿模型的训练步骤包括：基于所述样本数据，训练所述抖动补偿模型；基于训练后的补偿生成网络对所述摄像器件新的样本第一抖动状态进行预测，得到新的样...

【专利技术属性】
技术研发人员：朱家骅，裘科杭，范雷，徐狄权，
申请(专利权)人：浙江华感科技有限公司，
类型：发明
国别省市：