利用陀螺仪的相机自动校准制造技术

技术编号:22174547 阅读:40 留言:0更新日期:2019-09-21 15:12
实施例包括用于自动对相机进行校准的设备和方法。在各个实施例中,图像传感器可以捕获图像。可以预测和检测包括在所捕获的图像帧中的一个或多个点的位置。可以基于选择的点在图像帧内的预测位置和选择的点在所捕获的图像帧内的观察位置之间的差值,来计算校准参数。可以对自动相机校准方法进行重复,直到校准参数满足校准质量门限为止。

Automatic Camera Calibration Using Gyroscope

【技术实现步骤摘要】
【国外来华专利技术】利用陀螺仪的相机自动校准相关申请本申请要求享有于2017年2月16日递交的、题为“CameraAuto-CalibrationwithGyroscope”的美国临时申请第62/459,879号的利益,通过引用的方式将其全部内容并入本文。
技术介绍
为了处理数字图像,需要对包括在电子设备内的相机进行校准。通常,相机在电子设备的制造商处已经被校准。然而,该校准增加了制造过程并且不支持对相机的后续校准。
技术实现思路
各个实施例包括用于对相机进行校准的方法以及具有用于实现所述方法的处理器的电子设备。各个实施例可以包括:接收第一图像帧;在所述第一图像帧中选择至少一个点;接收第二图像帧;确定所述至少一个点在所述第二图像帧中的位置;在所述处理器中从陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果;基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置;基于所选择的至少一个点在所接收的第二图像帧中的预测位置之间的差值,来计算用于所述相机的校准参数;以及使用所计算的校准参数来处理来自所述相机的数据。一些实施例还可以包括:在存储器中存储所述至少一个点在所述第二图像帧中的所述确定位置;以及在所述存储器中存储所选择的至少一个点在所述第二图像帧中的所述预测位置,其中,基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于所述至少一个点在所述第二图像帧中的所存储的确定位置和所述至少一个点在所述第二图像帧中的预测位置,来计算所述校准参数。一些实施例还可以包括:计算所计算的用于所述相机的校准参数的质量或置信度值;确定所计算的校准参数的所述质量或置信度值是否超过门限值;响应于确定所计算的校准参数的所述质量或置信度值超过所述门限值,使用所计算的校准参数来对上文概述的方法的至少一些操作进行重复,以处理来自所述相机的数据,以生成下一图像帧;以及响应于确定所计算的校准参数的所述质量或置信度值未超过所述门限值,使用所计算的校准参数或先前计算的校准参数来处理来自所述相机的数据。在一些实施例中,基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数可以包括:将所选择的至少一个点在所述第二图像帧中的所述预测位置和所选择的至少一个点在所接收的第二图像帧中的所述确定位置应用于卡尔曼滤波器(Kalmanfilter)。在这些实施例中,所述卡尔曼滤波器可以是扩展型卡尔曼滤波器。在一些实施例中,使用所计算的校准参数来处理来自所述相机的数据可以包括:使用所计算的校准参数来处理来自所述相机的数据,以矫正由镜头导致的畸变。在一些实施例中,使用所计算的校准参数来处理来自所述相机的数据可以包括:使用所计算的校准参数作为计算机视觉算法或机器视觉算法的输入。在一些实施例中,所述处理器和所述陀螺仪可以被包括在所述相机内。在一些实施例中,所述相机可以是电子设备,并且所述处理器和所述陀螺仪可以在所述电子设备中。在一些实施例中,所述相机可以在包括航空电子单元的无人机上,并且基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数可以包括:基于从所述航空电子单元接收的平移速度信息、加速度信息、或者平移速度信息和加速度信息二者来计算所述校准参数。各个实施例还可以包括电子设备,其具有相机、陀螺仪、存储器、以及被配置有处理器可执行指令的处理器,所述处理器可执行指令用于执行上文概述的方法的操作。各个实施例包括处理设备,其用于在电子设备中使用并且被配置为执行上文概述的方法的操作。各个实施例包括电子设备,其具有用于执行上文概述的方法的功能的单元。附图说明被并入本文并构成本说明书的一部分的附图示出了示例性实施例,并且连同上文所给出的一般性描述和下文所给出的详细描述一起,用于解释各个实施例的特征。图1是示出了根据各个实施例的电子设备的组件的组件框图。图2是示出了适于与各个实施例一起使用的相机的组件的组件框图。图3是示出了根据各个实施例的用于对电子设备的相机进行校准的方法的过程流图。图4是示出了根据各个实施例的用于对电子设备的相机进行校准的方法的过程流图。图5是示出了适于与各个实施例一起使用的电子设备的组件的组件框图。图6是适于与各个实施例一起使用的无人机的组件框图。图7是适于与各个实施例一起使用的立体照相电子设备的组件框图。图8是示出了适于实现各个实施例的处理设备的组件框图。具体实施方式将参照附图详细描述各个实施例。只要有可能,贯穿附图将使用相同的附图标记来指代相同或相似的部件。对特定示例和实施例进行的引用是出于说明性的目的,并非旨在限制权利要求书的范围。各个实施例包括可以在电子设备的处理器上实现的用于对相机进行校准而不需要已知目标的方法。各个实施例可以包括陀螺仪,其被配置为测量相机如何移动,其中,可以通过对物体在该相机所捕获的连续图像帧上的运动与相应的陀螺仪读数进行比较来确定相机校准参数。通过校准方法确定的校准参数可以用于处理来自相机的原始图像数据,以产生数字图像。校准参数可以直接用在相机所产生的图像帧上,以便例如矫正由镜头导致的任何畸变。校准参数还可以用作使用相机图像数据的算法的输入参数。例如,基于视觉的定位算法要求良好的校准参数,以便产生准确的结果。各个实施例不要求已知目标并且校准可以由电子设备自动执行(例如,没有用户干预)和/或在后台中执行(例如,在用户不知情的情况下)。各个实施例可以通过在工厂外执行校准来降低制造成本和复杂度,并且使相机能够随着时间被校准。另外,各个实施例使用在常规的校准方法中不可用的另外的校准参数。例如,校准参数可以包括相机和陀螺仪之间的相对朝向、时间关系或者与图像捕获和陀螺仪测量相对应的对齐参数。相机已经被实现在各种电子设备中,例如智能电话、无人机、汽车、家庭安全系统甚至吸尘器。相机所捕获的图像不再是仅用于照相或记录视频。替代地,可以从相机所捕获的图像中提取信息,以在没有用户交互的情况下做出另外的决策或执行另外的动作。例如,计算机视觉(CV)算法或机器视觉(MV)算法可以针对各种应用(包括定位、映射、物体检测、三维重构等)来从捕获的图像中提取信息。由于CV或MV依靠对真实世界物体如何显现在捕获的图像中进行建模,因此当对相机捕获的图像进行处理时,需要高水平的准确度。为了达到高水平的准确度,通常采用如下过程来对数字相机进行校准:识别与相机相对应的、为了提供从数字图像到真实世界物体的准确且一致的映射所需要的校准参数的过程。例如,在处理原始图像数据时使用校准参数,使得真实世界中的直线在所生成的图像中也显现为直的,并且真实世界中的圆形物体在所生成的图像中不变成椭圆形。例如,基于视觉的定位算法可以要求良好的校准参数,以便将物体(或相机)正确地放置在真实世界内。校准参数可以包括内在参数(例如,取决于相机的元件的参数,例如主点、焦距、镜头畸变等)和/或外在参数(例如,与相机相对于其本文档来自技高网...

【技术保护点】
1.一种对相机进行校准的方法,包括:在处理器中接收第一图像帧;由所述处理器在所述第一图像帧中选择至少一个点;在所述处理器中接收第二图像帧;由所述处理器确定所述至少一个点在所述第二图像帧中的位置;在所述处理器中从陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果;由所述处理器基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置;由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数;以及使用所计算的校准参数来处理来自所述相机的数据。

【技术特征摘要】
【国外来华专利技术】2017.02.16 US 62/459,879;2017.07.05 US 15/641,5101.一种对相机进行校准的方法,包括:在处理器中接收第一图像帧;由所述处理器在所述第一图像帧中选择至少一个点;在所述处理器中接收第二图像帧;由所述处理器确定所述至少一个点在所述第二图像帧中的位置;在所述处理器中从陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果;由所述处理器基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置;由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数;以及使用所计算的校准参数来处理来自所述相机的数据。2.根据权利要求1所述的方法,还包括:由所述处理器在存储器中存储所述至少一个点在所述第二图像帧中的所述确定位置;以及由所述处理器在所述存储器中存储所选择的至少一个点在所述第二图像帧中的所述预测位置,其中,由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于所述至少一个点在所述第二图像帧中的所存储的确定位置和所述至少一个点在所述第二图像帧中的预测位置,来计算所述校准参数。3.根据权利要求1所述的方法,还包括:计算所计算的用于所述相机的校准参数的质量或置信度值;确定所计算的校准参数的所述质量或置信度值是否超过门限值;响应于确定所计算的校准参数的所述质量或置信度值超过所述门限值,使用所计算的校准参数来对权利要求1中记载的所述操作进行重复,以处理来自所述相机的数据,以生成下一图像帧;以及响应于确定所计算的校准参数的所述质量或置信度值未超过所述门限值,使用所计算的校准参数或先前计算的校准参数来处理来自所述相机的数据。4.根据权利要求1所述的方法,其中,由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:将所选择的至少一个点在所述第二图像帧中的所述预测位置和所选择的至少一个点在所接收的第二图像帧中的所述确定位置应用于卡尔曼滤波器。5.根据权利要求4所述的方法,其中,所述卡尔曼滤波器是扩展型卡尔曼滤波器。6.根据权利要求1所述的方法,其中,使用所计算的校准参数来处理来自所述相机的数据包括:使用所计算的校准参数来处理来自所述相机的数据,以矫正由镜头导致的畸变。7.根据权利要求1所述的方法,其中,使用所计算的校准参数来处理来自所述相机的数据包括:使用所计算的校准参数作为计算机视觉算法或机器视觉算法的输入。8.根据权利要求1所述的方法,其中,所述处理器和所述陀螺仪被包括在所述相机内。9.根据权利要求1所述的方法,其中,所述相机在电子设备中,并且所述处理器和所述陀螺仪在所述电子设备中。10.根据权利要求1所述的方法,其中,所述相机在包括航空电子单元的无人机上,并且其中,由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于从所述航空电子单元接收的平移速度信息、加速度信息、或者平移速度信息和加速度信息二者来计算所述校准参数。11.一种电子设备,包括:相机;陀螺仪;存储器;以及耦合到所述相机、所述陀螺仪和所述存储器的处理器,其中,所述处理器被配置有用于执行包括以下各项的操作的处理器可执行指令:从所述相机接收第一图像帧;在所述第一图像帧中选择至少一个点;从所述相机接收第二图像帧;确定所述至少一个点在所述第二图像帧中的位置;从所述陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果;基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置;基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数;以及使用所计算的校准参数来处理来自所述相机的数据。12.根据权利要求11所述的电子设备,其中,所述处理器被配置有用于执行还包括以下各项的操作的处理器可执行指令:在所述存储器中存储所述至少一个点在所述第二图像帧中的所述确定位置;以及在所述存储器中存储所选择的至少一个点在所述第二图像帧中的所述预测位置,其中,基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于所述至少一个点在所述第二图像帧中的所存储的确定位置和所述至少一个点在所述第二图像帧中的预测位置,来计算所述校准参数。13.根据权利要求11所述的电子设备,其中,所述处理器被配置有用于执行还包括以下各项的操作的处理器可执行指令:计算所计算的用于所述相机的校准参数的质量或置信度值;确定所计算的校准参数的所述质量或置信度值是否超过门限值;响应于确定所计算的校准参数的所述质量或置信度值超过所述门限值,使用所计算的校准参数来对权利要求11中记载的所述操作进行重复,以处理来自所述相机的数据,以生成下一图像帧;以及响应于确定所计算的校准参数的所述...

【专利技术属性】
技术研发人员:C·宋G·麦格拉思C·布伦纳
申请(专利权)人:高通股份有限公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1