【技术实现步骤摘要】
【国外来华专利技术】利用陀螺仪的相机自动校准相关申请本申请要求享有于2017年2月16日递交的、题为“CameraAuto-CalibrationwithGyroscope”的美国临时申请第62/459,879号的利益,通过引用的方式将其全部内容并入本文。
技术介绍
为了处理数字图像,需要对包括在电子设备内的相机进行校准。通常,相机在电子设备的制造商处已经被校准。然而,该校准增加了制造过程并且不支持对相机的后续校准。
技术实现思路
各个实施例包括用于对相机进行校准的方法以及具有用于实现所述方法的处理器的电子设备。各个实施例可以包括:接收第一图像帧;在所述第一图像帧中选择至少一个点;接收第二图像帧;确定所述至少一个点在所述第二图像帧中的位置;在所述处理器中从陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果;基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置;基于所选择的至少一个点在所接收的第二图像帧中的预测位置之间的差值,来计算用于所述相机的校准参数;以及使用所计算的校准参数来处理来自所述相机的数据。一些实施例还可以包括:在存储器中存储所述至少一个点在所述第二图像帧中的所述确定位置;以及在所述存储器中存储所选择的至少一个点在所述第二图像帧中的所述预测位置,其中,基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于所述至少一个点在所述第二图像帧中的所存储的确定位置 ...
【技术保护点】
1.一种对相机进行校准的方法,包括:在处理器中接收第一图像帧;由所述处理器在所述第一图像帧中选择至少一个点;在所述处理器中接收第二图像帧;由所述处理器确定所述至少一个点在所述第二图像帧中的位置;在所述处理器中从陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果;由所述处理器基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置;由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数;以及使用所计算的校准参数来处理来自所述相机的数据。
【技术特征摘要】
【国外来华专利技术】2017.02.16 US 62/459,879;2017.07.05 US 15/641,5101.一种对相机进行校准的方法,包括:在处理器中接收第一图像帧;由所述处理器在所述第一图像帧中选择至少一个点;在所述处理器中接收第二图像帧;由所述处理器确定所述至少一个点在所述第二图像帧中的位置;在所述处理器中从陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果;由所述处理器基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置;由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数;以及使用所计算的校准参数来处理来自所述相机的数据。2.根据权利要求1所述的方法,还包括:由所述处理器在存储器中存储所述至少一个点在所述第二图像帧中的所述确定位置;以及由所述处理器在所述存储器中存储所选择的至少一个点在所述第二图像帧中的所述预测位置,其中,由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于所述至少一个点在所述第二图像帧中的所存储的确定位置和所述至少一个点在所述第二图像帧中的预测位置,来计算所述校准参数。3.根据权利要求1所述的方法,还包括:计算所计算的用于所述相机的校准参数的质量或置信度值;确定所计算的校准参数的所述质量或置信度值是否超过门限值;响应于确定所计算的校准参数的所述质量或置信度值超过所述门限值,使用所计算的校准参数来对权利要求1中记载的所述操作进行重复,以处理来自所述相机的数据,以生成下一图像帧;以及响应于确定所计算的校准参数的所述质量或置信度值未超过所述门限值,使用所计算的校准参数或先前计算的校准参数来处理来自所述相机的数据。4.根据权利要求1所述的方法,其中,由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:将所选择的至少一个点在所述第二图像帧中的所述预测位置和所选择的至少一个点在所接收的第二图像帧中的所述确定位置应用于卡尔曼滤波器。5.根据权利要求4所述的方法,其中,所述卡尔曼滤波器是扩展型卡尔曼滤波器。6.根据权利要求1所述的方法,其中,使用所计算的校准参数来处理来自所述相机的数据包括:使用所计算的校准参数来处理来自所述相机的数据,以矫正由镜头导致的畸变。7.根据权利要求1所述的方法,其中,使用所计算的校准参数来处理来自所述相机的数据包括:使用所计算的校准参数作为计算机视觉算法或机器视觉算法的输入。8.根据权利要求1所述的方法,其中,所述处理器和所述陀螺仪被包括在所述相机内。9.根据权利要求1所述的方法,其中,所述相机在电子设备中,并且所述处理器和所述陀螺仪在所述电子设备中。10.根据权利要求1所述的方法,其中,所述相机在包括航空电子单元的无人机上,并且其中,由所述处理器基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于从所述航空电子单元接收的平移速度信息、加速度信息、或者平移速度信息和加速度信息二者来计算所述校准参数。11.一种电子设备,包括:相机;陀螺仪;存储器;以及耦合到所述相机、所述陀螺仪和所述存储器的处理器,其中,所述处理器被配置有用于执行包括以下各项的操作的处理器可执行指令:从所述相机接收第一图像帧;在所述第一图像帧中选择至少一个点;从所述相机接收第二图像帧;确定所述至少一个点在所述第二图像帧中的位置;从所述陀螺仪接收与所述第一图像帧和所述第二图像帧之间的时间相对应的、所述相机的旋转速度的测量结果;基于所述相机的旋转速度的所述测量结果和所述至少一个点在所述第一图像帧中的所述位置,来计算所选择的至少一个点在所述第二图像帧中的预测位置;基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数;以及使用所计算的校准参数来处理来自所述相机的数据。12.根据权利要求11所述的电子设备,其中,所述处理器被配置有用于执行还包括以下各项的操作的处理器可执行指令:在所述存储器中存储所述至少一个点在所述第二图像帧中的所述确定位置;以及在所述存储器中存储所选择的至少一个点在所述第二图像帧中的所述预测位置,其中,基于所选择的至少一个点在所述第二图像帧中的所述预测位置与所选择的至少一个点在所接收的第二图像帧中的确定位置之间的差值,来计算用于所述相机的校准参数包括:基于所述至少一个点在所述第二图像帧中的所存储的确定位置和所述至少一个点在所述第二图像帧中的预测位置,来计算所述校准参数。13.根据权利要求11所述的电子设备,其中,所述处理器被配置有用于执行还包括以下各项的操作的处理器可执行指令:计算所计算的用于所述相机的校准参数的质量或置信度值;确定所计算的校准参数的所述质量或置信度值是否超过门限值;响应于确定所计算的校准参数的所述质量或置信度值超过所述门限值,使用所计算的校准参数来对权利要求11中记载的所述操作进行重复,以处理来自所述相机的数据,以生成下一图像帧;以及响应于确定所计算的校准参数的所述...
【专利技术属性】
技术研发人员:C·宋,G·麦格拉思,C·布伦纳,
申请(专利权)人:高通股份有限公司,
类型:发明
国别省市:美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。