相机运动估计和校正的方法技术

示出了运动估计以及校正系统和方法，包括：图像获取设备，被配置为通过在一个时间段上扫描图像帧来获取图像；惯性测量单元，被配置为在所述时间段期间测量所述图像获取设备的位置、方向和移动中的至少一个，并输出对所检测到的移动的指示；以及状态估计模块，可操作地与所述惯性测量单元和所述图像获取设备耦合，被配置为基于所述位置、所述方向和所述移动中的至少一个来估计与所述图像获取设备的位置和方向中的至少一个相关的状态。在一个示例中，系统和方法包括使用惯性测量单元以及图像获取设备。在一个示例中，图像获取设备包括滚动快门相机。

Camera motion estimation and correction method

Shows the motion estimation and correction system and method, including: image acquisition device is configured by scanning the image frame in a period of time to obtain the image; inertial measurement unit that is configured to measure in the time period of the image acquisition equipment to the location, and moving in at least one a, and output indicative of the detected moving; and state estimation module, can be operated with the inertial measurement unit and the image acquisition device coupling, is configured to move the position, the direction and the at least one of the image acquisition and to estimate the state of at least one a relative position and direction of equipment based on the. In one example, the system and method include using an inertial measurement unit and an image acquisition device. In one example, an image acquisition apparatus includes a rolling shutter camera.

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及监测和校正图像设备和方法。在一个示例中，本专利技术涉及监测并校正扫描图像。附图说明图1示出了根据本专利技术的示例的示出了定位实验期间的方向误差的曲线。图2示出了根据本专利技术的示例的示出了实验期间的位置误差的曲线。图3示出了根据本专利技术的示例的示出了速度估计中的误差的曲线。图4示出了根据本专利技术示例的系统的框图。具体实施方式在各示例中，可以估计装备有惯性测量单元(IMU)(例如可以包括加速度计、磁力计、陀螺仪和/或其他合适的设备中的一些或全部)以及扫描相机或其他通过逐帧扫描来获得图像的图像获取系统(例如滚动快门相机)的设备的姿态(pose)(即，位置和方向(orientation))。为此，已经研制了状态估计器，例如其可以是或可以包括扩展卡尔曼滤波器、迭代最小化方法、滑动窗口束调整或其他估计过程，其处理对IMU和相机的测量。在各种示例中，状态估计器可以用于对扫描相机的图像中的特征的观测。与全局快门相机相反，扫描相机顺序地捕获图像的行，并且作为结果，可以在非零持续时间的时间间隔(称为图像的读出时间)期间捕获整个图像。对于消费者设备(比如智能手机)中的典型相机，读出时间可以是几十毫秒的数量级，这足以引起潜在的显著视觉失真。如果忽略滚动快门的效果，则估计精度可显著下降。从扫描相机对单个图像中的场景特征的观察不能取决于单个相机姿态。在示例中，在图像读出时间期间选择参考时刻t。参考时刻t可被选为(例如)捕获图像的第一、最后或中间行的时刻。如果在离该“参考”行n行远的图像行上检测到特征(例如，“角”点特征)，可以通过下式描述它的测量：z＝h(Cpf(t+ntr))+n(1)其中h是描述相机模型的测量函数(例如，透视函数)，tr是捕获两个连续图像行之间的时间，n是测量噪声，并且Cpf(t+ntr)是特征在时间t+ntr处相对于相机帧的位置。该位置矢量可以由下式给出：pCf(t+ntr)=RGC(t+ntr)(pGf-pGc(t+ntr))---(2)]]>其中，是时间t+ntr处相机帧与参考的全局帧之间的旋转矩阵，Gpc(t+ntr)是t+ntr处的相机位置，以及Gpf是全局帧中的特征位置。因此，不同图像行处的特征测量可以依赖于不同的相机姿态。在各示例中，为了针对状态估计处理这些测量，估计器的状态矢量可以每个图像行包括一个相机姿态。然而，这可能针对每个图像使用将要包括在状态矢量中的上百个姿态，并且对于全部(除了相对短的)轨迹计算强度相对较大。使用扫描相机进行状态估计的某些方法可以采用某种形式的相机轨迹近似。例如，某些仅视觉(vision-only)方法使用关于记录图像的时刻之间的相机运动的假设。在一种情况下，相机运动可以被假设为线性变化，而在另一种情况下，可以使用运动的更高阶模型。在各示例中，为了良好的性能，以相对高的帧速率处理相机图像，使得在图像捕获时间之间的相机运动的改变相对较小。在各实例中，采用图像读出时间期间线性和旋转速度恒定的假设。由于读出时间可以显著小于使用图像的时间段，这可能是较不严格的假设。然而，在读出时间期间相机的运动曲线显著改变(例如，当设备是手持式以及人正在快速行走，或当装置被安装在不平的地上快速移动的机器人上)的情况下，假设可能不成立。在各实例中，可以通过采用基于时间的函数方案来对相机的运动建模。该方法可以描述复杂运动，但其代价是会增加计算强度。为了对快速变化的运动建模，描述轨迹的状态矢量可以具有大尺度(即，必须使用大尺度的基于时间的函数)。这可能使得实时应用困难，而且采用基于时间方案的其他方法可以采用离线批处理估计。与各种情况相反，IMU测量可用于计算图像读出时间期间的相机轨迹，并且与使用相机运动自身的模型相反，参数模型可以被用于对这些运动估计中的误差建模。在各示例中，在图像读出时间期间的IMU位置被建模为：pGI(t+τ)=p^GI(t+τ)+p~GI(t+τ)]]>其中估计是通过从参考姿态开始对IMU测量进行积分来计算的，以及使用m基函数将误差参数化为：p~GI=Σi=0m-1cifi(τ)---(3)]]>其中ci是未知的参数矢量，并且fi(τ)是我们自由选择的基函数。与该位置类似，基于陀螺仪测量的传播可以被用于计算在读出时间期间对IMU方向的估计。这些估计中的误差可以由一个3×1的误差矢量来描述，并且可以使用k基函数将其参数化为：θ~(t+τ)=Σi=0k-1difi(τ)---(4)]]>其中di是未知参数矢量。该方法可以不包括任何关于轨迹的形式的假设，并且因此可以描述任意复杂运动，只要任意复杂运动位于IMU传感器的带宽内即可。同时，运动中的误差可以例如通过选择基函数的数量而被建模为任意所需的各种等级的精度。可以选择基函数的类型和数量，使得可以事先预测近似误差。在各示例中，即使使用相对少的项，误差可以被建模到足够精度。在各示例中，在采用线性化的任意估计器(如扩展卡尔曼滤波器或基于迭代最小化的估计器)中，可以写出关于测量残差的估计器等式(可称为基于卡尔曼滤波器估计器中的“创新”)，其可被定义为实际特征测量与基于状态估计预期测量之间的差异。然后这些残差可以通过包括状态估计的误差的线性表达式进行近似：r=Δz-h(x^)---(5)]]>其中H是测量函数关于该状态的雅可比矩阵。和不一定具有相同的参数设置(例如，方向状态估计通常经由3×3旋转矩阵或4×1单位四元数表示，而方向误差通常经由最小的3×1参数设置表示。等式(2)可以根据IMU姿态被重写为：pCf(t+ntr)=RIGRGI(t+ntr)(pGf-pGI(t+ntr))+pCI---(7)]]>其中和CpI是IMU相对于相机的方向和位置，而和GpI(t+ntr)定义t+ntr处的全局帧中的IMU的方向和位置。被用于计算期望测量的特征位置的估计，可以是：p^Cf(t+ntr)=R^ICR^GI(t+ntr)(p^Gf-p^GI(t+ntr))+p^CI---(8)]]>其中表示估计器中量的估计。可以使用读出期间的IMU测量以及在时间t处的IMU状态估计(“参考姿态”的估计)来计算t+ntr处的IMU姿态。具体地，在t+ntr处估计的IMU位置可以被计算为：p^GI(t+ntr)=p^GI(t)+v^GI(t)ntr+&本文档来自技高网...

【技术保护点】
一种系统，包括：图像获取设备，被配置为通过在一个时间段上扫描图像帧来获取图像；惯性测量单元，被配置为在所述时间段期间测量所述图像获取设备的位置、方向和移动中的至少一个，并输出对所检测到的移动的指示；以及状态估计模块，可操作地与所述惯性测量单元和所述图像获取设备耦合，被配置为基于所述位置、所述方向和所述移动中的至少一个来估计与所述图像获取设备的位置和方向中的至少一个相关的状态。

【技术特征摘要】
【国外来华专利技术】2013.07.24 US 61/857,9221.一种系统，包括：
图像获取设备，被配置为通过在一个时间段上扫描图像帧来获取
图像；
惯性测量单元，被配置为在所述时间段期间测量所述图像获取设
备的位置、方向和移动中的至少一个，并输出对所检测到的移动的指
示；以及
状态估计模块，可操作地与所述惯性测量单元和所述图像获取设
备耦合，被配置为基于所述位置、所述方向和所述移动中的至少一个
来估计与所述图像获取设备的位置和方向中的至少一个相关的状态。
2.根据权利要求1所述的系统，其中，所述状态估计模块被配置
为输出所估计的状态，并且所述系统还包括：用户界面，被配置为显
示从所述状态估计模块输出的状态。
3.根据权利要求1所述的系统，其中，所述惯性测量单元与所述
图像获取单元刚性连接。
4.根据权利要求1所述的系统，其中，所述图像获取设备是滚动
快门相机。
5.根据权利要求1所述的系统，其中，所述状态估计模块包括：
处理器，被配置为将参数模型应用于所述移动，以估计所述状态。
6.根据权利要求1所述的系统，其中，所述惯性测量单元包括加
速度计、陀螺仪和磁力计中的至少一个。
7.根据权利要求1所述的系统，其中，所述状态估计模块被配置
为输出所估计的状态，并且所述系统还包括：状态校正模块，可操作
地与所述状态估计模块耦合，并被配置为根据从所述状态估计模块输
出的状态来校正所述图像。
8.根据权利要求1所述的系统，其中，所述状态估计模块被配置
为：使用状态估计中的误差的参数模型来实现对状态更新的计算。
9.根据权利要求8所述的系统，其中，所述状态估计模块被配置为：
使用基于时间函数建立的参数模型。
10.一种状态估计电路，包括：
存储器模块，被配置为存储对一个时间段期间基于惯性测量单元
的输出计算的图像获取设备的移动的描述；以及
处理器，被配置为估计与所述图像获取设备的位置和方向中的至
少一个相关的状态；
其中，所述图像获取设备被配置为通过在所述时间段上扫描图像
帧来获取所述图像。
11.根据权利要求10所述的状态估计电路，其中，状态估计电路
被配置为：向用户界面输出所估计的状态，所述用户界面被配置为显
示所输出的状态。
12.根据权利要求10所述的状态估计电...

【专利技术属性】
技术研发人员：A·I·莫利基斯，李名扬，
申请(专利权)人：加利福尼亚大学董事会，
类型：发明
国别省市：美国;US