估算无人机所观测场景的位移及地速的电子装置和方法制造方法及图纸

用于估计由配备在无人机(10)上的图像传感器(12)所观察场景(14)的位移的电子装置(40)包括用于获取由图像传感器所拍摄场景的一系列图像；以及模块(44)，用于通过在若干相继层级迭代地应用光流算法，估计在所获取的先前图像和当前图像之间场景的位移，该图像的层级是后继层级的图像的子采样图像，最终层级是所获取图像。估计模块(44)在从一个层级通过到下一个层级期间，为每个层级计算场景的位移的至少一个估计，先前图像按各个估计的位移进一步平移。估计模块(44)进一步配置为确定估计位移的整数舍入，然后在从各自一个层级通过到下一个层级期间，按所述舍入位移平移先前图像。

【技术实现步骤摘要】
估算无人机所观测场景的位移及地速的电子装置和方法
本专利技术包括一种用于估计由配备在无人机上的图像传感器所观察场景的位移的电子装置。估计装置包括：第一获取模块，配置为获取由图像传感器所拍摄场景的一系列图像；以及估计模块，配置为通过光流算法计算先前获取图像和当前获取图像之间场景的位移的估计。本专利技术还涉及一种用于计算无人机的地速的电子设备，该设备包括：第二获取模块，配置为获取测量高度，该估计装置配置为估计无人机所飞越地形的位移；以及计算模块，配置为根据获取的测量高度和估计的地形位移计算无人机的地速。本专利技术还涉及一种无人机，其包括这种用于计算无人机的地速的电子设备。本专利技术还涉及一种用于估计由配备在无人机上的图像传感器所观察场景的位移的方法，该方法由这种电子估计装置执行。本专利技术还涉及一种计算机可读介质,其包括包括软件指令的计算机程序，当被计算机执行时，其执行这种估计方法。本专利技术涉及无人机领域，即远程驾驶飞行机动设备。本专利技术特别适用于旋转翼无人机(例如四轴飞行器)，同时也适用于其他类型的无人机(例如固定翼无人机)。本专利技术特别适用于精确计算无人机的速度，特别是无人机的地速，以便基于给定的速度输入更好地控制无人机。当驾驶员不发送命令时，即使存在诸如风的外部干扰，本专利技术也可用于控制无人机保持不动。当无人机处于跟踪模式以便跟踪给定目标时，本专利技术也是特别有用的，例如无人机的驾驶员参加体育运动，然则必须能够精确地估计由配备在无人机上的图像传感器所观察场景的位移，并进一步精确地计算无人机的地速以有效跟踪目标。
技术介绍
从文献EP2,400,460A1中可知一种用于估计由配备在无人机上的垂直相机所捕获场景的差分位移的电子装置和方法，从而该估计的差分位移使其可以估计无人机的水平速度。位移的估计包括周期性地连续更新图像金字塔类型的多分辨率描绘，对场景的相同捕获图像以不同的相继递减分辨率建模，并且对每个新捕获图像应用所述多分辨率描绘，光流型的迭代算法使其可以估计场景从一张图像到下一张图像的差分运动。在一定的单个或多个条件下，位移的估计进一步包括从光流算法切换到角检测类型算法以估计场景从一张图像到下一张图像的差分运动。例如，所谓光流算法的原理在以下文献中描述：“AnlterativeImageRegistrationTechniquewithanApplicationtoStereoVision”byLucasB.D.andKanadeT.inProc.DARPAImageUnderstandingWorkshop,pp.121-130,in1981、“DeterminingOpticalFlow”byHornB.K.P.andSchunkB.inArtificialIntelligence,(17):185-204,in1981；以及“3DPoseEstimationBasedonPlanarObjectTrackingforUAVsControl”byMondragonI.etal.inProc.IEEEConferenceonRoboticsandAutomation,pp.35-41,inMay2010。MondragonI.等人的文章描述了一种用于估计具有不同分辨率的光流以引导无人机着陆的多分辨率技术。然而，这样的估计并不总是最佳的。
技术实现思路
因此，本专利技术的目的是提出一种电子装置和相关方法，其能够更有效地估计由配备在无人机上的图像传感器所观察场景的位移。为此，本专利技术包括一种用于估计由配备在无人机上的图像传感器所观察场景的位移的电子装置，该装置包括：-第一获取模块，配置为获取由图像传感器所拍摄场景的一系列图像，-估计模块，配置为通过光流算法计算先前获取图像和当前获取图像之间场景的位移的估计，光流算法被迭代应用在若干相继层级，与各个层级相关联的图像是与后继层级相关联的图像的子采样图像，与最终层级相关联的图像是所获取图像，估计模块配置为在从各自一个层级通过到下一个层级期间，计算每个层级的场景的位移的至少一个估计，先前图像被各个估计的位移进一步平移，估计模块进一步配置为确定各个估计位移的整数值的舍入，然后在从各自一个层级通过到下一个层级期间，按舍入位移平移先前图像。利用现有技术的估计装置，通过光流算法估计的场景的位移的值是十进制值，以浮点数的形式描述。然后先前图像被转换为十进制像素值，其涉及由所述估计的十进制像素值转换的先前图像的插值。随后，由于在已平移的先前图像和当前图像之间光流算法的新迭代，获得平移残差的估计。然后，总估计平移等于应用于先前图像的平移与在该光流算法的新迭代中计算的平移残差之和。利用根据本专利技术的估计装置，通过光流算法所估计场景的位移的值被舍入为整数值，例如最接近的整数值。然后通过该整数像素值平移先前图像，这使得可以利用现有技术的装置完成而避免上述插值，从而可以降低算法复杂度。根据本专利技术的其他有利方面，单独考虑或根据所有技术上可能的组合考虑，电子估计装置包括以下特征中的一个或多个：-在先前图像和当前图像之间计算每个层级的场景的位移的估计，并且估计模块进一步配置为基于在当前图像之前的图像的最终层级处先前确定的位移，选择在先前图像和当前图像之间的时间差，最初选择的时间差是预定义的；-图像由图像传感器以预定义的频率拍摄，并且在先前图像与当前图像之间的时间差是由第一获取模块所获取拍摄图像的数量上差异，当先前图像和当前图像是连续拍摄的两张图像，并且在每个先前图像和当前图像之间拍摄的附加插入图像增加一个单位时，所拍摄图像在数量上差异等于1；-先前图像和当前图像之间的时间差选择包括在所述时间差的增大和减小之间的滞后；-为了选择先前图像和当前图像之间的时间差，估计模块配置为比较估计位移的当前平滑值与至少一个阈值，当前平滑值取决于先前平滑值和估计位移，初始平滑值是预定义的；以及-估计模块配置为在每个层级和为每张当前图像计算场景的位移的单个估计。当通过场景的位移的光流算法估计的残差值较低(通常小于0.5个像素)时，估计值被舍入为0并且不再平移先前图像。然后中断迭代过程，并因此中断梯度下降，这可能对要估计的平移残差产生相当不精确的结果。这种不精确通常大约是0.1像素。当要估计的总平移非常小并且直接等于该平移残差时，那么所获得的估计是不精确的，通常约为0.1像素的不精确度，这在寻找小位移(通常小于0.5像素)时是显著的。然后基于在当前图像之前的图像在最终层级先前确定的位移，选择先前图像和当前图像之间的时间差，并且特别地当位移的估计值变小时，增加下一次迭代中先前图像与当前图像之间的时间差，使其可以通过增加要估计的总平移以保持令人满意的精度。然后，根据本专利技术的估计装置所估计的位移取决于在先前图像和当前图像之间所选的时间差。当时间差限定为所获得图像的数量时，估计的最终位移除以所用时间差以计算2张相继图像之间位移，即具有归一时间差的位移。因此，对于要估计的小位移，不精确度显著降低。本专利技术还涉及一种用于计算无人机的地速的电子设备，该设备包括：-第二获取模块，配置为获取由配备在无人机上的测量装置所提供的测量高度，-估计装置，配置为估计由配备在无人机上的图像传感器所观察场景的位移，该场景是被无人飞越的地形，以及-计算模块，配置为根据所获取的本文档来自技高网...

【技术保护点】
1.一种电子装置(40)，用于估计由配备在无人机(10)上的图像传感器(12)所观察的场景(14)的位移，该装置(40)包括：‑第一获取模块(42)，所述第一获取模块(42)配置为获取由图像传感器(12)所拍摄的场景(14)的一系列图像，‑估计模块(44)，所述估计模块(44)配置为通过光流算法计算先前获取图像和当前获取图像之间场景(14)的位移的估计，光流算法被迭代应用在若干相继层级(72；K、K‑1)，与各个层级(K)相关联的图像(IK)是与后继层级(K‑1)相关联的图像的子采样图像(IK‑1)，与最终层级相关联的图像(I0)是所获取图像，估计模块(44)配置为在从各自一个层级(K)通过到下一个层级(K‑1)期间，在每个层级(72；K)计算场景(14)的位移的至少一个估计，按各个估计的位移进一步平移先前图像，其特征在于，估计模块(44)进一步配置为确定各个估计位移的整数值的舍入，然后在从各自一个层级(K)通过到下一个层级(K‑1)期间，按舍入的位移平移先前图像。

【技术特征摘要】
2017.07.25 FR 17570741.一种电子装置(40)，用于估计由配备在无人机(10)上的图像传感器(12)所观察的场景(14)的位移，该装置(40)包括：-第一获取模块(42)，所述第一获取模块(42)配置为获取由图像传感器(12)所拍摄的场景(14)的一系列图像，-估计模块(44)，所述估计模块(44)配置为通过光流算法计算先前获取图像和当前获取图像之间场景(14)的位移的估计，光流算法被迭代应用在若干相继层级(72；K、K-1)，与各个层级(K)相关联的图像(IK)是与后继层级(K-1)相关联的图像的子采样图像(IK-1)，与最终层级相关联的图像(I0)是所获取图像，估计模块(44)配置为在从各自一个层级(K)通过到下一个层级(K-1)期间，在每个层级(72；K)计算场景(14)的位移的至少一个估计，按各个估计的位移进一步平移先前图像，其特征在于，估计模块(44)进一步配置为确定各个估计位移的整数值的舍入，然后在从各自一个层级(K)通过到下一个层级(K-1)期间，按舍入的位移平移先前图像。2.根据权利要求1所述的装置(40)，其中估计模块(44)进一步配置为基于在当前图像之前的图像在最终层级处先前确定的位移，选择在先前图像和当前图像之间的时间差，最初选择的时间差是预定义的。3.根据权利要求2所述的装置(40)，其中图像由图像传感器(12)以预定频率拍摄，并且在先前图像和当前图像之间的时间差是由第一获取模块(42)获取的拍摄图像的数量差异，当先前图像和当前图像是连续拍摄的两张图像，并且在每个先前图像和当前图像之间拍摄的附加插入图像增加一个单位时，所拍摄图像在数量上差异等于1。4.根据权利要求2所述的装置(40)，其中先前图像和当前图像之间的时间差的选择包括在所述时间差的增大和减小之间的滞后。5.根据权利要求2所述的装置(40)，其中为了选择先前图像和当前图像之间的时间差，估计模块(44)配置为比较估计位移的当前平滑值(D)与至少一个阈值，当前平滑值(D)取决于先前平滑值和估计位移，初始平滑...

【专利技术属性】
技术研发人员：F·勒蒙，
申请(专利权)人：派诺特无人机，
类型：发明
国别省市：法国,FR