具有摄像机以及用于补偿在最高滚转角所产生伪像的装置的无人机制造方法及图纸

本发明专利技术涉及具有摄像机以及用于补偿在最高滚转角所产生伪像的装置的无人机。无人机包括相机，测量无人机角度的惯性单元，以及递送在传感器的捕捉区域(ZC)内限定的降低大小的图像区域(ZI)的数据的提取模块。反馈控制模块在与由惯性单元测量的角度值变化的方向相对的方向上动态地修改在捕捉区域内的图像区域的位置和定向。传感器可以根据能够被动态选择的多种不同的操作配置进行操作，具有针对低滚转角(θ)值的使用基本捕捉区域(ZCB)的基本配置，以及针对高滚转角(θ)值的使用比基本捕捉区域(ZCB)大小更大的扩展捕捉区域(ZCE)的至少一种降级模式配置。

【技术实现步骤摘要】

本专利技术涉及由装在移动设备上(尤其是在诸如无人机等机动飞行机器中)的摄像机捕捉的数字图像的处理。本专利技术有利地适用于由诸如四旋翼直升机等旋翼无人机的前置相机获取的图像。
技术介绍
法国巴黎Parrot SA的AR.Drone 2.0或Bebop Drone是这种四旋翼直升机的典型示例。它们都配备有一系列传感器(加速度计、3轴陀螺仪、高度计)、捕捉无人机所朝向的场景的图像的前置相机，以及捕捉飞过的地面的图像的俯视相机。它们具有由相应发动机驱动的多个转子，发动机可以通过差别化的方式被控制以便操纵无人机的姿态和速度。特别地，这些无人机的各个方面在WO2010/061099A2，EP 2 364 757A1，EP 2 613 213A1或EP 2 613 214A1(Parrot SA)中进行描述。从2014年6月10日在因特网上发布的Timothy McDougal的题为“The New Parrot Bebop Drone：Built for Stabilized Aerial Video(新型Parrot Bebop Drone：专为稳定的航空拍摄视频而造)”的文章(XP055233862)中特别描述了上述Bebop Drone设备，其是具有与图像稳定和控制系统相关联的鱼眼镜头的无人机。前置摄像机可以特别用于“沉浸模式”驾驶，即，其中用户如同他自己就在无人机上一样的方式使用相机的图像。其还可以用于捕捉无人机所朝向的场景的图像序列。因此，用户可以如相机或摄录像机将由无人机携带的方式而不是手持的方式那样使用无人机。获取的图像可以被记录然后广播、在线放在视频序列托管网站上、发送给其他因特网用户、共享在社交网络上，等等。这些图像旨在被记录和传递，因此它们具有较少的可能缺陷是合乎需要的，特别是由无人机的行为造成的缺陷，容易产生由相机捕捉的图像中的振荡、变形或其他不适时的伪像。然而，这些伪像的出现是无人机的演进模式所固有的，因为无人机向前、向后或侧向的任何线性位移涉及无人机倾斜，并且因此涉及
由相机所获取的图像的移位、旋转、振荡……的不合乎需要的对应效果。这些缺陷在“沉浸驾驶”配置中是可以容忍的。在另一方面，如果问题是使用无人机作为移动摄像机来捕捉将被记录和稍后再现的序列，则这些缺陷是非常麻烦的，因此将这些缺陷减少到最小是合乎需要的。在上述Bebop Drone的情况下，后者实现具有覆盖大约180°的视野的鱼眼类型的半球形视野镜头的相机，但是仅使用了它所捕捉的视野的一部分，该部分大致对应于由常规相机所捕捉的角域。为此，从作为传感器的输出而递送的原始图像(下文中称为“捕捉区域”，其本身是在传感器表面上形成的半球形图像的一部分)中选择特定窗口(下文中称为“图像区域”)。典型地，这一窗口是旋转和平移地(根据由惯性中心确定的无人机的移动而永久地位移)并且在相对于所检测到的位移的相反方向上移动的窗口。当然，由鱼眼镜头获取的图像经受与常规相机相同的振荡和旋转移动，但是图像区域的位移被进行反馈控制，以便补偿这些移动并且因此产生相对于无人机移动而言被稳定的图像。因此，“虚拟相机”通过从捕捉的场景(捕捉区域)提取特定区域(图像区域)来被限定，该特定区域在捕捉区域中在相对于无人机的移动的相反方向上旋转地和平移地动态位移，以便消除否则将在图像中观察到的振荡。在EP 2933775A(Parrot)中描述了这种技术。本专利技术目的在于消除在无人机的某些演进时(当后者强烈侧倾时)出现的特定缺陷。这种情况尤其在无人机向左或向右突然平移的时候发生，或者在非常急的转弯时发生：这些移动尤其是通过绕无人机的滚转轴的转向(即，在图像中转换成由相机捕捉的场景在一个方向或另一个方向上捕捉的旋转的转向)而引起的。这些旋转可以通过在捕捉区域中的图像区域的相反方向上的旋转来被补偿。但是看起来，当无人机的倾角很大时，不存在使得可能完全生成经矫正视图的图像区域的位置。的确，如果图像区域的旋转过大，则这一图像区域的对角或边缘将“延伸”超出在半球形图像中限定的捕捉区域，这将转换成在校正模块的输出端递送的经矫正图像中的短暂出现的灰色角落或边缘。当然，当无人机回到不太倾斜的姿态时，这些灰色区域将消失，但是麻烦的伪像已经被引入，
并且将在旨在用于配准和稍后再现的一系列图像上保持可见。当用户在发动机停止的情况下将无人机拿在手中时，以及得益于系统的动态稳定化而使用后者作为常规相机来捕捉场景时，这种情况也会出现：如果他将无人机倾斜得超过一定阈值，在图像边界处出现缺失像素的区域，而稳定化系统给出相机未被倾斜的错觉。
技术实现思路
本专利技术的出发点本质上在于提供传感器的若干操作配置，以及根据无人机的倾角来动态地选择最佳地适配的配置，以便在倾斜校正处理中避免任何图像区域延伸超出最初选择用来产生图像的传感器的区域。对于“操作配置”，其是指相机的一组捕捉参数：-输出分辨率，即作为相机的输出(图像区域)而传送的图像的大小(以像素表示)；-捕捉分辨率，即在传感器表面(捕捉区域)所获取的区域的大小(以像素表示)；以及-捕捉模式，即准许从捕捉分辨率切换到输出分辨率的处理。具体而言，捕捉模式包括称为“正常”的模式(其中所获取的所有像素在输出端处被原样传送，输出分辨率和捕捉分辨率是相同的)，被称为“像素组合(Binning)”的模式(其中所获取的像素被编组在一起成作为输出进行传送的宏像素)，以及被称为“缩放”的模式(其中通过应用将图像中与其相邻的每个像素纳入考虑的滤波来将像素归并在一起)。与正常模式相比，像素组合和缩放技术尤其准许从更宽的捕捉表面产生图像，但是以损失分辨率为代价。通常，这些捕捉参数在相机初始化的时候被固定。具体而言，利用与上述Bebop Drone配置相对应的配置，在正常模式下，补偿±15°的滚转角而不引入不含像素的区域是可能的。本专利技术的问题是增加超出这一范围的稳定化域，而不损失像素(即，不出现灰色角落或边缘)以及没有视频流流动性(即，恒定帧率)的降级。为此，本专利技术主要是提出使用传感器操作的若干配置，以及在图像拍摄的过程中根据无人机的滚转角动态地选择最佳地适配的配置以生成具有最优图像质量的完全矫正的视图。原理在于，例如，当无人机强烈倾斜时，以传感器的不同模式(正常-像素组合-缩放)操作以便暂时增加(例如，通过从正常模式切换到像素组合或缩放模式)捕捉表面。当然，这一修改将以质量的暂时降级为代价(由于实现像素组合或缩放模式)，但不会引入伪像(灰色边缘或角落)，并且不会修改帧率，因此不会使视频流流动性降级。更确切地说，本专利技术提出了一种具有用于以本质上已知且在McDougal的上述文章中描述的方式稳定所捕捉图像的系统的机动飞行机器，包括：-相机，其链接到无人机主体，所述相机包括：·鱼眼类型的半球形视野镜头，以及·数字传感器，其获取由镜头形成的图像，其中传感器上所形成图像的像素中的仅仅一部分被捕捉以递送原始像素数据，该部分位于捕捉区域内；-惯性单元，其被适配成测量欧拉角，欧拉角描述无人机相对于绝对陆地参考系的即时姿态；-提取模块，其接收所述捕捉区域的所述原始像素数据作为输入，并递送捕捉区域内的并且与由常规相机所捕捉的角域相对应的降低大小的图像区域的像素数据作为输出；以及-反本文档来自技高网...

【技术保护点】
一种具有用于稳定化所捕捉图像的系统的机动飞行机器，诸如无人机(10)，其包括：‑相机(14)，其链接到无人机主体，所述相机包括：·鱼眼类型的半球形视野镜头，以及·数字传感器，其获取由所述镜头形成的图像，其中所述传感器上形成图像的像素的仅仅一部分被捕捉以递送原始像素数据，所述部分位于捕捉区域(ZC)内；‑惯性单元(50)，其被适配成测量描述所述无人机相对于绝对陆地参考系的即时姿态的欧拉角‑提取模块(52)，其接收所述捕捉区域(ZC)的所述原始像素数据作为输入并递送所述捕捉区域内的且与由常规相机所捕捉的角域(36)相对应的降低大小的图像区域(ZI)的像素数据作为输出；以及‑反馈控制模块(54，56)，其接收由所述惯性单元递送的角度值作为输入并且被适配成在与由所述惯性单元测量的角度值变化的方向相对的方向上动态地修改所述捕捉区域内的图像区域的位置和定向，其特征在于：‑所述传感器是能够根据多种不同的操作配置进行操作的传感器，所述多种不同的操作配置能够在所述相机拍摄同一图像序列期间被动态地选择，所述操作配置包括：·基本配置，其使用基本捕捉区域(ZCB)作为捕捉区域(ZC)，以及·至少一种降级模式配置，其使用比所述基本捕捉区域(ZCB)更大大小的扩展捕捉区域(ZCE)作为捕捉区域(ZC)，该降级模式配置将转换处理应用于所述扩展捕捉区域的像素，所述转换处理被适配成将所述扩展捕捉区域的大小降低到所述基本捕捉区域的大小，以及‑所述无人机进一步包括补偿模块(58)，其接收由所述惯性单元递送的所述无人机的滚转角(θ)的连续值作为输入，并且被适配成动态地修改所述传感器的当前操作配置，使得所述传感器如下操作：·对于滚转角值(θ)低于第一限值而言根据所述基本配置来操作，以及·对于滚转角值(θ)高于第二限值而言根据所述降级模式配置来操作。...

【技术特征摘要】
2015.01.26 FR 15505681.一种具有用于稳定化所捕捉图像的系统的机动飞行机器，诸如无人机(10)，其包括：-相机(14)，其链接到无人机主体，所述相机包括：·鱼眼类型的半球形视野镜头，以及·数字传感器，其获取由所述镜头形成的图像，其中所述传感器上形成图像的像素的仅仅一部分被捕捉以递送原始像素数据，所述部分位于捕捉区域(ZC)内；-惯性单元(50)，其被适配成测量描述所述无人机相对于绝对陆地参考系的即时姿态的欧拉角-提取模块(52)，其接收所述捕捉区域(ZC)的所述原始像素数据作为输入并递送所述捕捉区域内的且与由常规相机所捕捉的角域(36)相对应的降低大小的图像区域(ZI)的像素数据作为输出；以及-反馈控制模块(54，56)，其接收由所述惯性单元递送的角度值作为输入并且被适配成在与由所述惯性单元测量的角度值变化的方向相对的方向上动态地修改所述捕捉区域内的图像区域的位置和定向，其特征在于：-所述传感器是能够根据多种不同的操作配置进行操作的传感器，所述多种不同的操作配置能够在所述相机拍摄同一图像序列期间被动态地选择，所述操作配置包括：·基本配置，其使用基本捕捉区域(ZCB)作为捕捉区域(ZC)，以及·至少一种降级模式配置，其使用比所述基本捕捉区域(ZCB)更大大小的扩展捕捉区域(ZCE)作为捕捉区域(ZC)，该降级模式配置将转换处理应用于所述扩展捕捉区域的像素，所述转换处理被适配成将所述扩展捕捉区域的大小降低到所述基本捕捉区域的大小，以及-所述无人机进一步包括补偿模块(58)，其接收由所述惯性单元递送的所述无人机的滚转角(θ)的连续值作为输入，并且被适配成动态地修改所述传...

【专利技术属性】
技术研发人员：P·埃林，
申请(专利权)人：鹦鹉股份有限公司，
类型：发明
国别省市：法国;FR