处理图像以获得环境信息制造技术

提供了用于获得纹理信息和环境信息的方法和系统。纹理信息和/或环境信息可以从所捕获的图像的各个部分获得，并且可以用来提高诸如无人机(UAV)之类的可移动物体的可操作性。

Processing images to obtain environmental information

Methods and systems for obtaining texture information and environmental information are provided. Texture information and/or environmental information can be obtained from various parts of the captured image and can be used to improve the operability of mobile animals such as UAVs.

【技术实现步骤摘要】
【国外来华专利技术】处理图像以获得环境信息
技术介绍
成像装置可以搭载在可移动物体(例如无人机UAV)上，并且可以用于监视、搜索和救援操作、勘探和其他活动。在一些实例中，由成像装置捕获的图像可以例如在导航和避障中用于计算机视觉处理。可以提供一个或多个成像部件来捕获图像。捕获的图像可以被处理以获得可移动物体的有用信息。在某些情况下，用于处理图像的现有方法可能不是最佳的。例如，包含在图像的各个部分中的有用信息可能未被利用或可能被利用不足。可以通过适当考虑和利用包含在由成像部件捕获的图像的各个部分中的有用信息，来提高可移动物体的有用性。
技术实现思路
目前，诸如无人机(UAV)之类的可移动物体可能低效地处理图像，并且无意中丢弃包含在所捕获图像的各个部分中的有用信息。在某些情况下，由于处理效率低下，UAV可能在计算机视觉应用中做出不够理想的决策。例如，对于利用两个成像部件的视觉系统，可以主要基于所捕获的图像内的双目视差来获得环境信息。例如，对于利用单个成像部件的视觉系统，可以主要基于连续捕获的图像内的差异来获得环境信息。因此，需要一种适当考虑图像内的所有可用信息以有效获取环境信息的UAV系统。环境信息的获取可以进一步使得UAV在计算机视觉应用(例如，导航、物体识别和避障)中做出更好的决策。例如，双目成像系统可以配备有具有重叠视场的成像部件。重叠部分可以用于获得环境信息，而非重叠部分可以在有利时用作获得环境信息的替代或补充。在另一个示例中，可以为单目成像系统提供具有移动视场的成像部件。移动视场的重叠部分可用于获得环境信息，而非重叠部分可以在有利时用作获得环境信息的替代或补充。在另一个示例中，成像部件可以用作单目成像系统和双目成像系统两者的一部分。例如，可以为系统提供具有不同视场的成像部件。具有小视场的成像部件可以单独使用或与具有大视场的成像部件结合使用以获得环境信息，而具有大视场的成像部件可以在有利时用作获得环境信息的替代或补充。因此，在一个方面，提供了一种用于处理由可移动物体捕获的图像的方法。所述方法包括：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有与所述第一视场重叠的第二视场；借助于一个或多个处理器，单独地或共同地，处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。在另一个方面，提供了一种用于处理由可移动物体捕获的图像的系统。所述系统包括：一个或多个处理器，单独地或共同地被配置为：如果第二图像集具有低于预定阈值的质量，则处理第一图像集以获得纹理信息，其中所述第一图像集由具有第一视场的第一成像部件捕获，并且所述第二图像集由具有比所述第一视场窄的第二视场的第二成像部件捕获；基于所述纹理信息获得所述可移动物体的环境信息。在另一个方面，提供了一种用于处理由可移动物体捕获的图像的设备。所述设备包括：具有第一视场的第一成像部件，其中所述第一成像部件被配置为捕获第一图像集；具有比所述第一视场窄的第二视场的第二成像部件，其中所述第二成像部件被配置为捕获第二图像集；以及一个或多个处理器，单独地或共同地被配置为：如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。在另一个方面，提供了一种用于处理由可移动物体捕获的图像的非暂时性计算机可读介质。所述计算机可读介质包括用于执行以下操作的代码、逻辑或指令：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有比所述第一视场窄的第二视场；借助于一个或多个处理器，单独地或共同地，如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。在另一个方面，提供了一种用于处理由可移动物体捕获的图像的方法。所述方法包括：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有与所述第一视场重叠的第二视场；借助于一个或多个处理器，单独地或共同地，处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。在另一个方面，提供了一种用于处理由可移动物体捕获的图像的系统。所述系统包括：一个或多个处理器，单独地或共同地被配置为：处理第一图像集和第二图像集的非重叠部分以获得纹理信息，其中所述第一图像集由具有第一视场的第一成像部件捕获，并且所述第二图像集由具有与所述第一视场重叠的第二视场的第二成像部件捕获；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。在另一个方面，提供了一种用于处理由可移动物体捕获的图像的设备。所述设备包括：具有第一视场的第一成像部件，其中所述第一成像部件被配置为捕获第一图像集；具有与所述第一视场重叠的第二视场的第二成像部件，其中所述第二成像部件被配置为捕获第二图像集；以及一个或多个处理器，单独地或共同地被配置为：处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。在另一个方面，提供了一种用于处理由可移动物体捕获的图像的非暂时性计算机可读介质。所述计算机可读介质包括用于执行以下操作的代码、逻辑或指令：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有与所述第一视场重叠的第二视场；借助于一个或多个处理器，单独地或共同地，处理所述第一图像集和所述第二图像集的非重叠部分以获得纹理信息；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。在另一个方面，提供了一种用于处理由可移动物体捕获的图像的方法。所述方法包括：用成像部件捕获图像序列，其中所述图像序列包括重叠部分；借助于一个或多个处理器，单独地或共同地，处理所述图像序列的非重叠部分以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。在另一个方面，提供了一种用于处理由可移动物体捕获的图像的系统。所述系统包括：一个或多个处理器，单独地或共同地被配置为：处理图像序列的非重叠部分以获得纹理信息，其中所述图像序列由成像部件捕获并且包括重叠部分；以及基于所述纹理信息获得所述可移动物体的环境信息。在另一个方面，提供了一种用于处理来自用于可移动物体的图像的信息的设备。所述设备包括：成像部件，被配置为捕获图像序列，其中所述图像序列包括重叠部分；以及一个或多个处理器，单独地或共同地被配置为：处理所述图像序列的非重叠部分以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。另一方面，提供了一种用于处理图像中的信息的非暂时性计算机可读介质。所述计算机可读介质包括用于执行以下操作的代码、逻辑或指令：用成像部件捕获图像序列，其中所述图像序列包括重叠部分；借助于一个或多个处理器，单独地或共同地，处理所述图像序列的非重叠部分以获得纹理信息；以及基本文档来自技高网...

【技术保护点】
1.一种用于处理由可移动物体捕获的图像的系统，所述系统包括：一个或多个处理器，单独地或共同地被配置为：如果第二图像集具有低于预定阈值的质量，则处理第一图像集以获得纹理信息，其中所述第一图像集由具有第一视场的第一成像部件捕获，并且所述第二图像集由具有比所述第一视场窄的第二视场的第二成像部件捕获；以及基于所述纹理信息获得所述可移动物体的环境信息。

【技术特征摘要】
【国外来华专利技术】1.一种用于处理由可移动物体捕获的图像的系统，所述系统包括：一个或多个处理器，单独地或共同地被配置为：如果第二图像集具有低于预定阈值的质量，则处理第一图像集以获得纹理信息，其中所述第一图像集由具有第一视场的第一成像部件捕获，并且所述第二图像集由具有比所述第一视场窄的第二视场的第二成像部件捕获；以及基于所述纹理信息获得所述可移动物体的环境信息。2.根据权利要求1所述的系统，其中所述环境信息包括深度信息。3.根据权利要求1所述的系统，其中所述环境信息包括所述可移动物体的障碍物信息或状态信息。4.根据权利要求1所述的系统，其中所述一个或多个处理器还被配置为：基于所获得的环境信息生成控制信号，以控制所述可移动物体的位置和/或朝向。5.根据权利要求1所述的系统，其中所述一个或多个处理器还被配置为：基于所获得的环境信息生成控制信号，以控制耦接到所述可移动物体的成像装置相对于所述可移动物体的位置和/或朝向。6.根据权利要求1所述的系统，其中所述可移动物体是无人机UAV。7.根据权利要求1所述的系统，其中所述第一成像部件包括第一镜头系统。8.根据权利要求7所述的系统，其中所述第二成像部件包括第二镜头系统。9.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为：如果所述第二图像集的质量高于所述预定阈值，则处理所述第二图像集以获得所述可移动物体的环境信息。10.根据权利要求9所述的系统，其中所述一个或多个处理器被配置为：如果所述第二图像的质量高于所述预定阈值，则不处理所述第一图像集以获得所述可移动物体的环境信息。11.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为：如果所述第二图像集的质量低于所述预定阈值，则生成控制信号以调节所述第二成像部件的光轴。12.根据权利要求11所述的系统，其中所述控制信号取决于所述第一图像集的纹理信息。13.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为：分析所述第二图像集的图像的显著性或梯度，以确定所述第二图像集的质量。14.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为：分析所述第二图像集内的特征点数或光流，以确定所述第二图像集的质量。15.根据权利要求1所述的系统，其中所述第一视场和所述第二视场重叠。16.根据权利要求15所述的系统，其中，所述第二视场被所述第一视场所包含。17.根据权利要求1所述的系统，其中所述第二视场具有介于约50°与80°之间的视角，并且所述第一视场具有介于约90°与180°之间的视角。18.根据权利要求1所述的系统，其中所述第一成像部件和所述第二成像部件中的每一个包括单目镜头系统。19.根据权利要求1所述的系统，其中所述第一成像部件位于第一成像装置上，并且所述第二成像部件位于第二成像装置上。20.根据权利要求1所述的系统，其中所述第一成像部件和所述第二成像部件位于单个成像装置上。21.根据权利要求1所述的系统，其中所述第一成像部件和所述第二成像部件位于所述可移动物体上。22.根据权利要求1所述的系统，其中所述一个或多个处理器位于所述可移动物体上。23.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为：在所述可移动物体的飞行期间重复处理和获得步骤。24.根据权利要求1所述的系统，其中所述步骤至少每2秒重复一次。25.一种用于处理由可移动物体捕获的图像的方法，所述方法包括：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有比所述第一视场窄的第二视场；借助于一个或多个处理器，单独地或共同地，如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。26.一种用于处理由可移动物体捕获的图像的设备，所述设备包括：具有第一视场的第一成像部件，其中所述第一成像部件被配置为捕获第一图像集；具有比所述第一视场窄的第二视场的第二成像部件，其中所述第二成像部件被配置为捕获第二图像集；以及一个或多个处理器，单独地或共同地被配置为：如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。27.一种用于处理由可移动物体捕获的图像的非暂时性计算机可读介质，所述计算机可读介质包括用于执行以下操作的代码、逻辑或指令：用第一成像部件捕获第一图像集，其中所述第一成像部件具有第一视场；用第二成像部件捕获第二图像集，其中所述第二成像部件具有比所述第一视场窄的第二视场；借助于一个或多个处理器，单独地或共同地，如果所述第二图像集具有低于预定阈值的质量，则处理所述第一图像集以获得纹理信息；以及基于所述纹理信息获得所述可移动物体的环境信息。28.一种用于处理由可移动物体捕获的图像的系统，所述系统包括：一个或多个处理器，单独地或共同地被配置为：处理第一图像集和第二图像集的非重叠部分以获得纹理信息，其中所述第一图像集由具有第一视场的第一成像部件捕获，并且所述第二图像集由具有与所述第一视场重叠的第二视场的第二成像部件捕获；以及基于所述纹理信息生成控制信号，以调节所述第一成像部件和/或所述第二成像部件。29.根据权利要求28所述的系统，其中所述一个或多个处理器还被配置为：分析所述第一图像集和所述第二图像集的重叠部分，以获得所述可移动物体的环境信息。30.根据权利要求28所述的系统，其中所述控制信号调节所述第一成像部件和/或所述第二成像部件的光轴。31.根据权利要求28所述的系统，其中所述可移动物体是无人机UAV。32.根据权利要求28所述的系统，其中所述第一成像部件包括第一镜头系统。33.根据权利要求32所述的系统，其中所述第二成像部件包括第二镜头系统。34.根据权利要求28所述的系统，其中所述控制信号提供用于所述可移动物体的调节的指令，由此调节所述第一成像部件和/或所述第二成像部件。35.根据权利要求34所述的系统，其中所述可移动物体的调节是所述可移动物体相对于其俯仰、偏航或横滚轴的朝向的调节。36.根据权利要求28所述的系统，其中所述控制信号提供用于调节所述第一成像部件和/或所述第二成像部件的光轴的指令。37.根据权利要求28所述的系统，其中所述一个或多个处理器还被配置为：如果所述第一图像集和所述第二图像集的重叠部分具有低于预定阈值的质量，则基于所述纹理信息获得所述可移动物体的环境信息。38.根据权利要求37所述的系统，其中所述环境信息包括深度信息。39.根据权利要求37所述的系统，其中所述环境信息包括所述可移动物体的障碍物信息或状态信息。40.根据权利要求37所述的系统，其中所述一个或多个处理器被配置为：分析所述重叠部分的图像的显著性或梯度，以确定所述重叠部分的质量。41.根据权利要求37所述的系统，其...

【专利技术属性】
技术研发人员：王铭钰，朱振宇，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44