【技术实现步骤摘要】
【国外来华专利技术】用于基于姿态信息处理和显示图像数据的系统及方法
技术介绍
诸如无人机(UAV)之类的飞行器已经被开发用于广泛的应用,包括监视、搜救行动、勘探和其他领域。这样的UAV可以携带机载相机来捕获环境的静态图像和视频图像。UAV还可以携带机载姿态传感器,例如IMU(惯性测量单元),以获得UAV的姿态信息。姿态信息可用于跟踪和预测UAV的位置。还可以将姿态传感器提供给相机以在图像捕获期间跟踪相机的姿态。
技术实现思路
提供了用于基于成像设备(例如相机)的姿态信息和显示终端(例如智能电话)的姿态信息来处理和显示环境图像的系统和方法。测量在捕获图像的时刻的成像设备的姿态信息,并将姿态信息与图像相关联。可以基于显示终端的对应姿态信息来选择图像并将图像显示在显示终端上。在一些实施例中,当显示终端处于基本上与第一姿态对应的第二姿态时,可以选择以第一姿态捕获的图像以进行显示。捕获的图像可以是静态图像或运动图像,例如视频。本文提供的各种实施例使得能够实现用户的虚拟现实体验。用户可以通过简单地倾斜显示终端来改变其姿态,并观看捕获的环境的具有不同FOV(视 ...
【技术保护点】
1.一种用于处理环境的图像数据的方法,所述方法包括:/n获得(1)使用成像设备所捕获的多个图像、以及(2)与所述多个图像相对应的所述成像设备的姿态信息;以及/n将所述多个图像与所述成像设备的对应姿态信息相关联。/n
【技术特征摘要】
【国外来华专利技术】1.一种用于处理环境的图像数据的方法,所述方法包括:
获得(1)使用成像设备所捕获的多个图像、以及(2)与所述多个图像相对应的所述成像设备的姿态信息;以及
将所述多个图像与所述成像设备的对应姿态信息相关联。
2.根据权利要求1所述的方法,其中,基于捕获所述多个图像的时序,将所述多个图像与所述成像设备的对应姿态信息相关联。
3.根据权利要求1所述的方法,其中,基于捕获所述多个图像的空间位置,将所述多个图像与所述成像设备的对应姿态信息相关联。
4.根据权利要求1所述的方法,其中,将所述图像与所述成像设备的姿态信息相关联地存储。
5.根据权利要求4所述的方法,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备外的存储设备中。
6.根据权利要求5所述的方法,其中,将所述图像与所述成像设备的姿态信息相关联地存储在相对于所述成像设备是远程的存储设备中。
7.根据权利要求4所述的方法,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备上装载的存储设备中。
8.根据权利要求1所述的方法,其中,所述图像和所述成像设备的姿态信息被分开地存储。
9.根据权利要求8所述的方法,其中,所述图像和所述成像设备的姿态信息被分开地存储在所述成像设备外的存储设备中。
10.根据权利要求9所述的方法,其中,所述图像和所述成像设备的姿态信息被分开地存储在相对于所述成像设备远程的存储设备中。
11.根据权利要求8所述的方法,其中,所述图像和所述成像设备的姿态信息被分开地存储在所述成像设备上装载的存储设备中。
12.根据权利要求1所述的方法,还包括:从所述多个图像中选择要在相对于所述成像设备远程的终端上显示的一个或多个图像,其中,基于所述终端的姿态信息来选择所述一个或多个图像。
13.根据权利要求12所述的方法,还包括:将选择的一个或多个图像经由无线链路发送到所述终端。
14.根据权利要求12所述的方法,其中,所述成像设备的姿态信息包括所述成像设备的俯仰角、航向角和/或横滚角。
15.根据权利要求14所述的方法,其中,所述多个图像中的第一图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一图像,其中,所述第一取向包括俯仰角、航向角和横滚角,所述第二取向包括俯仰角、航向角和横滚角。
16.根据权利要求15所述的方法,其中,所述第一取向和所述第二取向具有基本相同的俯仰角、航向角和/或横滚角。
17.根据权利要求15所述的方法,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角成比例。
18.根据权利要求15所述的方法,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角具有函数关系。
19.根据权利要求15所述的方法,其中,所述第一取向由第一矢量表示,并且所述第二取向由第二矢量表示,所述第一矢量与所述第二矢量之间的距离小于或等于预定阈值。
20.根据权利要求19所述的方法,其中,所述距离是基于欧几里得距离、马氏距离或余弦距离来计算的。
21.根据权利要求15所述的方法,其中,如果所述成像设备在基本上与所述第二取向相对应的所述第一取向处未捕获到图像,则选择默认图像。
22.根据权利要求21所述的方法,其中,所述默认图像是具有相关联的第一姿态信息的图像,所述相关联的第一姿态信息相对于所述第二取向具有最小的变化。
23.根据权利要求21所述的方法,其中,所述默认图像是最后显示的图像。
24.根据权利要求14所述的方法,其中,所述多个图像中的第一多个图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一多个图像,其中,所述第一取向包括俯仰角、航向角和横滚角,所述第二取向包括俯仰角、航向角和横滚角。
25.根据权利要求24所述的方法,其中,所述第一取向和所述第二取向具有基本相同的俯仰角、航向角和/或横滚角。
26.根据权利要求24所述的方法,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角成比例。
27.根据权利要求24所述的方法,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角具有函数关系。
28.根据权利要求24所述的方法,其中,所述第一多个图像以被捕获的时间顺序连续地显示在所述终端上。
29.根据权利要求24所述的方法,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比图像内容的变化最小。
30.根据权利要求24所述的方法,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比空间位置的变化最小。
31.根据权利要求24所述的方法,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比取向的变化最小。
32.根据权利要求12所述的方法,其中,所述成像设备的姿态信息包括所述成像设备的加速度。
33.根据权利要求1所述的方法,其中,使用可操作地与所述成像设备耦合的一个或多个惯性传感器来获得所述成像设备的姿态信息。
34.根据权利要求1所述的方法,其中,所述多个图像包括运动图像。
35.根据权利要求1所述的方法,其中,所述成像设备可操作地与可移动物体耦合。
36.根据权利要求35所述的方法,其中,所述可移动物体是无人机UAV。
37.根据权利要求36所述的方法,其中,所述成像设备的姿态信息包括所述UAV的姿态信息。
38.一种用于处理环境的图像数据的系统,所述系统包括:
成像设备,被配置为捕获多个图像;
惯性传感器,被配置为收集与所述多个图像相对应的所述成像设备的姿态信息;以及
一个或多个处理器,被单独或共同配置为将所述多个图像与所述成像设备的对应姿态信息相关联。
39.根据权利要求38所述的系统,其中,基于捕获所述多个图像的时序,将所述多个图像与所述成像设备的对应姿态信息相关联。
40.根据权利要求38所述的系统,其中,基于捕获所述多个图像的空间位置,将所述多个图像与所述成像设备的对应姿态信息相关联。
41.根据权利要求38所述的系统,其中,将所述图像与所述成像设备的姿态信息相关联地存储。
42.根据权利要求41所述的系统,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备外的存储设备中。
43.根据权利要求42所述的系统,其中,将所述图像与所述成像设备的姿态信息相关联地存储在相对于所述成像设备是远程的存储设备中。
44.根据权利要求41所述的系统,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备上装载的存储设备中。
45.根据权利要求38所述的系统,其中,所述图像和所述成像设备的姿态信息被分开地存储。
46.根据权利要求45所述的系统,其中,所述图像和所述成像设备的姿态信息被分开地存储在所述成像设备外的存储设备中。
47.根据权利要求46所述的系统,其中,所述图像和所述成像设备的姿态信息被分开地存储在相对于所述成像设备远程的存储设备中。
48.根据权利要求45所述的系统,其中,所述图像和所述成像设备的姿态信息被分开地存储在所述成像设备上装载的存储设备中。
49.根据权利要求38所述的系统,其中,所述一个或多个处理器还被配置为:从所述多个图像中选择要在相对于所述成像设备远程的终端上显示的一个或多个图像,其中,基于所述终端的姿态信息来选择所述一个或多个图像。
50.根据权利要求49所述的系统,其中,所述一个或多个处理器还被配置为将选择的一个或多个图像经由无线链路发送到所述终端。
51.根据权利要求49所述的系统,其中,所述成像设备的姿态信息包括所述成像设备的俯仰角、航向角和/或横滚角。
52.根据权利要求51所述的系统,其中,所述多个图像中的第一图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一图像,其中,所述第一取向包括俯仰角、航向角和横滚角,所述第二取向包括俯仰角、航向角和横滚角。
53.根据权利要求52所述的系统,其中,所述第一取向和所述第二取向具有基本相同的俯仰角、航向角和/或横滚角。
54.根据权利要求52所述的系统,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角成比例。
55.根据权利要求52所述的系统,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角具有函数关系。
56.根据权利要求52所述的系统,其中,所述第一取向由第一矢量表示,并且所述第二取向由第二矢量表示,所述第一矢量与所述第二矢量之间的距离小于或等于预定阈值。
57.根据权利要求56所述的系统,其中,所述距离是基于欧几里得距离、马氏距离或余弦距离来计算的。
58.根据权利要求52所述的系统,其中,如果所述成像设备在基本上与所述第二取向相对应的所述第一取向处未捕获到图像,则选择默认图像。
59.根据权利要求58所述的系统,其中,所述默认图像是具有相关联的第一姿态信息的图像,所述相关联的第一姿态信息相对于所述第二取向具有最小的变化。
60.根据权利要求58所述的系统,其中,所述默认图像是最后显示的图像。
61.根据权利要求51所述的系统,其中,所述多个图像中的第一多个图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一多个图像,其中,所述第一取向包括俯仰角、航向角和横滚角,所述第二取向包括俯仰角、航向角和横滚角。
62.根据权利要求61所述的系统,其中,所述第一取向和所述第二取向具有基本相同的俯仰角、航向角和/或横滚角。
63.根据权利要求61所述的系统,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角成比例。
64.根据权利要求61所述的系统,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角具有函数关系。
65.根据权利要求61所述的系统,其中,所述第一多个图像以被捕获的时间顺序连续地显示在所述终端上。
66.根据权利要求61所述的系统,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比图像内容的变化最小。
67.根据权利要求61所述的系统,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比空间位置的变化最小。
68.根据权利要求61所述的系统,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比取向的变化最小。
69.根据权利要求49所述的系统,其中,所述成像设备的姿态信息包括所述成像设备的加速度。
70.根据权利要求38所述的系统,其中,使用可操作地与所述成像设备耦合的一个或多个惯性传感器来获得所述成像设备的姿态信息。
71.根据权利要求38所述的系统,其中,所述多个图像包括运动图像。
72.根据权利要求38所述的系统,其中,所述成像设备可操作地与可移动物体耦合。
73.根据权利要求72所述的系统,其中,所述可移动物体是无人机UAV。
74.根据权利要求73所述的系统,其中,所述成像设备的姿态信息包括所述UAV的姿态信息。
75.一种用于处理环境的图像数据的装置,所述装置包括一个或多个处理器,所述一个或多个处理器被单独地或共同地配置为:
获得(1)使用成像设备所捕获的多个图像、以及(2)与所述多个图像相对应的所述成像设备的姿态信息;以及
将所述多个图像与所述成像的对应姿态信息相关联。
76.根据权利要求75所述的装置,其中,基于捕获所述多个图像的时序,将所述多个图像与所述成像设备的对应姿态信息相关联。
77.根据权利要求75所述的装置,其中,基于捕获所述多个图像的空间位置,将所述多个图像与所述成像设备的对应姿态信息相关联。
78.根据权利要求75所述的装置,其中,将所述图像与所述成像设备的姿态信息相关联地存储。
79.根据权利要求78所述的装置,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备外的存储设备中。
80.根据权利要求79所述的装置,其中,将所述图像与所述成像设备的姿态信息相关联地存储在相对于所述成像设备是远程的存储设备中。
81.根据权利要求78所述的装置,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备上装载的存储设备中。
82.根据权利要求75所述的装置,其中,所述图像和所述成像设备的姿态信息被分开地存储。
83.根据权利要求82所述的装置,其中,所述图像和所述成像设备的姿态信息被分开地存储在所述成像设备外的存储设备中。
84.根据权利要求83所述的装置,其中,所述图像和所述成像设备的姿态信息被分开地存储在相对于所述成像设备远程的存储设备中。
85.根据权利要求82所述的装置,其中,所述图像和所述成像设备的姿态信息被分开地存储在所述成像设备装载的存储设备中。
86.根据权利要求75所述的装置,其中,所述一个或多个处理器还被配置为:从所述多个图像中选择被配置为要在相对于所述成像设备远程的终端上显示的一个或多个图像,其中,基于所述终端的姿态信息来选择所述一个或多个图像。
87.根据权利要求86所述的装置,其中,所述一个或多个处理器还被配置为将选择的一个或多个图像经由无线链路发送到所述终端。
88.根据权利要求86所述的装置,其中,所述成像设备的姿态信息包括所述成像设备的俯仰角、航向角和/或横滚角。
89.根据权利要求88所述的装置,其中,所述多个图像中的第一图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一图像,其中,所述第一取向包括俯仰角、航向角和横滚角,所述第二取向包括俯仰角、航向角和横滚角。
90.根据权利要求89所述的装置,其中,所述第一取向和所述第二取向具有基本相同的俯仰角、航向角和/或横滚角。
91.根据权利要求89所述的装置,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角成比例。
92.根据权利要求89所述的装置,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角具有函数关系。
93.根据权利要求89所述的装置,其中,所述第一取向由第一矢量表示,并且所述第二取向由第二矢量表示,所述第一矢量与所述第二矢量之间的距离小于或等于预定阈值。
94.根据权利要求93所述的装置,其中,所述距离是基于欧几里得距离、马氏距离或余弦距离来计算的。
95.根据权利要求89所述的装置,其中,如果所述成像设备在基本上与所述第二取向相对应的所述第一取向处未捕获到图像,则选择默认图像。
96.根据权利要求95所述的装置,其中,所述默认图像是具有相关联的第一姿态信息的图像,所述相关联的第一姿态信息相对于所述第二取向具有最小的变化。
97.根据权利要求95所述的装置,其中,所述默认图像是最后显示的图像。
98.根据权利要求88所述的装置,其中,所述多个图像中的第一多个图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一多个图像,其中,所述第一取向包括俯仰角、航向角和横滚角,所述第二取向包括俯仰角、航向角和横滚角。
99.根据权利要求98所述的装置,其中,所述第一取向和所述第二取向具有基本相同的俯仰角、航向角和/或横滚角。
100.根据权利要求98所述的装置,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角成比例。
101.根据权利要求98所述的装置,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角具有函数关系。
102.根据权利要求98所述的装置,其中,所述第一多个图像以被捕获的时间顺序连续显示在所述终端上。
103.根据权利要求98所述的装置,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比图像内容变化最小。
104.根据权利要求98所述的装置,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比空间位置的变化最小。
105.根据权利要求98所述的装置,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比取向的变化最小。
106.根据权利要求86所述的装置,其中,所述成像设备的姿态信息包括所述成像设备的加速度。
107.根据权利要求75所述的装置,其中,使用可操作地与所述成像设备耦合的一个或多个惯性传感器来获得所述成像设备的姿态信息。
108.根据权利要求75所述的装置,其中,所述多个图像包括运动图像。
109.根据权利要求75所述的装置,其中,所述成像设备可操作地与可移动物体耦合。
110.根据权利要求109所述的装置,其中,所述可移动物体是无人机UAV。
111.根据权利要求110所述的装置,其中,所述成像设备的姿态信息包括所述UAV的姿态信息。
112.一种包括机器可执行代码的非暂时性计算机可读介质,所述机器可执行代码在由一个或多个计算机处理器执行时实现用于处理环境的图像数据的方法,所述非暂时性计算机可读介质包括:
用于获得(1)使用成像设备所捕获的多个图像以及(2)与所述多个图像相对应的所述成像设备的姿态信息的程序指令;以及
用于将所述多个图像与所述成像设备的对应姿态信息相关联的程序指令。
113.根据权利要求112所述的非暂时性计算机可读介质,其中,基于捕获所述多个图像的时序,将所述多个图像与所述成像设备的对应姿态信息相关联。
114.根据权利要求112所述的非暂时性计算机可读介质,其中,基于捕获所述多个图像的空间位置,将所述多个图像与所述成像设备的对应姿态信息相关联。
115.根据权利要求112所述的非暂时性计算机可读介质,其中,将所述图像与所述成像设备的姿态信息相关联地存储。
116.根据权利要求115所述的非暂时性计算机可读介质,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备外的存储设备中。
117.根据权利要求116所述的非暂时性计算机可读介质,其中,将所述图像与所述成像设备的姿态信息相关联地存储在相对于所述成像设备是远程的存储设备中。
118.根据权利要求115所述的非暂时性计算机可读介质,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备上装载的存储设备中。
119.根据权利要求112所述的非暂时性计算机可读介质,其中,所述图像和所述成像设备的姿态信息被分开地存储。
120.根据权利要求119所述的非暂时性计算机可读介质,其中,所述图像和所述成像设备的姿态信息被分开地存储在所述成像设备外的存储设备中。
121.根据权利要求120所述的非暂时性计算机可读介质,其中,所述图像和所述成像设备的姿态信息被分开地存储在相对于所述成像设备远程的存储设备中。
122.根据权利要求119所述的非暂时性计算机可读介质,其中,所述图像和所述成像设备的姿态信息被分开地存储在所述成像设备装载的存储设备中。
123.根据权利要求112所述的非暂时性计算机可读介质,其中,所述非暂时性计算机可读介质还包括用于从所述多个图像中选择一个或多个图像的程序指令,所述一个或多个图像被配置为要在相对于所述成像设备远程的终端上显示,其中,基于所述终端的姿态信息来选择所述一个或多个图像。
124.根据权利要求123所述的非暂时性计算机可读介质,其中,所述非暂时性计算机可读介质还包括用于将选择的一个或多个图像经由无线链路发送到所述终端的程序指令。
125.根据权利要求123所述的非暂时性计算机可读介质,其中,所述成像设备的姿态信息包括所述成像设备的俯仰角、航向角和/或横滚角。
126.根据权利要求125所述的非暂时性计算机可读介质,其中,所述多个图像中的第一图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一图像,其中,所述第一取向包括俯仰角、航向角和横滚角,所述第二取向包括俯仰角、航向角和横滚角。
127.根据权利要求126所述的非暂时性计算机可读介质,其中,所述第一取向和所述第二取向具有基本相同的俯仰角、航向角和/或横滚角。
128.根据权利要求126所述的非暂时性计算机可读介质,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角成比例。
129.根据权利要求126所述的非暂时性计算机可读介质,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角具有函数关系。
130.根据权利要求126所述的非暂时性计算机可读介质,其中,所述第一取向由第一矢量表示,并且所述第二取向由第二矢量表示,所述第一矢量与所述第二矢量之间的距离小于或等于预定阈值。
131.根据权利要求130所述的非暂时性计算机可读介质,其中,所述距离是基于欧几里得距离、马氏距离或余弦距离来计算的。
132.根据权利要求126所述的非暂时性计算机可读介质,其中,如果所述成像设备在基本上与所述第二取向相对应的所述第一取向处未捕获到图像,则选择默认图像。
133.根据权利要求132所述的非暂时性计算机可读介质,其中,所述默认图像是具有相关联的第一姿态信息的图像,所述相关联的第一姿态信息相对于所述第二取向具有最小的变化。
134.根据权利要求132所述的非暂时性计算机可读介质,其中,所述默认图像是最后显示的图像。
135.根据权利要求125所述的非暂时性计算机可读介质,其中,所述多个图像中的第一多个图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一多个图像,其中,所述第一取向包括俯仰角、航向角和横滚角,所述第二取向包括俯仰角、航向角和横滚角。
136.根据权利要求135所述的非暂时性计算机可读介质,其中,所述第一取向和所述第二取向具有基本相同的俯仰角、航向角和/或横滚角。
137.根据权利要求135所述的非暂时性计算机可读介质,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角成比例。
138.根据权利要求135所述的非暂时性计算机可读介质,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角具有函数关系。
139.根据权利要求135所述的非暂时性计算机可读介质,其中,所述第一多个图像以被捕获的时间顺序连续显示在所述终端上。
140.根据权利要求135所述的非暂时性计算机可读介质,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比图像内容的变化最小。
141.根据权利要求135所述的非暂时性计算机可读介质,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比空间位置的变化最小。
142.根据权利要求135所述的非暂时性计算机可读介质,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比取向的变化最小。
143.根据权利要求123所述的非暂时性计算机可读介质,其中,所述成像设备的姿态信息包括所述成像设备的加速度。
144.根据权利要求112所述的非暂时性计算机可读介质,其中,使用可操作地与所述成像设备耦合的一个或多个惯性传感器来获得所述成像设备的姿态信息。
145.根据权利要求112所述的非暂时性计算机可读介质,其中,所述多个图像包括运动图像。
146.根据权利要求112所述的非暂时性计算机可读介质,其中,所述成像设备可操作地与可移动物体耦合。
147.根据权利要求146所述的非暂时性计算机可读介质,其中,所述可移动物体是无人机UAV。
148.根据权利要求147所述的非暂时性计算机可读介质,其中,所述成像设备的姿态信息包括所述UAV的姿态信息。
149.一种可移动物体,所述可移动物体包括:
一个或多个推进单元,实现所述可移动物体的运动;以及
根据权利要求38所述的用于处理环境的图像数据的系统。
150.一种用于在显示终端上显示环境的图像数据的方法,所述方法包括:
获得所述终端的姿态信息;
基于所述终端的姿态信息,从多个图像中选择要在所述终端上显示的一个或多个图像,其中,所述多个图像由成像设备捕获并与所述成像设备的对应姿态信息相关联;以及
在所述终端上显示选择的一个或多个图像。
151.根据权利要求150所述的方法,还包括:从存储设备接收所述多个图像,并将所述多个图像存储在所述终端的内部存储设备中。
152.根据权利要求151所述的方法,其中,所述存储设备相对于所述终端是远程的。
153.根据权利要求150所述的方法,其中,所述成像设备相对于所述终端是远程的。
154.根据权利要求150所述的方法,其中,所接收的多个图像被临时存储在所述终端中。
155.根据权利要求154所述的方法,其中,所接收的多个图像被临时存储在所述终端的内部存储设备中。
156.根据权利要求150所述的方法,其中,所接收的多个图像包括与所述成像设备的姿态信息相关联的一个或多个图像,所述成像设备的姿态信息基本上对应于所述终端的姿态信息。
157.根据权利要求150所述的方法,其中,基于所述终端的姿态信息的变化来实时更新所接收的多个图像。
158.根据权利要求150所述的方法,其中,基于捕获所述多个图像的时序,将所述多个图像与所述成像设备的对应姿态信息相关联。
159.根据权利要求150所述的方法,其中,基于捕获所述多个图像的空间位置,将所述多个图像与所述成像设备的对应姿态信息相关联。
160.根据权利要求150所述的方法,其中,将所述图像与所述成像设备的姿态信息相关联地存储。
161.根据权利要求160所述的方法,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备外的所述存储设备中。
162.根据权利要求161所述的方法,其中,将所述图像与所述成像设备的姿态信息相关联地存储在相对于所述成像设备是远程的所述存储设备中。
163.根据权利要求160所述的方法,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备上装载的所述存储设备中。
164.根据权利要求150所述的方法,其中,所述图像和所述成像设备的姿态信息被分开地存储。
165.根据权利要求164所述的方法,其中,所述图像和所述成像设备的姿态信息
166.根据权利要求165所述的方法,其中,所述图像和所述成像设备的姿态信息被分开地存储在相对于所述成像设备远程的所述存储设备中。
167.根据权利要求164所述的方法,其中,所述图像和所述成像设备的姿态信息被分开地存储在所述成像设备上装载的所述存储设备中。
168.根据权利要求150所述的方法,其中,所述成像设备的姿态信息包括所述成像设备的俯仰角、航向角和/或横滚角。
169.根据权利要求168所述的方法,其中,所述多个图像中的第一图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一图像,其中,所述第一取向包括俯仰角、航向角和横滚角,所述第二取向包括俯仰角、航向角和横滚角。
170.根据权利要求169所述的方法,其中,所述第一取向和所述第二取向具有基本相同的俯仰角、航向角和/或横滚角。
171.根据权利要求169所述的方法,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角成比例。
172.根据权利要求169所述的方法,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角具有函数关系。
173.根据权利要求169所述的方法,其中,所述第一取向由第一矢量表示,并且所述第二取向由第二矢量表示,所述第一矢量与所述第二矢量之间的距离小于或等于预定阈值。
174.根据权利要求173所述的方法,其中,所述距离是基于欧几里得距离、马氏距离或余弦距离来计算的。
175.根据权利要求168所述的方法,其中,所述多个图像中的第一多个图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一多个图像,其中,所述第一取向包括俯仰角、航向角和横滚角,所述第二取向包括俯仰角、航向角和横滚角。
176.根据权利要求175所述的方法,其中,所述第一取向和所述第二取向具有基本相同的俯仰角、航向角和/或横滚角。
177.根据权利要求175所述的方法,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角成比例。
178.根据权利要求175所述的方法,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角具有函数关系。
179.根据权利要求175所述的方法,其中,所述第一取向由第一矢量表示,并且所述第二取向由第二矢量表示,所述第一矢量与所述第二矢量之间的距离小于或等于预定阈值。
180.根据权利要求179所述的方法,其中,所述距离是基于欧几里得距离、马氏距离或余弦距离来计算的。
181.根据权利要求175所述的方法,其中,所述第一多个图像以被捕获的时间顺序连续显示在所述终端上。
182.根据权利要求175所述的方法,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比图像内容的变化最小。
183.根据权利要求175所述的方法,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比空间位置的变化最小。
184.根据权利要求175所述的方法,其中,所述第一多个图像中的一个图像被显示在所述终端上,所述图像与最后显示的图像相比取向的变化最小。
185.根据权利要求150所述的方法,还包括:当在所述多个图像中没有发现具有与所述终端的姿态信息相对应的关联的姿态信息的图像时,向所述存储设备发送所述终端的姿态信息并从所述存储设备接收另外的多个图像。
186.根据权利要求185所述的方法,还包括:如果没有从所述存储设备接收到具有与所述终端的姿态信息相对应的关联的姿态信息的图像,则在所述终端上显示默认图像。
187.根据权利要求186所述的方法,其中,所述默认图像是具有相对于所述第二取向变化最小的所述成像设备的关联的姿态信息的图像。
188.根据权利要求186所述的方法,其中,所述默认图像是最后显示的图像。
189.根据权利要求150所述的方法,其中,使用可操作地与所述成像设备耦合的一个或多个惯性传感器来获得所述成像设备的姿态信息。
190.根据权利要求150所述的方法,其中,所述多个图像包括运动图像。
191.根据权利要求150所述的方法,其中,所述成像设备可操作地与可移动物体耦合。
192.根据权利要求191所述的方法,其中,所述可移动物体是无人机UAV。
193.根据权利要求192所述的方法,其中,所述成像设备的姿态信息包括所述UAV的姿态信息。
194.一种用于显示环境的图像数据的显示终端,所述终端包括一个或多个处理器,所述一个或多个处理器被单独地或共同地配置为:
获得所述终端的姿态信息;
基于所述终端的姿态信息,从多个图像中选择要在所述终端上显示的一个或多个图像,其中,所述多个图像由成像设备捕获并与所述成像设备的对应姿态信息相关联;以及
在所述装置上显示选择的一个或多个图像。
195.根据权利要求194所述的显示终端,还包括内部存储设备,所述内部存储设备从存储设备接收所述多个图像并存储所述多个图像。
196.根据权利要求195所述的终端,其中,所述存储设备相对于所述终端是远程的。
197.根据权利要求194所述的终端,其中,所述成像设备相对于所述终端是远程的。
198.根据权利要求194所述的终端,其中,所接收的多个图像被临时存储在所述终端中。
199.根据权利要求198所述的终端,其中,所接收的多个图像被临时存储在所述终端的内部存储设备中。
200.根据权利要求194所述的终端,其中,所接收的多个图像包括与所述成像设备的姿态信息相关联的一个或多个图像,所述成像设备的姿态信息基本上对应于所述终端的姿态信息。
201.根据权利要求194所述的终端,其中,基于所述终端的姿态信息的变化来实时更新所接收的多个图像。
202.根据权利要求194所述的终端,其中,基于捕获所述多个图像的时序,将所述多个图像与所述成像设备的对应姿态信息相关联。
203.根据权利要求194所述的终端,其中,基于捕获所述多个图像的空间位置,将所述多个图像与所述成像设备的对应姿态信息相关联。
204.根据权利要求194所述的终端,其中,将所述图像与所述成像设备的姿态信息相关联地存储。
205.根据权利要求204所述的终端,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备外的所述存储设备中。
206.根据权利要求205所述的终端,其中,将所述图像与所述成像设备的姿态信息相关联地存储在相对于所述成像设备是远程的所述存储设备中。
207.根据权利要求204所述的终端,其中,将所述图像与所述成像设备的姿态信息相关联地存储在所述成像设备上装载的所述存储设备中。
208.根据权利要求194所述的终端,其中,所述图像和所述成像设备的姿态信息被分开地存储。
209.根据权利要求208所述的终端,其中,所述图像和所述成像设备的姿态信息被分开地存储。
210.根据权利要求209所述的终端,其中,所述图像和所述成像设备的姿态信息被分开地存储在相对于所述成像设备远程的所述存储设备中。
211.根据权利要求208所述的终端,其中,所述图像和所述成像设备的姿态信息被分开地存储在所述成像设备上装载的所述存储设备中。
212.根据权利要求194所述的终端,其中,所述成像设备的姿态信息包括所述成像设备的俯仰角、航向角和/或横滚角。
213.根据权利要求212所述的终端,其中,所述多个图像中的第一图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一图像,其中,所述第一取向包括俯仰角、航向角和横滚角,所述第二取向包括俯仰角、航向角和横滚角。
214.根据权利要求213所述的终端,其中,所述第一取向和所述第二取向具有基本相同的俯仰角、航向角和/或横滚角。
215.根据权利要求213所述的终端,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角成比例。
216.根据权利要求213所述的终端,其中,所述第一取向的俯仰角、航向角和/或横滚角与所述第二取向的俯仰角、航向角和/或横滚角具有函数关系。
217.根据权利要求213所述的终端,其中,所述第一取向由第一矢量表示,并且所述第二取向由第二矢量表示,所述第一矢量与所述第二矢量之间的距离小于或等于预定阈值。
218.根据权利要求217所述的终端,其中,所述距离是基于欧几里得距离、马氏距离或余弦距离来计算的。
219.根据权利要求212所述的终端,其中,所述多个图像中的第一多个图像在所述成像设备处于第一取向时捕获,并且其中,当所述终端处于基本上与所述第一取向相对应的第二取向时,选择要在所述终端上显示的所述第一...
【专利技术属性】
技术研发人员:曹子晟,暴林超,胡攀,王铭钰,
申请(专利权)人:深圳市大疆创新科技有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。