基于人体指示的可移动物体的操作系统和方法技术方案

技术编号:28302960 阅读:21 留言:0更新日期:2021-04-30 16:33
可移动物体的操作方法、设备(200)和非暂时性计算机可读介质,所述方法包括基于由可移动物体上的成像传感器(107)捕获的一个或多个图像,获取图像数据。所述一个或多个图像中的每个图像均包括第一人体的至少一部分。所述方法还包括基于图像数据,在成像传感器(107)的视场中识别第一人体的第一指示;以及响应于在成像传感器(107)的视场中识别到的第一人体的第一指示,使可移动物体进行操作。

【技术实现步骤摘要】
【国外来华专利技术】基于人体指示的可移动物体的操作系统和方法版权声明本专利文件的一部分公开内容包含受版权保护的资料。版权所有者不反对任何人以专利和商标局专利文件或记录中出现的方式对专利文件或专利公开进行传真复制,但在任何情况下均保留所有版权。
本公开总体上涉及可移动装置的操作,更具体地,涉及基于人体指示的可移动装置的操作装置和方法。
技术介绍
无人机(UAV,有时称为“无人飞行器”)包括各种大小和配置的无人驾驶飞行器,可以由用户远程操作和/或被编程为自动飞行。无人机可以配备有相机以捕获图像和视频,从而实现各种目的,包括但不限于娱乐、监视、体育运动和航拍。一般来说,用户被要求使用与无人机通信的二级装置(例如,控制器或移动电话)来操作无人机和无人机上的相机。但是,用户可能需要花费额外的精力和时间来学习、练习和掌握控制过程。另外,为了与无人机通信,用户需要将他或她的注意力转移到控制器或移动电话的操作上,因此用户经常对其正在进行的活动(例如,远足、会议、锻炼、庆祝活动等)分心。这样,当无人机变得越来越智能和强大以执行各种自主功能时,用户可能会因繁琐的体验而感到沮丧,甚至不愿使用无人机。因此,用户无法有效地充分利用无人机的智能和强大功能,并错过了用无人机上的相机及时记录感兴趣的对象的机会。因此,需要一种改进的界面来操作无人机及其机载相机,以改善用户体验。
技术实现思路
根据本公开的实施例,提供了一种可移动物体的操作方法。所述方法包括基于由可移动物体上的成像传感器捕获的一个或多个图像,获取图像数据。所述一个或多个图像中的每个图像均包括第一人体的至少一部分。所述方法还包括基于图像数据,在成像传感器的视场中识别第一人体的第一指示。所述方法还包括响应于在成像传感器的视场中识别到的第一人体的第一指示,使可移动物体进行操作。还提供了一种可移动物体的操作设备。所述设备包括一个或多个处理器和存储器。存储器与一个或多个处理器耦接,所述存储器上存储有指令,所述指令由一个或多个处理器执行时,使所述设备执行操作包括:基于由可移动物体上的成像传感器捕获的一个或多个图像,获取图像数据。所述一个或多个图像中的每个图像均包括第一人体的至少一部分。所述指令还使设备基于图像数据,在成像传感器的视场中识别第一人体的第一指示;以及响应于在成像传感器的视场中识别到的第一人体的第一指示,使可移动物体进行操作。还提供了一种非暂时性计算机可读介质,其上存储有指令,所述指令在由处理器执行时使处理器执行操作包括:基于由可移动物体上的成像传感器捕获的一个或多个图像,获取图像数据。所述一个或多个图像中的每个图像均包括第一人体的至少一部分;基于图像数据,在成像传感器的视场中识别第一人体的第一指示;以及响应于在成像传感器的视场中识别到的第一人体的第一指示,使可移动物体进行操作。应当理解,上文概括描述和下文的详细描述都只是示例性和说明性的,并不限制本公开所要求保护的。通过阅读说明书、权利要求书和附图,本专利技术的其他目的和特征将变得显而易见。附图说明图1示出了根据本公开的实施例的可移动物体的示例操作环境。图2示出了根据本公开的实施例配置的设备的示例框图。图3示出了根据本公开的实施例的操作无人机的示例过程的流程图。图4A示出了根据本公开的实施例的人体上的关键物理点的分布的示例图。图4B示出了根据本公开的实施例的关键物理点的可能位置的示例置信图。图5示出了根据本公开的实施例的由可移动物体上的成像传感器捕获的一个或多个图像估计的身体指示来操作无人机的示例。图6示出了根据本公开的实施例的由可移动物体上的成像装置捕获的一个或多个图像估计的身体指示来操作无人机的示例。图7示出了根据本公开的实施例的由可移动物体上的成像装置捕获的一个或多个图像估计的身体指示来操作无人机的示例。图8A-图8D示出了根据本公开实施例的使用一个或多个图像估计的身体指示来操作无人机的示例。具体实施方式以下详细描述参考附图。相同的附图标记尽可能表示相同或相似的部分。尽管本文描述了一些说明性实施例,但是可以对其修改、改变并且可以具有其他实施方式。例如,可以对附图中示出的部件进行替换、添加或修改。因此,以下详细描述不限于所公开的实施例和示例。相反,适当的范围由所附权利要求书限定。根据本公开的实施例,提供了一种根据人体指示来操作无人机的方法和设备。人体指示可以包括静态身体姿势和身体移动。可以基于由无人机上的成像装置捕获的图像来识别人体指示。通过使用身体指示来操作无人机,用户可以在享受无人机功能的同时,更多地从事自己的活动。图1示出了根据本公开的实施例的可移动物体的示例操作环境100,其中,可移动物体被设置为无人机(“UAV”)102。在一些实施例中,环境100包括无人机102。无人机102能够经由网络120通信地连接至一个或多个电子装置,包括遥控器130(在本文中也称为终端130)、移动装置140和服务器110(例如,基于云的服务器),以便与一个或多个电子装置和/或与其他另外的装置和系统相互交换信息。在一些实施例中,网络120可以是有线和无线局域网(LAN)和/或广域网(WAN)的任何组合,例如,内联网、外联网和互联网。在一些实施例中,如本公开中所讨论的,网络120能够在一个或多个电子装置之间提供通信。例如,在无人机102移动期间,无人机102能够将一个或多个机载传感器(例如,成像传感器107和/或惯性测量单元(IMU)传感器)检测到的数据(例如,图像数据和/或运动数据)实时发送到处理数据的遥控器130、移动装置140和/或服务器110。另外,经处理的数据和/或操作指令可以在遥控器130、移动装置140和/或基于云的服务器110之间经由网络120彼此实时通信。此外,操作指令可以从遥控器130、移动装置140和/或基于云的服务器110实时发送到可移动物体102,以经由任何合适的通信技术来控制无人机102及无人机102的部件的飞行,通信技术可以包括诸如局域网(LAN)、广域网(WAN)(例如,因特网)、云环境、电信网络(例如,3G、4G)、WiFi、蓝牙、射频(RF)、红外(IR)或任何其他通信技术。尽管环境100用于操作作为无人机102的可移动物体,但是可替代地,可以将可移动物体设置为在合适的介质(例如,表面、空气、水、铁轨、空间、地下等)上或介质内行进的任何其他合适的物体、装置、机构、系统或机器。可移动物体还可以是其他类型的可移动物体(例如,带轮物体、航海物体、机车物体、其他空中物体等)。如本公开中讨论的,无人机102指基于由无人机102上的一个或多个传感器(例如,成像传感器107、音频传感器、超声传感器和/或运动传感器等)检测到的命令,或经由电子控制系统(例如,带有控制无人机102的预编程指令)自动地或自主地操作和/或控制的空中装置。可选地或另外地,可以将无人机102配置为由机外操控者手动操作和/或控制(例如,如图1所示,经由遥控器130或移动装置140进行操作和/或控制)。...

【技术保护点】
1.一种可移动物体的操作方法,包括:/n基于由所述可移动物体上的成像传感器捕获的一个或多个图像,获取图像数据,其中,所述一个或多个图像中的每个图像均包括第一人体的至少一部分;/n基于所述图像数据,在所述成像传感器的视场中识别所述第一人体的第一指示;以及/n响应于在所述成像传感器的视场中识别到的所述第一人体的第一指示,使所述可移动物体进行操作。/n

【技术特征摘要】
【国外来华专利技术】1.一种可移动物体的操作方法,包括:
基于由所述可移动物体上的成像传感器捕获的一个或多个图像,获取图像数据,其中,所述一个或多个图像中的每个图像均包括第一人体的至少一部分;
基于所述图像数据,在所述成像传感器的视场中识别所述第一人体的第一指示;以及
响应于在所述成像传感器的视场中识别到的所述第一人体的第一指示,使所述可移动物体进行操作。


2.根据权利要求1所述的方法,还包括:
在所述一个或多个图像的每个图像中,检测包括所述第一人体的一个或多个人体;以及
基于所述一个或多个图像,确定与所述一个或多个人体各自相关联的指示。


3.根据权利要求2所述的方法,还包括:
确定所述第一指示满足预定义准则;以及
在确定所述第一人体的第一指示满足所述预定义准则的情况下,确定所述第一人体与操作所述可移动物体的操控者相关联。


4.根据权利要求2所述的方法,还包括:
通过对所述一个或多个图像执行面部识别,来确定所述第一人体与注册用户相关联;以及
在确定所述第一人体与所述注册用户相关联的情况下,确定所述注册用户为操作所述可移动物体的操控者。


5.根据权利要求2所述的方法,其中,通过对从所述一个或多个图像中获取的所述图像数据应用机器学习模型,来确定与所述一个或多个人体相关联的指示。


6.根据权利要求2所述的方法,其中,确定与所述一个或多个人体相关联的指示还包括:
确定所述一个或多个人体中的每个人体上的多个关键物理点各自的位置。


7.根据权利要求6所述的方法,还包括:
在显示装置上显示针对所述一个或多个人体中的至少一个人体的所述多个关键物理点的置信图。


8.根据权利要求2所述的方法,还包括:
在显示装置上显示一个或多个边界框,其中,所述一个或多个边界框各自围绕检测到的一个或多个人体。


9.根据权利要求2所述的方法,还包括:
确定与多个人体相关联的多个指示满足预定义准则;以及
响应于所述多个指示,使所述可移动物体进行操作。


10.根据权利要求1所述的方法,其中,使所述可移动物体进行操作还包括:
生成操作指令,以根据与识别到的所述第一指示相关联的预定义准则来操作所述可移动物体。


11.根据权利要求1所述的方法,还包括:
响应于识别到所述第一人体的第一指示,使所述可移动物体和所述成像传感器跟踪在所述成像传感器的视场中的所述第一人体。


12.根据权利要求1所述的方法,还包括:
确定所述第一人体的第一指示满足预定义准则;以及
在显示装置上显示围绕所述第一人体的第一边界框。


13.根据权利要求1所述的方法,还包括:
确定所述第一人体的第一指示满足预定义准则;以及
使所述可移动物体自主地降落。


14.根据权利要求1所述的方法,还包括:
确定所述第一人体的第一指示满足预定义准则;以及
使所述成像传感器自主地捕获所述第一人体的一个或多个图像。


15.根据权利要求1所述的方法,还包括:
确定所述第一人体的第一指示满足预定义准则;以及
使得自主调整所述成像传感器的一个或多个参数,以从第一拍摄模式改变为第二拍摄模式。


16.根据权利要求1所述的方法,还包括:
确定与所述第一人体的第一指示相关联的一个或多个特性;以及
根据所确定的所述一个或多个特性,使所述可移动物体进行操作。


17.根据权利要求1所述的方法,其中,所述第一人体的第一指示包括基于多个图像识别的身体移动,所述身体移动包括以下至少之一:手部移动、手指移动、手掌移动、面部表情、头部移动、手臂移动、腿部移动或躯干移动。


18.根据权利要求1所述的方法,其中,所述第一人体的第一指示包括身体姿势,所述身体姿势与基于一个图像识别的固定不动的身体姿态或位置相关联。


19.根据权利要求1所述的方法,还包括:
在使所述可移动物体进行操作之前,确认所述第一人体的第一指示意图操作所述可移动物体。


20.根据权利要求1所述的方法,其中,所述可移动物体是无人机UAV。


21.一种可移动物体的操作设备,包括:
一个或多个处理器;以及
存储器,耦接至所述一个或多个处理器,所述存储器上存储有指令,所述指令在由所述一个或多个处理器执行时,使所述设备执行操作包括:
基于由所述可移动物体上的成像传感器捕获的一个或多个图像,获取图像数据,其中,所述一个或多个图像中的每个图像均包括第一人体的至少一部分;
基于所述图像数据,在所述成像传感器的视场中识别所述第一人体的第一指示;以及
响应于在所述成像传感器的视场中识别到的所述第一人体的第一指示,使所述可移动物体进行操作。


22.根据权利要求21所述的设备,其中,所述存储器还存储有指令,以:
在所述一个或多个图像的每个图像中,检测包括所述第一人体的一个或多个人体;以及
基于所述一个或多个图像,确定与所述一个或多个人体各自相关联的指示。


23.根据权利要求22所述的设备,其中,所述存储器还存储有指令,以:
确定所述第一指示满足预定义准则;以及
在确定所述第一人体的第一指示满足所述预定义准则的情况下,确定所述第一人体与操作所述可移动物体的操控者相关联。


24.根据权利要求22所述的设备,其中,所述存储器还存储有指令,以:
通过对所述一个或多个图像执行面部识别,来确定所述第一人体与注册用户相关联;以及
在确定所述第一人体与所述注册用户相关联的情况下,确定所述注册用户为操作所述可移动物体的操控者。


25.根据权利要求22所述的设备,其中,通过对从所述一个或多个图像中获取的所述图像数据应用机器学习模型,来确定与所述一个或多个人体相关联的指示。


26.根据权利要求22所述的设备,其中,确定与所述一个或多个人体相关联的指示还包括:
确定所述一个或多个人体中的每个人体上的多个关键物理点各自的位置。


27.根据权利要求26所述的设备,其中,所述存储器还存储有指令,以:
在显示装置上显示针对所述一个或多个人体中的至少一个人体的所述多个关键物理点的置信图。


28.根据权利要求22所述的设备,其中,所述存储器还存储有指令,以:
在显示装置上显示一个或多个边界框,其中,所述一个或多个边界框各自围绕所检测到的一个或多个人体。


29.根据权利要求22所述的设备,其中,所述存储器还存储有指令,以:
确定与多个人体相关联的多个指示满足预定义准则;以及
响应于所述多个指示,使所述可移动物体进行操作。


30.根据权利要求21所述的设备,其中,使所述可移动物体进行操作还包括:
生成操作指令,以根据与识别到的所述第一指示相关联的预定义准则来操作所述可移动物体。


31.根据权利要求21...

【专利技术属性】
技术研发人员:钱杰任创杰
申请(专利权)人:深圳市大疆创新科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1