无人机以及无人机控制方法技术

本发明专利技术公开了一种无人机以及无人机控制方法。无人机包括：RGBD相机、飞行控制器以及处理器，处理器与RGBD相机以及飞行控制器连接，其中：RGBD相机，用于在无人机飞行过程中实时获取目标的RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息；处理器，用于实时对R、G、B像素信息和对应的深度信息进行处理，识别用户的手势，根据用户的手势输出对应的控制指令；飞行控制器用于根据控制指令调整无人机的飞行姿态和/或拍摄模式。通过以上方式，本发明专利技术能够减少对遥控器控制指令的传输，进而减少对带宽的占用，提高用户体验度。

【技术实现步骤摘要】

本专利技术涉及无人机领域，特别是涉及一种无人机以及无人机控制方法。
技术介绍
随着微电子技术和计算机视觉技术的不断发展，使得目标跟踪得以实时实现，尤其是将目标跟踪装置安装到无人机上，可以实现对目标的灵活动态跟踪，在军事和民用领域具有较高的使用价值。传统无人机的目标跟踪技术中，通常使用激光、雷达和超声等主动环境感知方法，其缺点为并不能直接获得目标的未知信息，并且多个无人机检测时会相互干扰，更为弊端的是在战场环境中隐蔽性差，被敌方发现的概率大的增加。现有的无人机主要致力于增大航时，提高速度，隐身机体，缩小体积，高度智能，加载武器，增强传输可靠性和通用性，使无人机能够按照指令或者预先编制的程序来完成预定的作战任务。而现有的无人机上的相机一般应用2D相机来拍摄2D图像，图像中每个像素点只包括红(Red，R)、绿(Green，G)、蓝(Blue，B)像素，不包括深度信息D。如此现有的无人机无法根据拍摄2D图像来自动实现目标跟踪拍摄等。
技术实现思路
本专利技术实施例提供了一种无人机以及无人机控制方法，能够自动实现目标的跟踪拍摄。本专利技术提供一种无人机，无人机包括RGBD相机、飞行控制器以及处理器，处理器与RGBD相机以及飞行控制器连接，其中：RGBD相机，用于在无人机飞行过程中实时获取目标的RGBD图像，RGBD图像中每
个像素点包括R、G、B像素信息和对应的深度信息；处理器，用于实时对R、G、B像素信息和对应的深度信息进行处理，识别用户的手势，并根据用户的所述手势输出对应的控制指令；飞行控制器用于根据控制指令调整无人机的飞行姿态和/或拍摄模式。其中，RGBD相机还用于实时获取目标的RGBD图像序列，处理器根据RGBD图像序列识别用户的手势，并根据手势输出控制指令。其中，处理器还根据控制指令选择RGBD相机的拍摄模式。其中拍摄模式包括拍摄目标的单个RGBD图像、多角度RGBD图像、或者拍摄目标的RGBD图像序列的至少之一。其中，用户的手势包括但不限于抓握、自然抬手、前推、上、下、左右摆手。其中，处理器还用于：接收目标输入的语音，并根据语音输出控制指令。本专利技术提供一种无人机控制方法，包括：在无人机飞行过程中实时获取目标的RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息；实时对R、G、B像素信息和对应的深度信息进行处理，识别用户的手势，并根据用户的手势输出对应的控制指令；根据控制指令调整无人机的飞行姿态和/或拍摄模式。其中，在无人机飞行过程中实时获取目标的RGBD图像的步骤包括：实时获取目标的RGBD图像序列；实时对R、G、B像素信息进行处理，识别用户的手势，并根据用户的手势输出对应的控制指令的步骤包括：根据RGBD图像序列识别用户的手势，并根据手势输出控制指令。其中，方法还包括：根据控制指令选择RGBD相机的拍摄模式。其中拍摄模式包括拍摄目标的单个RGBD图像、多角度RGBD图像、或者拍摄目标的RGBD图像序列的至少之一。其中，根据控制指令调整无人机的飞行姿态和拍摄模式的步骤包括：根据控制指令同时调整多个无人机的飞行姿态和/或拍摄模式。其中，根据控制指令调整无人机的飞行姿态和拍摄模式的步骤包括：根据控制指令激活多个无人机中的至少一个以进一步调整其飞行姿
态和/或拍摄模式。其中，用户的手势包括但不限于抓握、自然抬手、前推、上、下、左右摆手。其中，实时对R、G、B像素信息进行处理，识别用户的手势，并根据用户的手势输出对应的控制指令的步骤包括：接收目标输入的语音，并根据语音输出控制指令。通过上述方案，本专利技术的有益效果是：通过RGBD相机在无人机飞行过程中实时获取RGBD图像信息，RGBD图像信息包括R、G、B像素信息和对应的深度信息；处理器实时对R、G、B像素信息和对应的深度信息进行处理，识别用户的手势，根据用户的手势输出对应的控制指令；飞行控制器根据控制指令调整无人机的飞行姿态和/或拍摄模式，如此能够减少对遥控器控制指令的传输，进而减少对带宽的占用，提高用户体验度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：图1是本专利技术第一实施例的无人机的结构示意图；图2是本专利技术第二实施例的无人机的结构示意图；图3是本专利技术第一实施例的无人机控制方法的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1是本专利技术第一实施例的无人机的结构示意图。如图1所示，无
人机(unmanned air vehicle，UAV)10包括：RGBD相机11、飞行控制器12以及处理器13。处理器13与RGBD相机11以及飞行控制器12连接。RGBD相机11用于在无人机10飞行过程中实时获取RGBD图像。RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息。其中像素点的深度信息构成场景的二维像素矩阵，简称深度图。每个像素与其在场景中的位置相对应，并具有表示从某个参考位置到其场景位置的距离的像素值。换言之，深度图具有图像的形式，像素值指出场景的物体的形貌信息，而不是亮度和/或颜色。处理器13用于实时对R、G、B像素信息和对应的深度信息进行处理，识别用户的手势，根据用户的手势输出对应的控制指令。飞行控制器12用于根据控制指令调整无人机10的飞行姿态和/或拍摄模式。其中，无人机10的飞行姿态包括起飞、悬停、俯仰、滚转、偏航、降落等。本专利技术实施例的无人机直接通过RGBD相机拍摄的RGBD图像获取用户的手势进而调整无人机的飞行姿态，能够减少对遥控器控制指令的传输，进而减少对带宽的占用，提高用户体验度。无人机10还包括飞行组件和云台(图未示)。RGBD相机11设置在云台上，云台用于测量载体的姿态变化做出反应以稳定云台上的RGBD相机11，以方便RGBD相机实时获取目标的RGBD图像。飞行组件可以包括旋翼或固定翼，以用于确保无人机的正常飞行以及飞行过程中飞行姿态的稳定。优选地，以四旋翼无人机为例，四个螺旋桨呈十字形交叉结构，相对的四旋翼具有相同的旋转方向，分两组，两组的旋转方向不同。与传统的直升机不同，四旋翼飞行器只能通过改变螺旋桨的速度来实现各种动作。在本专利技术实施例中，RGBD相机11实时获取目标的RGBD图像时，RGBD相机11获取多角度的RGBD图像序列可以通过多个RGBD相机11从不同角度对场景进行拍摄，也可以使用单个RGBD相机11移动不同的位置进行拍摄获得。基于拍摄的方法，用户可以利用拍摄的多张图像或视频关键帧进行场景重建。单个RGBD相机11在拍摄的过程中，RGBD相机11的移动可以认为是视角的移动，拍摄时如果RGBD相机
11进行水平移动，则能够拍摄到更大的场景，如果RGBD相机11围绕物体旋转进行拍摄，则能够拍摄到同一物体不同本文档来自技高网...

【技术保护点】
一种无人机，其特征在于，所述无人机包括RGBD相机、飞行控制器以及处理器，所述处理器与所述RGBD相机以及所述飞行控制器连接，其中：所述RGBD相机，用于在无人机飞行过程中实时获取目标的RGBD图像，所述RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息；所述处理器，用于实时对所述R、G、B像素信息和对应的深度信息进行处理，识别用户的手势，并根据用户的所述手势输出对应的控制指令；所述飞行控制器用于根据所述控制指令调整所述无人机的飞行姿态和/或拍摄模式。

【技术特征摘要】
1.一种无人机，其特征在于，所述无人机包括RGBD相机、飞行控制器以及处理器，所述处理器与所述RGBD相机以及所述飞行控制器连接，其中：所述RGBD相机，用于在无人机飞行过程中实时获取目标的RGBD图像，所述RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息；所述处理器，用于实时对所述R、G、B像素信息和对应的深度信息进行处理，识别用户的手势，并根据用户的所述手势输出对应的控制指令；所述飞行控制器用于根据所述控制指令调整所述无人机的飞行姿态和/或拍摄模式。2.根据权利要求1所述的无人机，其特征在于，所述RGBD相机还用于实时获取所述目标的RGBD图像序列，所述处理器根据所述RGBD图像序列识别用户的手势，并根据所述手势输出所述控制指令。3.根据权利要求1所述的无人机，其特征在于，所述处理器还根据所述控制指令选择所述RGBD相机的拍摄模式。其中所述拍摄模式包括拍摄所述目标的单个RGBD图像、多角度RGBD图像、或者拍摄所述目标的RGBD图像序列的至少之一。4.根据权利要求1所述的无人机，其特征在于，所述用户的手势包括但不限于抓握、自然抬手、前推、上、下、左右摆手。5.根据权利要求1所述的无人机，其特征在于，所述处理器还用于：接收所述目标输入的语音，并根据所述语音输出所述控制指令。6.一种无人机控制方法，其特征在于，所述方法包括：在无人机飞行过程中实时获取目标的RGBD图像，所述RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息；实时对所述R、G、B像素信息和对应的深度信息进行处理，识别用户...

【专利技术属性】
技术研发人员：黄源浩，肖振中，许宏淮，
申请(专利权)人：深圳奥比中光科技有限公司，
类型：发明
国别省市：广东;44