无人机以及RGBD图像的处理方法技术

本发明专利技术公开了一种无人机以及RGBD图像的处理方法。无人机包括RGBD相机、飞行控制器、处理器以及通信模块，处理器与RGBD相机、飞行控制器以及通信接口连接，其中：飞行控制器用于调整无人机的飞行姿态和/或拍摄模式；RGBD相机，用于在无人机飞行过程中实时获取目标的RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息；通信模块用于完成无人机与远端服务器的RGBD图像的传输；处理器，用于通过通信模块将RGBD图像传输至远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画。通过以上方式，本发明专利技术能够处理大数据的RGBD图像序列。

【技术实现步骤摘要】
无人机以及RGBD图像的处理方法
本专利技术涉及无人机领域，特别是涉及一种无人机以及RGBD图像的处理方法。
技术介绍
随着微电子技术和计算机视觉技术的不断发展，使得目标跟踪得以实时实现，尤其是将目标跟踪装置安装到无人机上，可以实现对目标的灵活动态跟踪，在军事和民用领域具有较高的使用价值。传统无人机的目标跟踪技术中，通常使用激光、雷达和超声等主动环境感知方法，其缺点为并不能直接获得目标的未知信息，并且多个无人机检测时会相互干扰，更为弊端的是在战场环境中隐蔽性差，被敌方发现的概率大的增加。现有的无人机主要致力于增大航时，提高速度，隐身机体，缩小体积，高度智能，加载武器，增强传输可靠性和通用性，使无人机能够按照指令或者预先编制的程序来完成预定的作战任务。而现有的无人机上的相机一般应用2D相机来拍摄2D图像，图像中每个像素点只包括红(Red，R)、绿(Green，G)、蓝(Blue，B)像素，不包括深度信息D。如此现有的无人机无法根据拍摄2D图像来自动实现目标跟踪拍摄等。
技术实现思路
本专利技术实施例提供了一种无人机以及RGBD图像的处理方法，能够处理大数据的RGBD图像序列。本专利技术提供一种无人机，无人机包括RGBD相机、飞行控制器、处理器以及通信模块，处理器与RGBD相机、飞行控制器以及通信接口连接，其中：飞行控制器用于调整无人机的飞行姿态和/或拍摄模式；RGBD相机，用于在无人机飞行过程中实时获取目标的RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息；通信模块用于完成无人机与远端服务器的RGBD图像的传输；处理器，用于通过通信模块将RGBD图像传输至远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画。其中，远端服务器通过通信接口接收无人机发送的RGBD图像，并根据RGBD图像生成目标的高清RGBD图像序列；并根据根据高清的RGBD图像序列生成高清的3D模型、3D视频或3D动画。其中，处理器根据RGBD图像识别目标。其中，无人机包括多个RGBD相机，无人机通过通信模块将多个RGBD获取的目标的RGBD图像传输至远端服务器以实时输出3D视频或3D动画。其中，远端服务器包括地面终端服务器，无人机通过通信接口将RGBD图像传输至地面终端服务器。其中，远端服务器包括云端服务器，通信模块可以包括无线通讯单元，无人机通过无线通讯单元将RGBD图像传输至云端服务器。本专利技术还提供一种RGBD图像的处理方法，包括：在无人机飞行过程中实时获取目标的RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息，其中通过飞行控制器用于调整无人机的飞行姿态；将RGBD图像传输至远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画。其中，将RGBD图像传输至远端服务器以进行处理的步骤包括：通过远端服务器接收无人机发送的RGBD图像，并根据RGBD图像生成目标的高清RGBD图像序列；通过远端服务器根据高清的RGBD图像序列生成高清的3D模型、3D视频或3D动画。其中，通过远端服务器根据高清的RGBD图像序列生成高清的3D模型、3D视频或3D动画的步骤包括：根据目标的RGBD图像序列生成目标的骨架网格；根据目标的骨架网格生成目标的3D模型、3D视频或3D动画。其中，远端服务器包括云端服务器和/或地面终端服务器，将RGBD图像传输至远端服务器以进行处理的步骤包括：将RGBD图像传输至云端服务器和/或地面终端服务器。通过上述方案，本专利技术的有益效果是：通过飞行控制器用于调整无人机的飞行姿态和/或拍摄模式；RGBD相机，用于在无人机飞行过程中实时获取目标的RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息，通信模块用于完成无人机与远端服务器的RGBD图像的传输；处理器，用于通过通信模块将RGBD图像传输至远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画；能够处理大数据的RGBD图像序列。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：图1是本专利技术第一实施例的无人机的结构示意图；图2是本专利技术实施例的无人机对人体进行3D建模的示意图；图3是本专利技术实施例的无人机对目标进行行为分析的示意图图4是本专利技术实施例的RGBD图像的处理方法的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1是本专利技术第一实施例的无人机的结构示意图。如图1所示，无人机(unmannedairvehicle，UAV)10包括：RGBD相机11、飞行控制器12、处理器13以及通信模块14。处理器13与RGBD相机11电连接，飞行控制器12与处理器13连接。飞行控制器12用于调整无人机10的飞行姿态和/或拍摄模式。RGBD相机11用于在无人机10飞行过程中实时获取目标的RGBD图像。RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息。其中像素的深度信息构成场景的二维像素矩阵，简称深度图。每个像素与其在场景中的位置相对应，并具有表示从某个参考位置到其场景位置的距离的像素值。换言之，深度图具有图像的形式，像素值指出场景的物体的形貌信息，而不是亮度和/或颜色。通信模块14用于完成无人机10与远端服务器的RGBD图像的传输。处理器13用于通过通信模块14将RGBD图像传输至远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画。在本专利技术实施例中，处理器13根据RGBD图像识别目标。具体地，处理器13可以应用彩色图像分割方法，利用背景纹理分割出背景图像，然后利用原始图像减去背景图像得到目标图像。当然在本专利技术其他实施例中，也可以应用其他方法识别目标。目标为特定的人体，如果目标为人体，处理器13可以根据R、G、B像素信息检测人体的脸部特征以锁定人体。跟踪拍摄的方式包括正面拍摄、侧面拍摄、背面拍摄、顶部拍摄中的一者或任意组合。在本专利技术实施例中，处理器13根据R、G、B像素信息和对应的深度信息识别目标为刚体或非刚体。具体可以利用深度信息对目标的轮廓进行识别，辨别轮廓为刚体还是非刚体，辨别出目标为动态生物(如人体)还是非刚体的物体。若为刚体则识别为物体，以及目标是否发生主动的运动。其中刚体是指三维结构不会随着运动发生改变的物体，而非刚体则相反，其三维结构会随着运动发生改变。在本专利技术实施例中，处理器13根据RGBD图像对目标进行特征点标识。具体地，处理器13可以根据一帧RGBD图像即可识别目标的特征点，然后根据连续多角度的RGBD图像对特征点进行修正。以目标为人体为例，根据一帧RGBD图像即可识别人体的特征点，具体地，对RGBD图像去除背景得到人体的轮廓，然后将人体躯干部分的中心点、头部的质心、边缘的转折点记为特征点，并根据人体比例以及存储的人体大数据将手肘本文档来自技高网...

【技术保护点】
一种无人机，其特征在于，所述无人机包括RGBD相机、飞行控制器、处理器以及通信模块，所述处理器与所述RGBD相机、所述飞行控制器以及所述通信接口连接，其中：所述飞行控制器用于调整所述无人机的飞行姿态和/或拍摄模式；所述RGBD相机，用于在所述无人机飞行过程中实时获取目标的RGBD图像，所述RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息；所述通信模块用于完成所述无人机与远端服务器的RGBD图像的传输；所述处理器，用于通过所述通信模块将所述RGBD图像传输至所述远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画。

【技术特征摘要】
1.一种无人机，其特征在于，所述无人机包括RGBD相机、飞行控制器、处理器以及通信模块，所述处理器与所述RGBD相机、所述飞行控制器以及所述通信模块连接，其中：所述飞行控制器用于调整所述无人机的飞行姿态和/或拍摄模式，所述飞行控制器接收控制单元发出的指令，并根据所述指令跟踪拍摄目标；所述RGBD相机，用于在所述无人机飞行过程中实时获取目标的RGBD图像，所述RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息；所述通信模块用于完成所述无人机与远端服务器的RGBD图像的传输；所述处理器，用于通过所述通信模块将所述RGBD图像传输至所述远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画；所述远端服务器通过所述通信模块接收所述无人机发送的RGBD图像，并根据所述RGBD图像生成所述目标的高清RGBD图像序列；并根据所述高清的RGBD图像序列生成高清的3D模型、3D视频或3D动画；所述处理器根据一帧所述RGBD图像对所述目标进行特征点识别，并根据多个所述RGBD图像对所述特征点进行修正以获得目标的骨架网格；根据所述目标的骨架网络对所述目标进行动态行为分析；或者，所述处理器接收所述远端服务器的所述3D模型、所述3D视频或所述3D动画，并根据所述3D模型、所述3D视频或所述3D动画识别和提取特征。2.根...

【专利技术属性】
技术研发人员：黄源浩，肖振中，许宏淮，
申请(专利权)人：深圳奥比中光科技有限公司，
类型：发明
国别省市：广东;44