无人机的飞行控制方法、装置、无人机及存储介质制造方法及图纸

本发明专利技术适用计算机技术领域，提供了一种无人机的飞行控制方法、装置、无人机和存储介质，该方法包括：通过无人机上的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测场景图像中是否存在用户手势，当检测到存在用户手势时，通过训练好的手势识别模型识别用户手势对应的控制手势，在预先构建的手势控制字典中将该对应的控制手势翻译为无人机的飞行控制指令，根据该飞行控制指令对无人机的飞行进行控制，从而通过手势对无人机进行控制且无需对图像进行复杂的预处理，有效地降低了无人机飞行控制的成本，有效地提高了无人机飞行控制的效率和便捷度。

Flight control method, device, unmanned aerial vehicle and storage medium for UAV

The invention is applied to computer technology, provides a UAV flight control method, device, UAV and storage medium, the method includes: through the UAV camera shooting the scene image, the existence of user gesture model checking the scene image through the deep learning, when the detected user gestures through the control, gesture gesture gesture recognition model to identify the user trained in the pre built gesture control dictionary, the corresponding translation instruction for gesture control UAV flight control, under the control of the UAV flight control command, and through gestures of UAV control without the image complex pretreatment, effectively reducing the cost of UAV flight control, effectively improve the UAV flight control Efficiency and convenience.

【技术实现步骤摘要】
无人机的飞行控制方法、装置、无人机及存储介质
本专利技术属于无人机人机交互
，尤其涉及一种无人机的飞行控制方法、装置、无人机及存储介质。
技术介绍
无人机作为一种新兴的应用平台，因其体积小、机动性强、操作灵活、成本低等特点，在军用、民用领域都得到了广泛应用，尤其在监视和搜救方面的应用场景十分广阔。目前，无人机的飞行控制方式主要为远程控制，由专业训练过的操作者使用专业的遥控器或者地面站来执行控制操作，该方式能够对无人机实现精准、实时的控制，且可靠性强，但是该方式增加了额外的成本且遥控设备不利于携带，还增加了操作员的负担，例如，操作员使用遥控器，需要深入了解无人机的舵机、油门延迟等专业知识，并进行模拟和实际飞行操作训练，在地面站的操作员需要熟悉地面站界面的相关操作，专业性很强，这对于一般的初学者及爱好者有一定的难度。为了降低费用成本，减轻操作员的负担，使操作员与无人机以更自然、简单、直观的方式进行交互，将人类自然的手势应用到无人机的飞行控制的人机交互技术成为无人机的飞行控制研究的热点和难点之一。目前，手势识别的研究主要包括基于硬件传感器的手势识别、基于机器视觉的手势识别。基于硬件传感器的手势识别主要有两种，一种通过使用者穿戴可接收手势信号的手套实现手势识别，这种手套价格昂贵且给使用者带来不便，局限性较大，另一种利用Kinect传感器采集用户骨骼节点的空间位置信息，通过计算机端的识别软件识别出这些信息对应的动作指令，进而生成对应的无人机的飞行控制指令，但该方式的识别成功率较低。基于机器视觉信息的手势识别直接将以使用者的手为目标的视频帧图像作为输入，通过图像识别实现手势识别，该方式提供了无约束的人机交互方式，且交互自由度高、交互体验逼真，但该方式的识别精度有待提高。在亿航智能设备(广州)有限公司提出的一种飞行器及其控制方法的专利(CN106774947A)中，通过对双目摄像头采集的图像进行深度处理和手势识别，实现对飞行器的控制，该方法解决了传统无人机远程控制方式中硬件成本高的问题，但是增加了手势识别时预处理操作的复杂度，且识别成功率不高。南京邮电大学提出基于视觉的无人机手势交互研究，该方法在不改变现有硬件的基础上，在无人机遥控器与使用者的手之间增加一个“交互媒质”，并在摄像机与遥控器之间，增加了ARM开发板，对摄像头所捕捉的手势进行动作识别，将识别的手势动作转换为指令导入ARM开发板，再转换为具体电压或电阻的变化，从而实现对无人机的控制，该方法始终需要遥控器来控制无人机的飞行，且未解决硬件成本高、遥控设备不便于携带的问题。
技术实现思路
本专利技术的目的在于提供一种无人机的飞行控制方法、装置、无人机及存储介质，旨在解决现有技术中无人机的飞行控制的硬件成本高、准确率不高且效率不高的问题。一方面，本专利技术提供了一种无人机的飞行控制方法，所述方法包括下述步骤：通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测所述场景图像中是否存在用户手势；当检测到所述场景图像中的用户手势时，通过训练好的手势识别模型对所述用户手势进行识别，以确定所述用户手势在预先构建的控制手势库中对应的控制手势；在预先构建的手势指令字典中将所述对应的控制手势翻译为所述无人机的飞行控制指令，根据所述飞行控制指令对所述无人机的飞行进行控制。另一方面，本专利技术提供了一种无人机的飞行控制装置，所述装置包括：手势检测单元，用于通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测所述场景图像中是否存在用户手势；手势识别单元，用于当检测到所述场景图像中的用户手势时，通过训练好的手势识别模型对所述用户手势进行识别，以确定所述用户手势在预先构建的控制手势库中对应的控制手势；以及飞行控制单元，用于在预先构建的手势指令字典中将所述对应的控制手势翻译为所述无人机的飞行控制指令，根据所述飞行控制指令对所述无人机的飞行进行控制。另一方面，本专利技术还提供了一种无人机，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述无人机的飞行控制方法所述的步骤。另一方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述无人机的飞行控制方法所述的步骤。本专利技术通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测场景图像中是否存在用户手势，当检测到存在时，通过训练好的手势识别模块识别用户手势对应的控制手势，在预先构建的手势指令字典中将对应的控制手势翻译为无人机的飞行控制指令，根据飞行控制指令对无人机的飞行进行控制，从而实现无人机飞行的手势控制，且无需对摄像头获取的图像进行复杂的预处理，有效地提高了无人机飞行时手势识别的效率和成功率，有效地降低了无人机飞行控制的硬件成本，使得无人机飞行控制更为方便简单。附图说明图1是本专利技术实施例一提供的无人机的飞行控制方法的实现流程图；图2是本专利技术实施例二提供的无人机的飞行控制装置的结构示意图；图3是本专利技术实施例二提供的无人机的飞行控制装置的优选结构示意图；以及图4是本专利技术实施例三提供的无人机的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述：实施例一：图1示出了本专利技术实施例一提供的无人机的飞行控制方法的实现流程，为了便于说明，仅示出了与本专利技术实施例相关的部分，详述如下：在步骤S101中，通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测场景图像中是否存在用户手势。在本专利技术实施例中，将无人机上摄像头拍摄到的场景图像输入预先训练好的深度学习模型中，以通过该深度学习模型提取场景图像的图像特征、并根据图像特征确定场景图像中是否存在(或出现)用户手势，从而直接通过深度学习对场景图像进行特征提取，不需进行复杂的图像处理，例如图像分割，有效地提高了手势识别的效率和识别的准确率。在步骤S102中，当检测到场景图像中的用户手势时，通过训练好的手势识别模型对用户手势进行识别，以确定用户手势在预先构建的控制手势库中对应的控制手势。在本专利技术实施例中，当检测到场景图像中存在(或出现)用户手势时，通过训练好的手势识别模型对用户手势进行识别，以确定用户手势在预先构建的控制手势库中对应的控制手势，训练好的手势识别模型即用于对用户手势进行分类的分类器，控制手势库中包括多种控制手势的特征，例如“右手竖起大拇指”的手势特征、“右手握拳”的手势特征。优选地，摄像头通过云台设置在无人机上，由云台带动摄像头旋转，当摄像头捕捉到出现用户手势的场景图像时，根据用户手势在场景图像中的位置变化，由云台调整摄像头的拍摄角度，使得摄像头始终面向用户手势，从而使得摄像头实时拍摄到用户手势，便于对无人机进行手势控制。在步骤S103中，在预先构建的手势指令字典中将对应的控制手势翻译为无人机的飞行控制指令，根据飞行控制指令对无人机的飞行进行控制。在本专利技术实施例中，手势指令字典中存储着控制手势库中控制手势与预设的飞行控制指令间的对本文档来自技高网...

【技术保护点】
一种无人机的飞行控制方法，其特征在于，所述方法包括下述步骤：通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测所述场景图像中是否存在用户手势；当检测到所述场景图像中的用户手势时，通过训练好的手势识别模型对所述用户手势进行识别，以确定所述用户手势在预先构建的控制手势库中对应的控制手势；在预先构建的手势指令字典中将所述对应的控制手势翻译为所述无人机的飞行控制指令，根据所述飞行控制指令对所述无人机的飞行进行控制。

【技术特征摘要】
1.一种无人机的飞行控制方法，其特征在于，所述方法包括下述步骤：通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测所述场景图像中是否存在用户手势；当检测到所述场景图像中的用户手势时，通过训练好的手势识别模型对所述用户手势进行识别，以确定所述用户手势在预先构建的控制手势库中对应的控制手势；在预先构建的手势指令字典中将所述对应的控制手势翻译为所述无人机的飞行控制指令，根据所述飞行控制指令对所述无人机的飞行进行控制。2.如权利要求1所述的方法，其特征在于，通过无人机上预设的摄像头拍摄当前场景图像的步骤之前，所述方法还包括：通过所述无人机上的所述摄像头拍摄用于训练的手势图像，通过所述深度学习模型对所述用于训练的手势图像进行特征提取，以训练所述深度学习模型；通过预设的分类器对所述提取的特征进行分类训练，将训练得到的所述分类器设置为所述手势识别模型，并生成所述控制手势库；根据所述控制手势库中的控制手势与所述飞行控制指令的对应关系，构建所述手势指令字典。3.如权利要求2所述的方法，其特征在于，通过所述深度学习模型对所述用于训练的手势图像进行特征提取的步骤，包括：通过预设的卷积神经网络与限制玻尔兹曼机联合网络，对所述用于训练的手势图像进行无监督特征提取和有监督特征提取；通过预设的分类器对所述提取的特征进行分类训练的步骤，包括：通过所述分类器对所述无监督特征提取到的图像特征和所述有监督特征提取到的图像特征进行分类训练。4.如权利要求1所述的方法，其特征在于，当检测到所述场景图像中的用户手势时，所述方法还包括：根据所述用户手势在所述场景图像中的位置变化，调整所述摄像头的拍摄角度，以控制所述摄像头始终面向所述用户手势。5.一种无人机的飞行控制装置，其特征在于，所述装置包括：手势检测单元，用于通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测所述场景图像中是否存...

【专利技术属性】
技术研发人员：周翊民，常津津，吕琴，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44