一种基于视觉的无人机跟随飞行的控制方法及系统技术方案

本发明专利技术提供了一种基于视觉的无人机跟随飞行的控制方法及系统，该方法包括：在建立智能手机与无人机通信连接之后，智能手机发送一键起飞指令给无人机，以便无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标；智能手机获取无人机传送的对跟随目标进行跟随拍摄的图像或者视频，并在图像或者视频流中识别跟随目标的实时位置和大小的变化，以便得到跟随目标的运动方向；智能手机根据跟随目标的运动方向计算无人机保持跟随航线方向需要的控制分量；智能手机根据计算得到的无人机的控制分量，发送与无人机的控制分量对应的飞行控制指令给无人机，从而在智能手机上实现了无人机的视觉跟踪和图像识别功能。

A vision based control method and system for UAV following flight

The invention provides a vision-based control method and system for UAV follow-up flight. The method includes: after establishing a communication connection between smart phone and UAV, the smart phone sends a key take-off instruction to the UAV so that the UAV can take-off according to the instruction, and automatically lock the follow in the UAV vision. Target; Smartphone acquires the image or video transmitted by UAV to follow the target, and recognizes the real-time position and size changes of the target in the image or video stream, so as to get the direction of the target to follow; Smartphone calculates the UAV to keep following according to the direction of the target's movement. According to the control component of the UAV, the smart phone sends flight control instructions corresponding to the control component of the UAV to the UAV, thus realizing the visual tracking and image recognition function of the UAV on the smart phone.

【技术实现步骤摘要】
一种基于视觉的无人机跟随飞行的控制方法及系统
本专利技术涉及无人机
，尤其涉及一种基于视觉的无人机跟随飞行的控制方法及系统。
技术介绍
无人机用于航拍已经得到广泛应用，目前已有跟踪目标对象进行拍摄的无人机，其主要原理是利用视觉跟踪系统，通过拍摄装置判断和识别目标对象，然后根据识别目标对象的移动轨迹来实现航迹追踪，跟随拍摄。无人机视觉跟踪涉及复杂的视觉跟踪算法及飞行控制系统，比如航拍过程中，为了实时看到拍摄效果，需要配置图像数据处理系统，将无人机的图像数据实时传输到地面端，再通过地面端的显示设备显示出来，为了能把无人机的实时图像数据传输到地面端，首先需要对图像数据进行压缩，通常采用H.264编码算法，然后把压缩后的图像数据通过无线链路传输到地面端。但是，上述无人机的视觉跟踪和图像识别功能要求无人机的主控芯片具有先进的处理能力，如四核芯片，只有无人机采用如四核芯片才能启动运行无人机的视觉跟踪和图像识别功能，现有很多无人机的主控芯片是单核芯片，甚至是ARM9处理芯片，这样，这些主控芯片为单核芯片或者ARM9处理芯片的无人机无法正常运行上述的无人机的视觉跟踪和图像识别功能。
技术实现思路
本专利技术的目的在于克服上述现有技术的不足，提供一种基于视觉的无人机跟随飞行的控制方法及系统，无人机航拍的图像或者视频流可传送给智能手机，从而在智能手机上实现视觉跟踪和图像识别功能，旨在解决现有的主控芯片为单核芯片或者ARM9处理芯片的无人机无法正常运行无人机的视觉跟踪和图像识别功能的技术问题。本专利技术是这样实现的，一种基于视觉的无人机跟随飞行的控制方法，包括如下步骤：建立智能手机与无人机通信连接；所述智能手机发送一键起飞指令给所述无人机，以便所述无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向；所述智能手机根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所述需要的控制分量，以便调整所述无人机的飞行姿态，确保所述无人机持续跟随所述跟随目标，其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；所述智能手机根据计算得到的所述无人机的控制分量，发送与所述无人机的控制分量对应的飞行控制指令给所述无人机，以便所述无人机根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标。进一步地，所述建立智能手机与无人机通信连接的步骤包括：所述智能手机通过蓝牙或者WIFI或者zigbee与所述无人机建立通信连接。进一步地，所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向的步骤包括：所述智能手机获取所述无人机通过其安装的红外成像仪实时采集跟随目标的红外图像，并在所述红外图像中识别出跟随目标的实时位置和大小，并对跟随目标进行运动跟踪处理，得到跟随目标的运动方向；或者，所述智能手机获取所述无人机通过其安装的云台相机连续拍摄的多帧实时图像，并在所述多帧实时图像中识别出跟随目标的实时位置和大小，通过跟随目标在前后两帧图像中的不同位置判定跟随目标的运动方向。进一步地，所述无人机的飞行姿势包括前进、后退、左移、右移、左右转弯、悬停、翻转、上升及下降。相应地，本专利技术还提供了一种基于视觉的无人机跟随飞行的控制方法，包括如下步骤：建立智能手机与无人机通信连接；所述无人机接收所述智能手机发送的一键起飞指令，并根据该指令指示起飞，自动锁定无人机视觉内的跟随目标，保持定点悬停；所述无人机对所述跟随目标进行跟随拍摄，并将跟随拍摄的图像或者视频传送给所述智能手机，以便所述智能手机在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，得到所述跟随目标的运动方向，进而根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所需要的控制分量；其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；所述无人机接收所述智能手机发送的飞行控制指令，并根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，其中，所述飞行控制指令是所述智能手机是根据计算得到的所述无人机的控制分量发送的与所述无人机的控制分量对应的飞行控制指令。进一步地，所述建立智能手机与无人机通信连接的步骤包括：所述智能手机通过蓝牙或者WIFI或者zigbee与所述无人机建立通信连接。进一步地，所述无人机对所述跟随目标进行跟随拍摄的步骤包括：所述无人机通过其安装的红外成像仪实时采集跟随目标的红外图像；或者，所述无人机通过其安装的云台相机连续拍摄的多帧实时图像。进一步地，所述无人机的飞行姿势包括前进、后退、左移、右移、左右转弯、悬停、翻转、上升及下降。相应地，本专利技术还提供了一种基于视觉的无人机跟随飞行的控制系统，包括无人机及与所述无人机通信连接的智能手机，其中，所述智能手机发送一键起飞指令给所述无人机，以便所述无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向；所述智能手机根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所述需要的控制分量，以便调整所述无人机的飞行姿态，确保所述无人机持续跟随所述跟随目标，其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；所述智能手机根据计算得到的所述无人机的控制分量，发送与所述无人机的控制分量飞行控制指令给所述无人机，以便所述无人机根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标；所述无人机接收所述智能手机发送的一键起飞指令，并根据该指令指示起飞，自动锁定无人机视觉内的跟随目标，保持定点悬停；所述无人机对所述跟随目标进行跟随拍摄，并将跟随拍摄的图像或者视频传送给所述智能手机，以便所述智能手机在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，得到所述跟随目标的运动方向，进而根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所述需要的控制分量；所述无人机接收所述智能手机发送的飞行控制指令，并根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，其中，所述飞行控制指令是智能手机根据计算得到的所述无人机的控制分量发送的本专利技术的有益效果为：本专利技术实施例提供的基于视觉的无人机跟随飞行的控制方法，在建立智能手机与无人机通信连接之后，智能手机发送一键起飞指令给无人机，以便无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；智能手机获取无人机传送的对跟随目标进行跟随拍摄的图像或者视频，并在图像或者视频流中识别跟随目标的实时位置和大小的变化，以便得到跟随目标的运动方向；智能手机根据跟随目标的运动方向计算无人机保持跟随航线方向需要的控制分量，以便调整无人机的飞行姿态，确保所无人机持续跟随跟随目标；智能手机根据计算得到的无人机的控制分量，发送与无人机的控制分量对应的飞行控制指令给无人机，以便无人机根据飞行控制指令调本文档来自技高网...

【技术保护点】
1.一种基于视觉的无人机跟随飞行的控制方法，其特征在于，包括如下步骤：建立智能手机与无人机通信连接；所述智能手机发送一键起飞指令给所述无人机，以便所述无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向；所述智能手机根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所需要的控制分量，以便调整所述无人机的飞行姿态，确保所述无人机持续跟随所述跟随目标；其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；所述智能手机根据计算得到的所述无人机的控制分量，发送与所述无人机的控制分量对应的飞行控制指令给所述无人机，以便所述无人机根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标。

【技术特征摘要】
1.一种基于视觉的无人机跟随飞行的控制方法，其特征在于，包括如下步骤：建立智能手机与无人机通信连接；所述智能手机发送一键起飞指令给所述无人机，以便所述无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向；所述智能手机根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所需要的控制分量，以便调整所述无人机的飞行姿态，确保所述无人机持续跟随所述跟随目标；其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；所述智能手机根据计算得到的所述无人机的控制分量，发送与所述无人机的控制分量对应的飞行控制指令给所述无人机，以便所述无人机根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标。2.根据权利要求1所述一种基于视觉的无人机跟随飞行的控制方法，其特征在于，所述建立智能手机与无人机通信连接的步骤包括：所述智能手机通过蓝牙或者WIFI或者zigbee与所述无人机建立通信连接。3.根据权利要求1所述一种基于视觉的无人机跟随飞行的控制方法，其特征在于，所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向的步骤包括：所述智能手机获取所述无人机通过其安装的红外成像仪实时采集跟随目标的红外图像，并在所述红外图像中识别出跟随目标的实时位置和大小，并对跟随目标进行运动跟踪处理，得到跟随目标的运动方向；或者，所述智能手机获取所述无人机通过其安装的云台相机连续拍摄的多帧实时图像，并在所述多帧实时图像中识别出跟随目标的实时位置和大小，通过跟随目标在前后两帧图像中的不同位置判定跟随目标的运动方向。4.根据权利要求1所述一种基于视觉的无人机跟随飞行的控制方法，其特征在于，所述无人机的飞行姿势包括前进、后退、左移、右移、左右转弯、悬停、翻转、上升及下降。5.一种基于视觉的无人机跟随飞行的控制方法，其特征在于，包括如下步骤：建立智能手机与无人机通信连接；所述无人机接收所述智能手机发送的一键起飞指令，并根据该指令指示起飞，自动锁定无人机视觉内的跟随目标，保持定点悬停；所述无人机对所述跟随目标进行跟随拍摄，并将跟随拍摄的图像或者视频传送给所述智能手机，以便所述智能手机在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，得到所述跟随目标的运动方向，进而根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所需要的控制...

【专利技术属性】
技术研发人员：汪玉龙，麦武裕，
申请(专利权)人：深圳市乐为创新科技有限公司，
类型：发明
国别省市：广东,44