无人机的目标跟踪方法、装置、无人机及存储介质制造方法及图纸

本发明专利技术适用计算机技术领域，提供了一种无人机的目标跟踪方法、装置、设备及存储介质，该方法包括：通过无人机上的光线传感器获取无人机飞行环境的光线强度，通过与该光线强度对应的视觉传感器获取场景图像，根据目标检测模型和目标识别模型，检测并识别场景图像是否存在跟踪目标，当存在时，将场景图像、无人机的位置信息、跟踪目标的相对移动速度和无人机的移动速度进行融合，生成融合后的、跟踪目标的传感数据，将传感数据发送到无人机的控制设备，根据无人机的控制设备返回的飞行控制指令对无人机进行飞行控制，从而有效地提高了无人机目标跟踪的定位准确度，有效地提高了无人机目标跟踪的准确度和全面性。

Target tracking method, device, unmanned aerial vehicle and storage medium for UAV

The invention is applied to computer technology, tracking method, a UAV target device, and storage medium are provided. The method includes: by light sensor acquisition on light intensity UAV UAV flight environment, through visual sensors to obtain the scene image corresponding to the light intensity, according to the model and target detection model of target recognition, detection and identification of the existence of scene image target tracking, when present, the scene image, the UAV position information and tracking the relative movement speed and movement speed of UAV fusion, target tracking sensor data generated after fusion, sensor data is sent to the control equipment of UAV according to the control equipment, the UAV flight control command for flight control of the UAV, which effectively improves the unmanned The accuracy and accuracy of the target tracking can effectively improve the accuracy and comprehensiveness of the unmanned aerial vehicle (UAV) target tracking.

【技术实现步骤摘要】
无人机的目标跟踪方法、装置、无人机及存储介质
本专利技术属于无人机
，尤其涉及一种无人机的目标跟踪方法、装置、无人机及存储介质。
技术介绍
无人机以其无人化、造价低、灵活机动的特点，逐渐取代大型载人侦察机成为战场前沿最主要的侦察力量，在对嫌疑目标进行跟踪时，相较于传统的跟踪方式，无人机在效率和可靠性上有着无以比拟的天然优势，具体表现在无人机的体型较小，可进入因环境本身存在危险性和复杂性而难以进入的区域并执行侦探目标任务，无人机还可在短时间内针对较大区域范围内的信息进行搜集，一定程度地保证了信息获取的实时性。在无人机的侦察技术实现方面，无人机基于摄影测量、图像处理和信息处理等技术来确定嫌疑目标，计算嫌疑目标的运动变化规律并分析该规律的属性，分析嫌疑目标对周围其他对象的相关制约、相互影响的关系，最终能够预判嫌疑目标的威胁和意图。无人机在执行侦察飞行任务时，地面操作人员在昼夜以及不良气候的条件下，可以通过控制系统克服无人机在飞行过程中的振动或其他外部干扰，通过GPS实时得出目标准确实时的三维位置坐标。目前，针对无人机的目标检测，研究人员已提出了SURF特征稳像和光流法向量相结合的方法、基于四个形态边缘滤波器快速检测航拍图像目标的方法、基于中值背景差分的目标检测方法、以及利用背景消除和背景配准技巧来识别目标的方法，这些方法大多基于Haar-like、SURF、HoG、Harris角点、SIFT等特征进行目标识别。然而，SURF特征稳像和光流法向量相结合的方法适用于背景像素移动的情形，对目标静止情形并不适用；基于四个形态边缘滤波器快速检测航拍图像目标的方法仅仅基于形状进行目标检测，易产生过拟合现象；基于中值背景差分的目标检测方法采用中值差分算法，导致目标的速度越大检测出的区域越大；利用背景消除和背景配准技巧来识别目标的方法对场景的要求较高，场景变化太大会对该方法的目标识别结果产生较大的影响。由于无人机视频场景复杂，现有的目标检测算法仍无法适用于所有情况，尤其地，当环境光很弱或是在夜晚，目标检测的准确率和全面性均有待提高。
技术实现思路
本专利技术的目的在于提供一种无人机的目标跟踪方法、装置、无人机及存储介质，旨在解决现有无人机目标跟踪方法中目标检测的准确度不高，导致无人机适用场景有限的问题。一方面，本专利技术提供了一种无人机的目标跟踪方法，所述方法包括下述步骤：通过无人机上预设的光线传感器获取所述无人机飞行环境的光线强度，将所述无人机上的视觉传感器切换为与所述光线强度对应的视觉传感器；通过所述视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别所述场景图像中是否存在预设的跟踪目标；当在所述场景图像中检测到所述跟踪目标时，获取所述无人机的位置信息，并通过所述无人机上预设的测速传感器、预设的光流传感器分别测量所述跟踪目标的相对移动速度和所述无人机的移动速度；将所述场景图像、所述无人机的位置信息、所述跟踪目标的相对移动速度和所述无人机的移动速度进行融合，得到融合后的、所述跟踪目标的传感数据；将所述传感数据发送给所述无人机的控制设备，接收所述控制设备返回的飞行控制指令，通过所述飞行控制指令对所述无人机进行飞行控制。另一方面，本专利技术提供了一种无人机的目标跟踪装置，所述装置包括：视觉传感器切换单元，用于通过无人机上预设的光线传感器获取所述无人机飞行环境的光线强度，将所述无人机上的视觉传感器切换为与所述光线强度对应的视觉传感器；目标检测识别单元，用于通过所述视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别所述场景图像中是否存在预设的跟踪目标；速度位置测量单元，用于当在所述场景图像中检测到所述跟踪目标时，获取所述无人机的位置信息，并通过所述无人机上预设的测速传感器、预设的光流传感器分别测量所述跟踪目标的相对移动速度和所述无人机的移动速度；数据融合单元，用于将所述场景图像、所述无人机的位置信息、所述跟踪目标的相对移动速度、所述无人机的移动速度和所述无人机的位置信息进行融合，得到融合后的、所述跟踪目标的传感数据；以及飞行控制单元，用于将所述传感数据发送给所述无人机的控制设备，接收所述控制设备返回的飞行控制指令，通过所述飞行控制指令对所述无人机进行飞行控制。另一方面，本专利技术还提供了一种无人机，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述无人机的目标跟踪方法所述的步骤。另一方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述无人机的目标跟踪方法所述的步骤。本专利技术通过无人机上的光线传感器获取当前飞行环境的光线强度，将无人机上的视觉传感器切换为与该光线强度对应的视觉传感器，使得无人机能够进行24小时实时的目标检测和目标跟踪，提高了无人机目标跟踪的全面性，将无人机的位置信息、视觉传感器获取的视觉信息、跟踪目标相对于无人机的移动速度和无人机的移动速度进行融合，以便无人机的控制设备根据融合后的数据对无人机进行飞行控制，从而通过多传感器数据的融合不仅实现了无人机动态实时的目标跟踪，而且有效地提高了无人机目标跟踪的准确度。附图说明图1是本专利技术实施例一提供的无人机的目标跟踪方法的实现流程图；图2是本专利技术实施例二提供的无人机的目标跟踪装置的结构示意图；图3是本专利技术实施例二提供的无人机的目标跟踪装置的优选结构示意图；以及图4是本专利技术实施例三提供的无人机的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述：实施例一：图1示出了本专利技术实施例一提供的无人机的目标跟踪方法的实现流程，为了便于说明，仅示出了与本专利技术实施例相关的部分，详述如下：在步骤S101中，通过无人机上预设的光线传感器获取无人机飞行环境的光线强度，将无人机上的视觉传感器切换为与该光线强度对应的视觉传感器。在本专利技术实施例中，由于无人机进行目标跟踪的环境比较复杂，尤其在进行24小时的目标跟踪时，环境中的光线强度变化明显，因此可通过无人机上预设的光线传感器采集无人机飞行环境的光线信号，并将采集到的光线信号转换为电信号，通过电信号对无人机上的视觉传感器进行切换，从而将无人机上的视觉传感器切换为适宜无人机飞行环境光线强度的视觉传感器。其中，光线强度为光线信号的强弱程度。优选地，无人机上的视觉传感器包括变焦彩色相机和变焦红外相机，变焦彩色相机适宜在光线比较充足的环境中使用，变焦红外相机适宜在光线较暗或没有光线的环境中使用，当光线传感器采集到的光线信号的强度超过预设的强度阈值时，将无人机上的视觉传感器切换为变焦彩色相机，否则切换为变焦红外相机，从而有效解决无人机目标跟踪对环境光线要求较高的问题，使得无人机能够进行24小时实时的目标跟踪。在步骤S102中，通过视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别场景图像中是否存在预设的跟踪目标。在本专利技术实施例中，可通过切换后的视觉传感器获取无人机所在环境的场景图本文档来自技高网...

【技术保护点】
一种无人机的目标跟踪方法，其特征在于，所述方法包括下述步骤：通过无人机上预设的光线传感器获取所述无人机飞行环境的光线强度，将所述无人机上的视觉传感器切换为与所述光线强度对应的视觉传感器；通过所述视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别所述场景图像中是否存在预设的跟踪目标；当在所述场景图像中检测到所述跟踪目标时，获取所述无人机的位置信息，并通过所述无人机上预设的测速传感器、预设的光流传感器分别测量所述跟踪目标的相对移动速度和所述无人机的移动速度；将所述场景图像、所述无人机的位置信息、所述跟踪目标的相对移动速度和所述无人机的移动速度进行融合，得到融合后的、所述跟踪目标的传感数据；将所述传感数据发送给所述无人机的控制设备，接收所述控制设备返回的飞行控制指令，通过所述飞行控制指令对所述无人机进行飞行控制。

【技术特征摘要】
1.一种无人机的目标跟踪方法，其特征在于，所述方法包括下述步骤：通过无人机上预设的光线传感器获取所述无人机飞行环境的光线强度，将所述无人机上的视觉传感器切换为与所述光线强度对应的视觉传感器；通过所述视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别所述场景图像中是否存在预设的跟踪目标；当在所述场景图像中检测到所述跟踪目标时，获取所述无人机的位置信息，并通过所述无人机上预设的测速传感器、预设的光流传感器分别测量所述跟踪目标的相对移动速度和所述无人机的移动速度；将所述场景图像、所述无人机的位置信息、所述跟踪目标的相对移动速度和所述无人机的移动速度进行融合，得到融合后的、所述跟踪目标的传感数据；将所述传感数据发送给所述无人机的控制设备，接收所述控制设备返回的飞行控制指令，通过所述飞行控制指令对所述无人机进行飞行控制。2.如权利1所述的方法，其特征在于，通过无人机上预设的光线传感器获取所述无人机飞行环境的光线强度，将所述无人机上的视觉传感器切换为与所述光线强度对应的视觉传感器的步骤，包括：通过所述无人机上的所述光线传感器采集所述无人机飞行环境的光线强度，检测所述光线强度是否超过预设的强度阈值；当所述光线强度超过所述强度阈值时，将所述无人机上的视觉传感器切换为所述无人机上预设的变焦彩色相机，否则，将所述无人机上的视觉传感器切换为所述无人机上预设的变焦红外相机。3.如权利要求2所述的方法，其特征在于，检测并识别所述场景图像中是否存在预设的跟踪目标的步骤之后，获取所述无人机的位置信息，并通过所述无人机上预设的测速传感器、预设的光流传感器分别测量所述跟踪目标的相对移动速度和所述无人机的移动速度的步骤之前，所述方法还包括：当在所述场景图像中检测到所述跟踪目标时，将所述跟踪目标的识别信息发送给所述控制设备；当接收到所述控制设备返回的跟踪指令时，将所述跟踪目标添加到预设的跟踪列表中，以对所述跟踪目标进行跟踪。4.如权利要求1所述的方法，其特征在于，通过所述视觉传感器获取场景图像，根据训练好的目标检测模型和目标识别模型，检测并识别所述场景图像中是否存在预设的跟踪目标的步骤，包括：提取所述场景图像的图像特征，通过所述目标检测模型和所述图像特征，检测所述场景图像中是否存在预设的感兴趣目标；当检测到所述场景图像中存在所述感兴趣目标时，通过所述目标识别模型识别所述感兴趣目标中是否存在所述跟踪目标。5.如权利要求1所述的方法，其特征在于，将所...

【专利技术属性】
技术研发人员：周翊民，王欣，吕琴，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44