一种无人机监测追踪方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种无人机监测追踪方法、装置、电子设备及存储介质，本发明专利技术通过机器视觉技术来实现追踪目标的自动识别，并可在识别出追踪目标后，在无人机拍摄的图像序列中，实现追踪目标的跟踪处理，从而得到追踪目标在不同时刻时的像素坐标；如此，基于不同时刻时的像素坐标，则可得到追踪目标在不同时刻时的真实位置，而后，基于该真实位置，即可生成无人机的追踪指令，由此，本发明专利技术相比于传统技术，监测效率得到了大幅提高，且无需人工介入跟踪过程，大幅提高了使用的便捷性，基于此，则可适用于在无人机的目标监测跟踪技术领域的大规模应用与推广。用与推广。用与推广。

【技术实现步骤摘要】
一种无人机监测追踪方法、装置、电子设备及存储介质


[0001]本专利技术属于基于无人机的目标识别跟踪
，具体涉及一种无人机监测追踪方法、装置、电子设备及存储介质。

技术介绍

[0002]近年来，无人机系统在农业监控、濒危动物保护、物流运输、抢险救援、疾病监控、地质勘测、电力巡查、采访报道、影视作品拍摄等等方面都有应用，也正是由于其具有适用范围广、使用方式多样等优点，世界各国，尤其是发达国家目前都在积极扩展其应用范围与技术水平。
[0003]对于无人机平台而言，物体的检测、识别以及跟踪对其起到了十分重要的作用，而目前，对于目标的跟踪检测，需要在开始跟踪时，人工对无人机监控图像中的目标进行标记，然后对其进行追踪，同时，在跟踪时，还无法完全脱离手动控制，如此，前述方法则存在以下不足：由于需要人工识别目标物体，以进行标记来实现追踪操作，导致存在监测追踪效率较低的问题，且需要人工介入，其使用便捷性较差；由此，如何提供一种可自动识别出需要跟踪的目标，并可进行自动跟踪的无人机监测追踪方法，已成为一个亟待解决的问题。

技术实现思路

[0004]本专利技术的目的是提供一种无人机监测追踪方法、装置、电子设备及存储介质，用以解决现有技术所存在的监测追踪效率较低，以及使用便捷性较差的问题。
[0005]为了实现上述目的，本专利技术采用以下技术方案：第一方面，提供了一种无人机监测追踪方法，包括：获取无人机在第一时刻拍摄的第一监控图像，并采用目标检测模型，对所述第一监控图像进行目标检测识别处理，以识别出所述第一监控图像中的追踪目标；获取无人机在第二时刻拍摄的第二监控图像，并基于所述第二监控图像，对所述追踪目标进行目标跟踪处理，以得到所述追踪目标在所述第二监控图像中的像素坐标，其中，所述第二时刻处于所述第一时刻之后；获取无人机的飞行姿态参数，并基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，其中，所述真实位置为所述追踪目标在世界坐标系下的坐标；根据所述真实位置，确定出所述追踪目标相对于所述无人机的距离；基于所述追踪目标相对于所述无人机的距离和所述追踪目标的真实位置，生成无人机的追踪指令，以使所述无人机依据所述追踪指令，对所述追踪目标进行追踪监测，其中，所述追踪指令包括无人机的追踪线速度以及无人机的移动位置。
[0006]基于上述公开的内容，本专利技术预先构建有目标检测模型，其中，在实际应用时，只需要将无人机在第一时刻拍摄的第一监控图像输入至该目标检测模型中，即可得到第一监控图像中需要追踪的目标；而后，以该追踪目标为基础，并在下一时刻拍摄到第二监控图像时，在第二监控图像中对该追踪目标进行目标跟踪处理，即可得到其在第二监控图像中的
像素坐标；接着，则可基于无人机的飞行姿态参数和该像素坐标，来实现坐标的转换，也就是将追踪目标的像素坐标，映射至世界坐标系，从而得到追踪目标在第二时刻时的世界坐标（即真实位置）；最后，根据追踪目标的真实位置，即可计算出无人机与追踪目标之间的距离，而基于该距离以及追踪目标的真实位置，即可生成包含有无人机移动位置和追踪线速度的追踪指令；如此，无人机则可基于该指令，来实现追踪目标的跟踪监测。
[0007]通过上述设计，本专利技术构建了目标检测模型，可通过机器视觉技术来实现待追踪目标的自动识别，并可在识别出待追踪目标后，在无人机拍摄的图像序列中，实现待追踪目标的跟踪处理，从而得到待追踪目标在不同时刻时的像素坐标；而后，根据像素坐标，则可得到待追踪目标的世界坐标；最后，基于待追踪目标的世界坐标，即可确定出包含有无人机的移动位置和追踪线速度的追踪指令，如此，基于该指令则可实现目标的自动追踪；由此，本专利技术相比于传统技术，无需人工识别目标物体，以及人工进行标记来实现追踪操作，监测效率得到了大幅提高，且本专利技术实现了无人机对目标的自动跟踪，无需人工介入跟踪过程，大幅提高了使用的便捷性，基于此，则可适用于在无人机的目标监测跟踪
的大规模应用与推广。
[0008]在一个可能的设计中，所述目标检测模型是以样本追踪目标的海量样本监控图像为输入，每个样本监控图像的目标检测识别结果为输出而训练得到的，其中，任一样本监控图像的目标检测识别结果包括对所述样本追踪目标的分类预测概率值，所述样本追踪目标在所述任一样本监控图像中的预测像素坐标，以及所述样本追踪目标在所述任一样本监控图像中所处先验框的预测宽度和预测高度；其中，所述目标检测模型的训练损失函数为：（1）上述公式（1）中，表示所述训练损失函数，表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的坐标误差函数，表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的先验框标定误差函数，和均表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的检测置信度误差函数，表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的目标识别误差函数。
[0009]在一个可能的设计中，所述坐标误差函数、所述先验框标定误差函数、所述目标识别误差函数以及两检测置信度误差函数，依次采用如下述公式（2）、公式（3）、公式（4）、公式（5）和公式（6）来计算得出；（2）（3）（4）
（5）（6）上述公式（2）中，表示所述目标检测模型在以所述任一样本监控图像为输入进行训练时，所述目标检测模型在所述任一样本监控图像中的第n个网格的第m个先验框内进行所述样本追踪目标的目标检测的置信度，为所述目标检测模型将所述任一样本监控图像进行网格划分时所得到的网格总数，表示第n个网格中的先验框总数，表示所述样本追踪目标所在先验框的真实宽度，表示所述样本追踪目标所在先验框的真实高度，，依次表示所述样本追踪目标的真实像素坐标中的横坐标和纵坐标，，依次表示所述样本追踪目标的预测像素坐标中的横坐标和纵坐标；上述公式（3）中，表示损失权重，表示所述样本追踪目标所在先验框的预测宽度，表示所述样本追踪目标所在先验框的预测高度；上述公式（4）中，表示所述样本追踪目标属于类别s的分类预测概率值，表示所述样本追踪目标属于类别s的分类实际概率值，S表示类别集合；上述公式（5）和公式（6）中，表示所述第n个网格的第m个先验框内存在有所述样本追踪目标的预测概率，表示所述第n个网格的第m个先验框内存在有所述样本追踪目标的真实概率。
[0010]在一个可能的设计中，所述飞行姿态参数包括：所述无人机的偏航角、俯仰角以及横滚角；其中，基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，包括：基于所述无人机的偏航角、俯仰角以及横滚角，构建出所述无人机的机身坐标系相对于世界坐标系的坐标变换矩阵；获取无人机上摄像头的内参矩阵，并对所述内参矩阵进行校正处理，以得到校正内参矩阵；依据所述校正内参矩阵、所述坐标变换矩阵以及所述像素坐标，计算出所述追踪目标的真实位置。
[0011]在一个可能的设计中，对所述内参矩阵进行校正处理，以得到校正内参矩阵，包括：获取无人机上摄像头的标定角度，基于所述标定角度，并按照如下公式（7）本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机监测追踪方法，其特征在于，包括：获取无人机在第一时刻拍摄的第一监控图像，并采用目标检测模型，对所述第一监控图像进行目标检测识别处理，以识别出所述第一监控图像中的追踪目标；获取无人机在第二时刻拍摄的第二监控图像，并基于所述第二监控图像，对所述追踪目标进行目标跟踪处理，以得到所述追踪目标在所述第二监控图像中的像素坐标，其中，所述第二时刻处于所述第一时刻之后；获取无人机的飞行姿态参数，并基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，其中，所述真实位置为所述追踪目标在世界坐标系下的坐标；根据所述真实位置，确定出所述追踪目标相对于所述无人机的距离；基于所述追踪目标相对于所述无人机的距离和所述追踪目标的真实位置，生成无人机的追踪指令，以使所述无人机依据所述追踪指令，对所述追踪目标进行追踪监测，其中，所述追踪指令包括无人机的追踪线速度以及无人机的移动位置。2.根据权利要求1所述的方法，其特征在于，所述目标检测模型是以样本追踪目标的海量样本监控图像为输入，每个样本监控图像的目标检测识别结果为输出而训练得到的，其中，任一样本监控图像的目标检测识别结果包括对所述样本追踪目标的分类预测概率值，所述样本追踪目标在所述任一样本监控图像中的预测像素坐标，以及所述样本追踪目标在所述任一样本监控图像中所处先验框的预测宽度和预测高度；其中，所述目标检测模型的训练损失函数为：（1）上述公式（1）中，表示所述训练损失函数，表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的坐标误差函数，表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的先验框标定误差函数，和均表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的检测置信度误差函数，表示所述目标检测模型对所述任一样本监控图像中的样本追踪目标进行目标检测识别时的目标识别误差函数。3. 根据权利要求2所述的方法，其特征在于，所述坐标误差函数、所述先验框标定误差函数、所述目标识别误差函数以及两检测置信度误差函数，依次采用如下述公式（2）、公式（3）、公式（4）、公式（5）和公式（6）来计算得出； （2）（3）（4） （5）
ꢀ
（6）上述公式（2）中，表示所述目标检测模型在以所述任一样本监控图像为输入进行训练时，所述目标检测模型在所述任一样本监控图像中的第n个网格的第m个先验框内进行所述样本追踪目标的目标检测的置信度，为所述目标检测模型将所述任一样本监控图像进行网格划分时所得到的网格总数，表示第n个网格中的先验框总数，表示所述样本追踪目标所在先验框的真实宽度，表示所述样本追踪目标所在先验框的真实高度，，依次表示所述样本追踪目标的真实像素坐标中的横坐标和纵坐标，，依次表示所述样本追踪目标的预测像素坐标中的横坐标和纵坐标；上述公式（3）中，表示损失权重，表示所述样本追踪目标所在先验框的预测宽度，表示所述样本追踪目标所在先验框的预测高度；上述公式（4）中，表示所述样本追踪目标属于类别s的分类预测概率值，表示所述样本追踪目标属于类别s的分类实际概率值，S表示类别集合；上述公式（5）和公式（6）中，表示所述第n个网格的第m个先验框内存在有所述样本追踪目标的预测概率，表示所述第n个网格的第m个先验框内存在有所述样本追踪目标的真实概率。4.根据权利要求1所述的方法，其特征在于，所述飞行姿态参数包括：所述无人机的偏航角、俯仰角以及横滚角；其中，基于所述飞行姿态参数以及所述像素坐标，确定出所述追踪目标的真实位置，包括：基于所述无人机的偏航角、俯仰角以及横滚角，构建出所述无人机的机身坐标系相对于世界坐标系的坐标变换矩阵；获取无人机上摄像头的内参...

【专利技术属性】
技术研发人员：李国庆，刘臣，刘兵，刘家锟，
申请(专利权)人：成都庆龙航空科技有限公司，
类型：发明
国别省市：