无人机云台控制方法、装置、系统、计算机装置及介质制造方法及图纸

本发明专利技术提供了一种无人机云台控制方法、装置、系统、计算机装置及介质，涉及无人机控制技术领域，包括：获取云台相机采集的图像帧集合；将预设的目标物类别文本和图像帧集合中的指定图像帧发送至服务器端，以使服务器端通过目标检测模型，基于目标物类别文本和指定图像帧确定第一目标物检测框；通过目标跟踪模型，基于图像帧集合和第一目标物检测框确定目标物实时跟踪坐标；基于目标物实时跟踪坐标对云台相机进行控制，以使目标物位于云台相机采集的图像帧中的指定区域。本发明专利技术可以实时地对目标物进行跟踪，还可以对无人机端搭载的云台相机进行自动控制。进行自动控制。进行自动控制。

【技术实现步骤摘要】
无人机云台控制方法、装置、系统、计算机装置及介质


[0001]本专利技术涉及无人机控制
，尤其是涉及一种无人机云台控制方法、装置、系统、计算机装置及介质。

技术介绍

[0002]无人机在目标巡检和目标追踪过程中通常会面临各种各样的场景以及目标物，通常通过传统的闭集目标检测方法或大模型目标检测方法。其中，传统的闭集目标检测方法例如YOLOV5、Faster
‑
RCNN（Faster
‑
region with CNN features）等模型，只能检测预先定义的目标类别，且模型是基于特定领域和特定任务的数据集所做的训练，因此导致该方法通用性差；大模型目标检测方法由于参数量巨大，无法满足无人机的Jetson Xavier NX等显存资源有限的端侧平台上的实时应用场景。综上所述，传统的闭集目标检测方法和大模型目标检测方法均无法满足无人机的实时巡检以及实时追踪应用场景。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种无人机云台控制方法、装置、系统、计算机装置及介质，可以实时地对目标物进行跟踪，还可以对无人机端搭载的云台相机进行自动控制。
[0004]第一方面，本专利技术实施例提供了一种无人机云台控制方法，所述方法应用于无人机端，所述无人机端搭载有云台相机，所述无人机端与服务器端通信连接，所述无人机端部署有目标跟踪模型，所述服务器端部署有目标检测模型，所述方法包括：获取所述云台相机采集的图像帧集合；将预设的目标物类别文本和所述图像帧集合中的指定图像帧发送至所述服务器端，以使所述服务器端通过所述目标检测模型，基于所述目标物类别文本和所述指定图像帧确定第一目标物检测框；通过所述目标跟踪模型，基于所述图像帧集合和所述第一目标物检测框确定目标物实时跟踪坐标；基于所述目标物实时跟踪坐标对所述云台相机进行控制，以使目标物位于所述云台相机采集的图像帧中的指定区域。
[0005]在一种实施方式中，所述目标检测模型包括大模型目标检测模型；将预设的目标物类别文本和所述图像帧集合中的指定图像帧发送至所述服务器端，以使所述服务器端通过所述目标检测模型，基于所述目标物类别文本和所述指定图像帧确定第一目标物检测框的步骤，包括：基于预设的目标物类别文本和所述图像帧集合中的指定图像帧，向所述服务器端发送目标检测请求，以使所述服务器端接收到所述目标检测请求时，调用所述大模型目标检测模型，并针对所述目标物类别文本和所述指定图像帧反馈第一目标物检测框。
[0006]在一种实施方式中，通过所述目标跟踪模型，基于所述图像帧集合和所述第一目
标物检测框确定目标物实时跟踪坐标的步骤，包括：基于所述第一目标物检测框确定模板区域；以及基于所述图像帧集合或者所述第一目标物检测框确定搜索区域；通过所述目标跟踪模型，基于所述模板区域和所述搜索区域，确定所述图像帧集合中当前图像帧包含的至少一个候选检测框，以及每个所述候选检测框对应的位置信息和置信度信息；其中，所述置信度信息用于表征所述候选检测框属于所述目标物的概率值；基于所述置信度信息从所述候选检测框中，确定所述当前图像帧对应的第二目标物检测框和所述第二目标物检测框对应的目标属性信息；其中，所述目标属性信息包括中心点和目标尺寸信息；根据所述第二目标物检测框对应的目标属性信息，确定目标物实时跟踪坐标。
[0007]在一种实施方式中，基于所述第一目标物检测框确定模板区域的步骤，包括：根据预设的第一尺寸信息，以所述第一目标物检测框的指定点为中心，在所述指定图像帧中截取模板区域；基于所述图像帧集合或者所述第一目标物检测框确定搜索区域的步骤，包括：如果所述当前图像帧为第二帧图像帧，则根据预设的第二尺寸信息，以所述第一目标物检测框的指定点为中心，在所述指定图像帧中截取搜索区域；或者，如果所述当前图像帧为除所述第二帧图像帧之外的其他图像帧，则根据所述第二尺寸信息，以前一图像帧对应的所述第二目标物检测框的所述指定点为中心，在所述当前图像帧中截取搜索区域。
[0008]在一种实施方式中，所述目标跟踪模型包括特征提取单元和置信度预测单元，所述置信度预测单元包括第一分支和第二分支；通过所述目标跟踪模型，基于所述模板区域和所述搜索区域，确定所述图像帧集合中当前图像帧包含的至少一个候选检测框，以及每个所述候选检测框对应的位置信息和置信度信息的步骤，包括：通过所述特征提取单元，提取所述模板区域的模板特征信息和所述搜索区域的搜索特征信息；通过所述置信度预测单元中的所述第一分支，基于所述模板特征信息和所述搜索特征信息，确定当前图像帧包含的每个所述候选检测框对应的位置信息；以及通过所述置信度预测单元中的所述第二分支，基于所述模板特征信息和所述搜索特征信息，确定所述当前图像帧包含的每个所述候选检测框对应的置信度信息。
[0009]在一种实施方式中，基于所述置信度信息从所述候选检测框中，确定所述当前图像帧对应的第二目标物检测框和所述第二目标物检测框对应的目标属性信息的步骤，包括：根据每个所述候选检测框与所述当前图像帧的中心点之间的距离，对每个所述候选检测框对应的所述置信度信息进行调整，得到每个所述候选检测框对应的目标置信度信息；按照所述目标置信度信息从高到低的顺序，从所述候选检测框中确定所述当前图像帧对应的第二目标物检测框和所述第二目标物检测框的初始属性信息；对所述当前图像帧对应的第二目标物检测框的所述初始属性信息进行调整，得到
所述当前图像帧对应的第二目标物检测框的目标属性信息。
[0010]在一种实施方式中，对所述当前图像帧对应的第二目标物检测框的所述初始属性信息进行调整，得到所述当前图像帧对应的第二目标物检测框的目标属性信息的步骤，包括：对前一图像帧对应的所述第二目标物检测框的目标尺寸信息，和所述当前图像帧对应的所述目标物检测框的初始尺寸信息，进行平滑加权处理，得到所述当前图像帧对应的所述第二目标物检测框的目标尺寸信息。
[0011]第二方面，本专利技术实施例还提供一种无人机云台控制装置，所述装置应用于无人机端，所述无人机端搭载有云台相机，所述无人机端与服务器端通信连接，所述无人机端部署有目标跟踪模型，所述服务器端部署有目标检测模型，所述装置包括：图像获取模块，用于获取所述云台相机采集的图像帧集合；目标检测模块，用于将预设的目标物类别文本和所述图像帧集合中的指定图像帧发送至所述服务器端，以使所述服务器端通过所述目标检测模型，基于所述目标物类别文本和所述指定图像帧确定第一目标物检测框；目标跟踪模块，用于通过所述目标跟踪模型，基于所述图像帧集合和所述第一目标物检测框确定目标物实时跟踪坐标；云台控制模块，用于基于所述目标物实时跟踪坐标对所述云台相机进行控制，以使目标物位于所述云台相机采集的图像帧中的指定区域。
[0012]第三方面，本专利技术实施例还提供一种无人机云台控制系统，包括无人机端和服务器端，所述无人机端与所述服务器端通信连接；其中，所述无人机端搭载有云台相机，所述无人机端部署有目标跟踪模型，所述无人机端用于执行第一方面提供的任一项所述的方法；所述服务器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机云台控制方法，其特征在于，所述方法应用于无人机端，所述无人机端搭载有云台相机，所述无人机端与服务器端通信连接，所述无人机端部署有目标跟踪模型，所述服务器端部署有目标检测模型，所述方法包括：获取所述云台相机采集的图像帧集合；将预设的目标物类别文本和所述图像帧集合中的指定图像帧发送至所述服务器端，以使所述服务器端通过所述目标检测模型，基于所述目标物类别文本和所述指定图像帧确定第一目标物检测框；通过所述目标跟踪模型，基于所述图像帧集合和所述第一目标物检测框确定目标物实时跟踪坐标；基于所述目标物实时跟踪坐标对所述云台相机进行控制，以使目标物位于所述云台相机采集的图像帧中的指定区域。2.根据权利要求1所述的无人机云台控制方法，其特征在于，所述目标检测模型包括大模型目标检测模型；将预设的目标物类别文本和所述图像帧集合中的指定图像帧发送至所述服务器端，以使所述服务器端通过所述目标检测模型，基于所述目标物类别文本和所述指定图像帧确定第一目标物检测框的步骤，包括：基于预设的目标物类别文本和所述图像帧集合中的指定图像帧，向所述服务器端发送目标检测请求，以使所述服务器端接收到所述目标检测请求时，调用所述大模型目标检测模型，并针对所述目标物类别文本和所述指定图像帧反馈第一目标物检测框。3.根据权利要求1所述的无人机云台控制方法，其特征在于，通过所述目标跟踪模型，基于所述图像帧集合和所述第一目标物检测框确定目标物实时跟踪坐标的步骤，包括：基于所述第一目标物检测框确定模板区域；以及基于所述图像帧集合或者所述第一目标物检测框确定搜索区域；通过所述目标跟踪模型，基于所述模板区域和所述搜索区域，确定所述图像帧集合中当前图像帧包含的至少一个候选检测框，以及每个所述候选检测框对应的位置信息和置信度信息；其中，所述置信度信息用于表征所述候选检测框属于所述目标物的概率值；基于所述置信度信息从所述候选检测框中，确定所述当前图像帧对应的第二目标物检测框和所述第二目标物检测框对应的目标属性信息；其中，所述目标属性信息包括中心点和目标尺寸信息；根据所述第二目标物检测框对应的目标属性信息，确定目标物实时跟踪坐标。4.根据权利要求3所述的无人机云台控制方法，其特征在于，基于所述第一目标物检测框确定模板区域的步骤，包括：根据预设的第一尺寸信息，以所述第一目标物检测框的指定点为中心，在所述指定图像帧中截取模板区域；基于所述图像帧集合或者所述第一目标物检测框确定搜索区域的步骤，包括：如果所述当前图像帧为第二帧图像帧，则根据预设的第二尺寸信息，以所述第一目标物检测框的指定点为中心，在所述指定图像帧中截取搜索区域；或者，如果所述当前图像帧为除所述第二帧图像帧之外的其他图像帧，则根据所述第二尺寸信息，以前一图像帧对应的所述第二目标物检测框的所述指定点为中心，在所述当
前图像帧中截取搜索区域。5.根据权利要求3所述的无人机云台控制方法，其特征在于，所述目标跟踪模型包括特征提取单元和置信度预测单元，所述置信度预测单元包括第一分支和第二分支；通过所述目标跟踪模型，基于所述模板区域和所述搜索区域，确定所述图像帧集合中当前图像帧包含的至少一个候选检测框，以及每个所述候选检测框对应的位置信息和置信度...

【专利技术属性】
技术研发人员：陈方平，王霜，陆煜衡，崔强强，闫凯，杨瑞鹏，
申请(专利权)人：北京云圣智能科技有限责任公司，
类型：发明
国别省市：