基于人工智能的无人机云台相机目标识别跟踪方法及系统技术方案

本发明专利技术公开了基于人工智能的无人机云台相机目标识别跟踪方法，包括：通过无人机云台相机捕获实时视频流，并将视频流数据上传至基于人工智能算力的机载计算机；基于人工智能算力的机载计算机利用动态目标相对位置识别模型，对视频流中的目标进行实时识别，当识别到目标时，提取目标的特征参数，特征参数包括目标的形状

【技术实现步骤摘要】
基于人工智能的无人机云台相机目标识别跟踪方法及系统


[0001]本专利技术涉及目标识别跟踪技术，尤其涉及基于人工智能的无人机云台相机目标识别跟踪方法及系统
。

技术介绍

[0002]随着无人机技术的迅速发展，无人机已广泛应用于农业
、
测绘
、
电影制作
、
安全监控等多个领域
。
其中，无人机云台相机的目标识别与跟踪技术是近年来研究的热点，它能够实现对地面或空中目标的自动识别和持续跟踪
。
[0003]申请号为：
202111156436.6
的专利技术公开了一种针对远距离高速运动目标的智能跟踪拍摄系统，包括光学系统
、
稳定平台系统和显控系统，以全景摄像机作为视觉传感器，将自适应目标检测跟踪方法与车载两轴三维稳定平台相融合，在目标跟踪方法中，结合全局相机引导特写相机跟踪拍摄与特写相机闭环检测双机制，提升整体系统的跟踪精度，保证目标处于视频画面中央
。
该现有技术存在的缺陷包括：虽然系统提供了手动与自动检测转换的功能，但在实际操作中，频繁切换可能会导致操作复杂性增加，增加误操作的风险；尽管有稳定平台系统，但在复杂的环境或恶劣的天气条件下，保持稳定的跟踪可能仍然是一个挑战；自适应算法可能在某些特定情况下失效，例如在目标与背景颜色相似或目标速度变化很大的情况下
。
[0004]因此，急需一种基于人工智能的无人机云台相机目标识别跟踪方法及系统
。
专利技术内容
[0005]本专利技术提供了一种基于人工智能的无人机云台相机目标识别跟踪方法及系统，以解决现有技术中存在的虽然系统提供了手动与自动检测转换的功能，但在实际操作中，频繁切换可能会导致操作复杂性增加，增加误操作的风险；尽管有稳定平台系统，但在复杂的环境或恶劣的天气条件下，保持稳定的跟踪可能仍然是一个挑战；自适应算法可能在某些特定情况下失效，例如在目标与背景颜色相似或目标速度变化很大的情况下的上述问题
。
[0006]为了达到上述目的，本专利技术提供如下技术方案：
[0007]基于人工智能的无人机云台相机目标识别跟踪方法，包括：
[0008]S101
：通过无人机云台相机捕获实时视频流，并将视频流数据上传至基于人工智能算力的机载计算机；
[0009]S102
：基于人工智能算力的机载计算机利用动态目标相对位置识别模型，对视频流中的目标进行实时识别，当识别到目标时，提取目标的特征参数，特征参数包括目标的形状
、
颜色
、
纹理
、
位置和运动轨迹；
[0010]S103
：当目标发生形变
、
遮挡
、
或有物体干扰时，基于目标区域预测模型，确定目标与背景的区分，获取目标位置；
[0011]S104
：根据确定的目标位置，实时调整无人机云台相机的角度和焦距，确保目标处于相机的视野中，并通过无人机云台相机进行持续跟踪
。
[0012]其中，
S101
步骤包括：
[0013]S1011
：启动无人机云台相机，基于预设的目标捕获参数，自动调整相机设置，其中，目标捕获参数包括焦距
、
曝光时间和光圈大小；
[0014]S1012
：无人机云台相机实时捕获视频流，其中，通过内置的图像处理算法，对捕获的视频流进行实时压缩和编码，获取编码后的视频流数据；
[0015]S1013
：通过预设的无线通信协议，将编码后的视频流数据实时上传至基于人工智能算力的机载计算机，同时确保数据的完整性和安全性
。
[0016]其中，
S102
步骤包括：
[0017]S1021
：基于深度学习算法，对目标识别数据库中的目标识别捕获数据进行特征提取，根据获取的特征，构建动态目标相对位置识别模型，将特征和对应的目标位置作为输入，通过反向传播算法优化动态目标相对位置识别模型参数；
[0018]S1022
：利用动态目标相对位置识别模型，对视频流中的目标进行实时识别，当识别到目标时，启动特征参数提取过程；
[0019]S1023
：提取目标的特征参数，对目标的形状
、
颜色
、
纹理进行分析，再计算目标的位置和运动轨迹
。
[0020]其中，
S103
步骤包括：
[0021]S1031
：当目标发生形变
、
遮挡或有物体干扰时，启动目标区域预测模型，利用目标区域预测模型，对视频中的目标与背景进行区分；
[0022]S1032
：在目标与背景区分过程中，先对目标的形状
、
颜色
、
纹理和运动特性进行分析，然后根据目标区域预测模型确定目标与背景的界限；
[0023]S1033
：根据目标区域预测模型的预测结果，获取目标对应位置，通过反馈机制对预测结果进行核对，若预测结果与实际情况不符时，对目标区域预测模型进行实时调整和优化
。
[0024]其中，
S104
步骤包括：
[0025]S1041
：根据确定的目标位置，计算目标与无人机云台相机当前视野的相对位置；
[0026]S1042
：实时调整无人机云台相机的角度，计算目标的移动速度和方向，预测目标的下一位置，提前调整无人机云台相机的角度；
[0027]S1043
：根据目标与相机的距离，动态调整相机的焦距，当目标临时失去或模糊时，通过目标反馈机制重新定位并跟踪目标
。
[0028]其中，
S1011
步骤包括：
[0029]启动无人机云台相机时，根据实际目标位置与期望目标位置，在无人机云台坐标系下的差值设置云台伺服驱动控制器，云台伺服驱动控制器根据输入误差计算得到虚拟控制指令，驱动伺服执行机构调整云台水平方向与垂直方向的转动；
[0030]其中，无人机根据被跟踪目标所在位置及无人机当前飞行目标状态估计目标的实际位置，设定无人机飞行期望轨迹；无人机飞行控制器根据无人机飞行实际轨迹和期望轨迹计算虚拟控制指令，并驱动无人机执行机构完成无人机飞行控制
。
[0031]其中，
S1022
步骤包括：
[0032]利用动态目标相对位置识别模型对视频流中的目标进行实时识别过程中，读取视频流中的视频序列图像，并判断视频序列图像是否为第一帧图像；若为第一帧图像，则利用
目标检测算法对输入图像全局检测，并选取设定范围内的置信度得分最高的目标选框作为被跟踪目标的初始位置信息；若不是第一帧图像，则裁剪图像，使图像大小为前一帧检测得到的目标选框尺寸的5倍，裁剪图像中心位置为前一帧目标选框的中心本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于人工智能的无人机云台相机目标识别跟踪方法，其特征在于，包括：
S101
：通过无人机云台相机捕获实时视频流，并将视频流数据上传至基于人工智能算力的机载计算机；
S102
：基于人工智能算力的机载计算机利用动态目标相对位置识别模型，对视频流中的目标进行实时识别，当识别到目标时，提取目标的特征参数，特征参数包括目标的形状
、
颜色
、
纹理
、
位置和运动轨迹；
S103
：当目标发生形变
、
遮挡
、
或有物体干扰时，基于目标区域预测模型，确定目标与背景的区分，获取目标位置；
S104
：根据确定的目标位置，实时调整无人机云台相机的角度和焦距，确保目标处于相机的视野中，并通过无人机云台相机进行持续跟踪
。2.
根据权利要求1所述的基于人工智能的无人机云台相机目标识别跟踪方法，其特征在于，
S101
步骤包括：
S1011
：启动无人机云台相机，基于预设的目标捕获参数，自动调整相机设置，其中，目标捕获参数包括焦距
、
曝光时间和光圈大小；
S1012
：无人机云台相机实时捕获视频流，其中，通过内置的图像处理算法，对捕获的视频流进行实时压缩和编码，获取编码后的视频流数据；
S1013
：通过预设的无线通信协议，将编码后的视频流数据实时上传至基于人工智能算力的机载计算机，同时确保数据的完整性和安全性
。3.
根据权利要求1所述的基于人工智能的无人机云台相机目标识别跟踪方法，其特征在于，
S102
步骤包括：
S1021
：基于深度学习算法，对目标识别数据库中的目标识别捕获数据进行特征提取，根据获取的特征，构建动态目标相对位置识别模型，将特征和对应的目标位置作为输入，通过反向传播算法优化动态目标相对位置识别模型参数；
S1022
：利用动态目标相对位置识别模型，对视频流中的目标进行实时识别，当识别到目标时，启动特征参数提取过程；
S1023
：提取目标的特征参数，对目标的形状
、
颜色
、
纹理进行分析，再计算目标的位置和运动轨迹
。4.
根据权利要求1所述的基于人工智能的无人机云台相机目标识别跟踪方法，其特征在于，
S103
步骤包括：
S1031
：当目标发生形变
、
遮挡或有物体干扰时，启动目标区域预测模型，利用目标区域预测模型，对视频中的目标与背景进行区分；
S1032
：在目标与背景区分过程中，先对目标的形状
、
颜色
、
纹理和运动特性进行分析，然后根据目标区域预测模型确定目标与背景的界限；
S1033
：根据目标区域预测模型的预测结果，获取目标对应位置，通过反馈机制对预测结果进行核对，若预测结果与实际情况不符时，对目标区域预测模型进行实时调整和优化
。5.
根据权利要求1所述的基于人工智能的无人机云台相机目标识别跟踪方法，其特征在于，
S104
步骤包括：
S1041
：根据确定的目标位置，计算目标与无人机云台相机当前视野的相对位置；
S1042
：实时调整无人机云台相机的角度，计算目标的移动速度和方向，预测目标的下
一位置，提前调整无人机云台相机的角度；
S1043
：根据目标与相机的距离，动态调整相机的焦距，当目标临时失去或模糊时，通过目标反馈机制重新定位并跟踪目标
。6.
根据权利要求2所述的基于人工智能的无人机云台相机目标识别跟踪方法，其特征在于，
S1011
步骤包括：启动无人机云台相机时，根据实际目标位置与期望目标位置，在无人机云台坐标系下的差值设置云台伺服驱动控制器，云台伺服...

【专利技术属性】
技术研发人员：朱志鹏，张凯轩，罗晓刚，叶嘉信，
申请(专利权)人：思翼科技深圳有限公司，
类型：发明
国别省市：