一种基于无人机搭载三轴云台相机的目标检测定位方法技术

本发明专利技术是一种基于无人机搭载三轴云台相机的目标检测定位方法。本发明专利技术以无人机为平台结合三轴云台通过对视觉传感器采集得到的图像经过增强去噪、分割提取以后来捕获目标；并构建简单的定位数学几何模型，对现有图像数据结合相机参数进行分析与转化，为得到目标的实际位置坐标，云台相机时刻将目标锁定在视野中央，跟随目标移动，结合激光测距传感器得到的与目标之间的距离，及时准确地计算当前目标与无人机的相对位置；通过坐标转换计算出被监测目标的具体位置。本发明专利技术在低成本、低信息量的情况下可以有效改善目标检测与定位系统中运算手段复杂、成本高昂、鲁棒性及准确性较差的问题，为救援工作提供准确快速的定位系统。为救援工作提供准确快速的定位系统。为救援工作提供准确快速的定位系统。

【技术实现步骤摘要】
一种基于无人机搭载三轴云台相机的目标检测定位方法


[0001]本专利技术涉及目标检测领域，具体是一种一种基于无人机搭载三轴云台相机结合TinyML进行目标实时检测与定位的方法。

技术介绍

[0002]摄像头作为一种很重要的视觉监测设备，可以在固定的区域远距离为人类获取当地的有用信息。随着监控设备数量的增加，视频监控已经逐渐成为维护社会治安和法治的重要工具，也成为智慧城市中协调物流交通、检测安全隐患的重要支撑。但是在一些场合下固定摄像头会被遮挡，留下监控死角，目标可以轻松走出监控区域，还存有很多安全隐患。但大面积密集部署固定监控系统需要极高的成本，也会造成通信网络的压力。无人机具有高空的开阔视角，三轴云台相机具有很高的空间自由度，可以作为追踪和监视系统的重要组成部分，结合RTK定位技术通过空间几何关系，可以很好的对目标进行实时定位。
[0003]基于无人机追踪已经有了一些算法和模型。一方面，目前的实现方式复杂，另一方面，运算时占用了过多资源。如何充分利用有限信息及相机参数信息，快速、准确地检测运动目标并且不会受外界地理位置影响实时得到被测目标的位置信息，利用无人机搭载云台，结合TinyML进行目标的实时检测提取与定位便是解决这一问题的重要方法。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术公开一种基于无人机搭载三轴云台相机的目标检测定位方法，在低成本、低信息量的情况下建立快速准确的火源目标检测与定位系统。
[0005]为了解决所述技术问题，本专利技术采用的技术方案是：一种基于无人机搭载三轴云台相机的目标检测定位方法，包括以下步骤：
[0006]S01)、将三轴云台固定在无人机底部，传感器固定在三轴云台下方杆臂处，传感器视觉传感器与激光测距传感器；
[0007]S02)、进行三轴云台相机与无人机姿态的标定，姿态通过各自携带的IMU传感器进行姿态解算；
[0008]S03)、将TinyML部署至机载应用平台，然后通过视觉传感器实时捕捉视频信息，将视频流数据输入部署好的TinyML检测模型进行检测，发现视野中出现目标后，获取目标在图像中所处的位置，当目标被系统捕捉到时，识别后将目标圈在矩形框内，提取矩形框对角坐标，通过中点坐标公式计算得出矩形框中心坐标，与视野中心进行偏移量计算，得到偏移量坐标(Δx，Δy)，通过(Δx，Δy)矫正无人机进行移动，使得目标始终位于中心点，此时激光测距仪开启工作，通过读取激光测距仪数据，得到无人机与目标的距离L；
[0009]S04)、通过步骤S02)、S03)得到无人机与目标的距离L以及相对角度，已相机为原点建立坐标系，通过以下计算得到P点相对于O点的位置坐标，P点为目标所在位置，O点为相机位置：
[0010]Z
′
＝L*cosβ，
[0011]X
′
＝L*sinβ*sinα，
[0012]Y
′
＝L*sinβ*cosγ，其中L表示无人机与目标的距离，α、β、γ分别表示P点相对O点X轴、Z轴、Y轴的夹角；
[0013]S05)、获取无人机定位，即O点位置坐标，通过机载RTK卫星导航定位接收机获取机身在导航坐标系中的经度、纬度以及高度，通过坐标转换矩阵即可计算出目标在导航坐标系中的真实坐标点，即目标的经度、纬度以及高度。
[0014]进一步的，云台相机与无人机姿态的标定过程为：
[0015]S21)、选取四元数来确定无人机航向角，四元数的方程如公式(1)所示：
[0016]其中Q、W分别表示四元数关于时间的微分、四元数、角速度数值，四元数Q＝q0+q1i+q2j+q3k，q0为四元数实部，q1、q2、q3为虚部，i、j、k为虚数单位，t0为运动的初始时刻，Q0为四元数的初值；为角速度的初值，由陀螺仪得到其矩阵形式：
[0017][0018]其中T
s
表示求微分的时间间隔，ω1、ω2、ω3分别表示空间中X、Y、Z三轴分别的角速度，Ω(ω)表示关于角速度的函数表示；
[0019]S22)、设定在一个采样周期内角速度是常量，对公式(2)求差分得到离散域的四元数公式为：
[0020][0021]其中Qk、Qk+1分别表示第k、k+1个采样时刻的四元数，I表示单位矩阵，Ω(ωTs)表示Ω(ω)代入自变量T
s
后的函数表示，由四元数确定的b系至R系的坐标变换矩阵为：其中b系是载体坐标系，R系表示导航坐标系；
[0022][0023]当参考坐标系R是导航坐标系时，三次基本旋转对应的坐标变换阵为：
[0024][0025]其中横滚角为R、俯仰角为P、偏航角为Y，则
[0026][0027]该角度作为相机沿三个方向的转动角度，与初始平台的角度做差得到相机转动的偏移量。
[0028]进一步的，本方法用于检测定位火源。
[0029]进一步的，步骤S03)中，TinyML检测模型对视频数据流经过增强去噪、分割提取以后来捕获目标。
[0030]本专利技术的有益效果：本专利技术提供了一种基于无人机搭载三轴云台相机得目标检测定位方法。其只要是利用搭载在无人机上的摄像头以及激光测距传感器确定火源与无人机的相对位置，然后通过RTK获取到无人机自身的精确定位数据，然后通过坐标系转换的方式将目标的相对位置转换成实际导航坐标系位置。在低成本、低信息量的情况下建立快速准确的火源目标检测与定位系统。
附图说明
[0031]图1为无人机搭载三轴云台相机及激光测距传感器的示意图；
[0032]图2为目标圈在矩形框内的示意图；
[0033]图3为目标与相机相对位置坐标系的示意图；
[0034]图中：1、电机I，2、电机II，3、电机III，4、杆臂。
具体实施方式
[0035]下面结合具体实施例对本专利技术作进一步的说明。
[0036]实施例1
[0037]本实施例公开一种基于无人机搭载三轴云台相机并结合TinyML进行目标实时检测与定位的方法，具体用于检测定位火情，实现本方法需要无人机、三轴云台以及传感器，如图1所示，三轴云台通过电机I1固定在无人机底部，传感器固定在云台下方杆臂处，即杆臂4上安装有视觉传感器与激光测距传感器，通过标定将激光测距传感器的测量点指定在图像中心点处。本实施例中，视觉传感器就是相机。
[0038]所有的数据处理采用ARM高性能深度学习芯片，可以完成图像处理以及主体算法的运行。处理器通过USB连接摄像头获取图像数据流，并传输给处理器进行对火源的识别，检测到火源后根据相机实时反馈的目标位置与相机中心位置误差进行补偿轴位移，控制三个电机转动，确保火源位于视野中心，通过三个电机转动的角度反推出火源在该相机中所处的相对位置。通信模块包含了与电机通信的RS485部分和与监控平台通信的5G网络通信部分。在串行通讯时，要求通讯双方都采用一个标准接口，使不同的设备可以方便地连接起
来进行通讯。RS485是最常用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机搭载三轴云台相机的目标检测定位方法，其特征在于：包括以下步骤：S01)、将三轴云台固定在无人机底部，传感器固定在三轴云台下方杆臂处，传感器包括视觉传感器与激光测距传感器；S02)、进行三轴云台相机与无人机姿态的标定，姿态通过各自携带的IMU传感器进行姿态解算；S03)、将TinyML部署至机载应用平台，然后通过视觉传感器实时捕捉视频信息，将视频流数据输入部署好的TinyML检测模型进行检测，发现视野中出现目标后，获取目标在图像中所处的位置，当目标被系统捕捉到时，识别后将目标圈在矩形框内，提取矩形框对角坐标，通过中点坐标公式计算得出矩形框中心坐标，与视野中心进行偏移量计算，得到偏移量坐标(Δx，Δy)，通过(Δx，Δy)矫正无人机进行移动，使得目标始终位于中心点，此时激光测距仪开启工作，通过读取激光测距仪数据，得到无人机与目标的距离L；S04)、通过步骤S02)、S03)得到无人机与目标的距离L以及相对角度，已视觉传感器为原点建立坐标系，通过以下计算得到P点相对于O点的位置坐标，P点为目标所在位置，O点为相机位置：Z
′
＝L*cosβ，X
′
＝L*sinβ*sinα，Y
′
＝L*sinβ*cosγ，其中L表示无人机与目标的距离，α、β、γ分别表示P点相对O点X轴、Z轴、Y轴的夹角；S05)、获取无人机定位，即O点位置坐标，通过机载RTK卫星导航定位接收机获取机身在导航坐标系中的经度、纬度以及高度，通过坐标转换矩阵即可计算出目标在导航坐标系中的真实坐标点，即目标的经度、纬度以及高度。...

【专利技术属性】
技术研发人员：胡佳，李锐，王洪添，朱翔宇，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：