目标物跟踪系统、方法及其计算机装置制造方法及图纸

本申请涉及无人机智能跟踪的领域，其具体地公开了一种目标物跟踪系统以及跟踪方法，其使用不同尺寸卷积核的第一到第三卷积神经网络以分别对部署于无人机的相机获取的跟踪图像进行高维特征提取，进一步再对于每个所述特征图计算其类平衡余量值，以对所述高维特征所在的目标域之间存在的域偏移进行修正，从而提高分类的准确性。这样，可以准确地根据实际情况下的跟踪物的有效视野占比来确定所述相机的焦距应增大或应减小，进而确保跟踪物的跟踪检测效果。检测效果。检测效果。

【技术实现步骤摘要】
目标物跟踪系统、方法及其计算机装置


[0001]本专利技术涉及无人机智能跟踪的领域，且更为具体地，涉及一种目标物跟踪系统、方法及其计算机装置。

技术介绍

[0002]无人机由于有着方便、灵活及体积小型化等优点使其在无论是在军事领域还是在民用方面均有着广泛的应用。在无人机的诸多任务类型中,对动态目标的跟踪是其重要的应用方面之一。而随着无人机执行任务由单一机体向集群化发展,多无人机协调控制也成为未来发展方向。而无人机对目标物的跟踪满足一定的视野占比是完成跟踪检测的关键。
[0003]在很多无人机的应用中,都包含对目标的检测与跟踪,因此,无人机地面移动目标的检测与跟踪有很大的研究价值,应用需求广泛。现阶段的研究都是假定目标背景环境非常理想,而现实中,不仅环境复杂,且跟踪的目标距离摄像机的远近也会影响跟踪的效果,当距离目标较远时,目标在图像视场中占有较小比例，干扰信息较多，使得跟踪检测效果不佳。
[0004]因此，为了确保跟踪物的视野占比，以保证跟踪检测的效果，期待一种目标物跟踪系统。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种目标物跟踪系统、方法及其计算机装置，其使用不同尺寸卷积核的第一到第三卷积神经网络以分别对部署于无人机的相机获取的跟踪图像进行高维特征提取，进一步再对于每个所述特征图计算其类平衡余量值，以对所述高维特征所在的目标域之间存在的域偏移进行修正，从而提高分类的准确性。通过这样的方式，可以准确地根据实际情况下的跟踪物的视野占比来确定所述相机的焦距应增大或应减小，进而确保跟踪物的跟踪检测效果。
[0006]根据本申请的一个方面，提供了一种目标物跟踪系统，其包括：
[0007]跟踪图像获取单元，用于通过部署于无人机的相机获取跟踪图像；
[0008]第一神经网络单元，用于使用第一卷积神经网络从所述跟踪图像获取第一特征图，其中，所述第一卷积神经网络的卷积层以第一卷积核进行卷积处理；
[0009]第二神经网络单元，用于使用第二卷积神经网络从所述跟踪图像获取第二特征图，所述第二卷积神经网络的卷积层以第二卷积核进行卷积处理，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；
[0010]第三神经网络单元，用于使用第三卷积神经网络从所述跟踪图像获取第三特征图，所述第三卷积神经网络的卷积层以第三卷积核进行卷积处理，所述第二卷积核的尺寸大于所述第三卷积核的尺寸；
[0011]类平衡余量值计算单元，用于计算所述第一特征图、第二特征图和第三特征图中每个特征图的类平衡余量值，所述类平衡余量值与所述第一特征图、第二特征图和第三特
征图中每两个特征图之间的余弦距离和每两个特征图之间的欧式距离之差有关；
[0012]域偏移调整单元，用于以所述第一到第三特征图中每个特征图的类平衡余量值作为权重计算所述第一到第三特征图的按位置加权和以获得分类特征图；以及
[0013]分类结果生成单元，用于将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示所述相机的焦距应增大或应减小。
[0014]在上述目标物跟踪系统中，所述第一神经网络单元，进一步用于：使用所述第一卷积神经网络以如下公式从所述跟踪图像获取所述第一特征图；所述公式为：h＝f(w1*x+b),其中，*表示卷积运算，f(.)表示激活函数，w1为output
c
×
input
c
×
k
w1
×
k
h1
，output
c
，input
c
，k
w1
，k
h1
分别表示输出通道数，输入通道数，卷积核宽度，卷积核高度。
[0015]在上述目标物跟踪系统中，所述第二神经网络单元，进一步用于：使用所述第二卷积神经网络以如下公式从所述跟踪图像获取所述第二特征图；所述公式为：h＝f(w2*x+b),其中，*表示卷积运算，f(.)表示激活函数，w1为output
c
×
input
c
×
k
w2
×
k
h2
，output
c
，input
c
，k
w2
，k
h2
分别表示输出通道数，输入通道数，卷积核宽度，卷积核高度；其中，w1
×
h1>w2
×
h2。
[0016]在上述目标物跟踪系统中，所述第三神经网络单元，进一步用于：使用所述第三卷积神经网络以如下公式从所述跟踪图像获取所述第三特征图；所述公式为：h＝f(w3*x+b),其中，*表示卷积运算，f(.)表示激活函数，w1为output
c
×
input
c
×
k
w3
×
k
h3
，output
c
，input
c
，k
w3
，k
h3
分别表示输出通道数，输入通道数，卷积核宽度，卷积核高度；其中，w2
×
h2>w3
×
h3。
[0017]在上述目标物跟踪系统中，所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络具有相同的网络结构，且各卷积层的激活函数为同一个。
[0018]在上述目标物跟踪系统中，所述类平衡余量值计算单元，进一步用于：以如下公式计算所述第一特征图、第二特征图和第三特征图中每个特征图的类平衡余量值；
[0019]其中，所述公式为：
[0020][0021][0022][0023]其中cos(F
i
,F
j
)表示两个特征图之间的余弦距离，且d(F2,F3)表示两个特征图之间的欧式距离，s1、s2和s3分别为超参数。
[0024]在上述目标物跟踪系统中，所述分类结果生成单元，进一步用于：使用所述分类器以如下公式对所述分类特征图进行处理以生成所述分类结果；其中，所述公式为：softmax{(W
n
,B
n
):
…
:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为分类特征向量，W1至W
n
为各层全连接层的权重矩阵，B1至B
n
表示各层全连接层的偏置矩阵。
[0025]根据本申请的另一方面，一种目标物跟踪系统的跟踪方法，其包括：
[0026]通过部署于无人机的相机获取跟踪图像；
[0027]使用第一卷积神经网络从所述跟踪图像获取第一特征图，其中，所述第一卷积神经网络的卷积层以第一卷积核进行卷积处理；
[0028]使用第二卷积神经网络从所述跟踪图像获取第二特征图，所述第二卷积神经网络的卷积层以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标物跟踪系统，其特征在于，包括：跟踪图像获取单元，用于通过部署于无人机的相机获取跟踪图像；第一神经网络单元，用于使用第一卷积神经网络从所述跟踪图像获取第一特征图，其中，所述第一卷积神经网络的卷积层以第一卷积核进行卷积处理；第二神经网络单元，用于使用第二卷积神经网络从所述跟踪图像获取第二特征图，所述第二卷积神经网络的卷积层以第二卷积核进行卷积处理，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；第三神经网络单元，用于使用第三卷积神经网络从所述跟踪图像获取第三特征图，所述第三卷积神经网络的卷积层以第三卷积核进行卷积处理，所述第二卷积核的尺寸大于所述第三卷积核的尺寸；类平衡余量值计算单元，用于计算所述第一特征图、第二特征图和第三特征图中每个特征图的类平衡余量值，所述类平衡余量值与所述第一特征图、第二特征图和第三特征图中每两个特征图之间的余弦距离和每两个特征图之间的欧式距离之差有关；域偏移调整单元，用于以所述第一到第三特征图中每个特征图的类平衡余量值作为权重计算所述第一到第三特征图的按位置加权和以获得分类特征图；以及分类结果生成单元，用于将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示所述相机的焦距应增大或应减小。2.根据权利要求1所述的目标物跟踪系统，其中，所述第一神经网络单元，进一步用于使用所述第一卷积神经网络以如下公式从所述跟踪图像获取所述第一特征图；所述公式为：h＝f(w1*x+b),其中，*表示卷积运算，f(.)表示激活函数，w1为output
c
×
input
c
×
k
w1
×
k
h1
，output
c
，input
c
，k
w1
，k
h1
分别表示输出通道数，输入通道数，卷积核宽度，卷积核高度。3.根据权利要求2所述的目标物跟踪系统，其中，所述第二神经网络单元，进一步用于使用所述第二卷积神经网络以如下公式从所述跟踪图像获取所述第二特征图；所述公式为：h＝f(w2*x+b),其中，*表示卷积运算，f(.)表示激活函数，w1为output
c
×
input
c
×
k
w2
×
k
h2
，output
c
，input
c
，k
w2
，k
h2
分别表示输出通道数，输入通道数，卷积核宽度，卷积核高度；其中，w1
×
h1>w2
×
h2。4.根据权利要求3所述的目标物跟踪系统，其中，所述第三神经网络单元，进一步用于使用所述第三卷积神经网络以如下公式从所述跟踪图像获取所述第三特征图；所述公式为：h＝f(w3*x+b),其中，*表示卷积运算，f(.)表示激活函数，w1为output
c
×
input
c
×
k
w3
×
k
h3
，output
c
，input
c
，k
w3
，k
h3
分别表示输出通道数，输入通道数，卷积核宽度，卷积核高度；其中，w2
×
h2>w3
×
h3。5.根据权利要求4所...

【专利技术属性】
技术研发人员：应亦凡，
申请(专利权)人：上海土蜂科技有限公司，
类型：发明
国别省市：