【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种多视角单目标跟踪方法及装置。
技术介绍
1、视觉是人类认知世界的重要途径之一，人类获取外部信息的80％来自视觉系统。计算视觉就是在了解人类视觉基础上，用成像系统代替人类视觉器官，用计算机代替人脑完成对输入图像的处理与理解。同时，随着信息技术与智能科学的发展，计算机视觉是人工智能领域热门学科之一和物联网感知层重要技术之一。而视觉目标跟踪(单目标跟踪)的方法的研究和应用作为计算机视觉领域的一个重要分支，越来越受到学界与工业界的关注。其任务是在一段视频序列中，给定同一个目标的初始位置和大小，预测后续帧中该目标的大小与位置。其广泛地运用到了科学技术、国防建设、航空航天、医药卫生以及国民经济等各个领域，研究目标跟踪的技术有着重大的实用价值和广阔的发展前景。而随着视觉目标领域的发展，往往一个视角的信息不足够应用于许多有挑战的跟踪场景下，而多视角的协同跟踪就显得尤为重要。多视角协同跟踪就是使用两个不同的视角对同一个目标进行跟踪。相比于单视角跟踪，多视角可用的信息明显增多，而且不同的视角间具有互补性，如果可以对不同视角的信息有效融合，就可以实现更加鲁棒的跟踪。现有技术中，公开号为cn104331901a的中国专利技术专利申请《一种基于tld的多视角目标跟踪装置及方法》实现一种多视角下的目标跟踪，针对单目视觉方法进行运动目标检测与跟踪时常常存在目标遮挡以及周围场景光线变化和阴影干扰等问题，通过多视角的信息融合单元融合多视角信息，利用学习机制，增强检测模块跟踪的强壮性，提高跟踪性能。
2、在实际应用
技术实现思路
1、本专利技术所要解决的技术问题在于如何提升多个视角下对同一目标的跟踪性能。
2、本专利技术是通过以下技术方案解决上述技术问题的：一种多视角单目标跟踪方法，包括以下步骤：
3、s10.无人机和地面拍摄设备采集多个场景的视频数据，获得无人机视频序列u＝{u1，u2，...，ut}和地面视频序列g＝{g1，g2，...，gt}；
4、s20.将无人机视频序列u＝{u1，u2，...，ut}和地面视频序列g＝{g1，g2，...，gt}作为模型的输入，模型在每一帧跟踪处理前返回过去k帧的两个视角的跟踪结果，将两个视角的跟踪结果做差，得到偏移量序列；
5、s30.将偏移量序列输入到偏移量预测模块中，预测出当前帧的目标偏移量，根据上一帧的跟踪结果确定两个视角的原始搜索区域，得到跟踪结果的响应分数；
6、s40.根据跟踪结果的响应分数判断无人机搜索区域和地面搜索区域的质量，响应分数越高，搜索区域质量越好，反之越差，采用质量好的搜索区域以及预测出来的偏移量，计算另一个视角搜索区域调整后的位置；
7、s50.将两个视角的搜索区域送入多视角跟踪器，融合两个视角跟踪目标的信息，输出跟踪结果。
8、本专利技术的跟踪方法引入了两个视角间的偏移量这一几何关系，也就是跟踪结果的坐标差，保证搜索区域尽可能包含跟踪目标，对于定位到质量更好，更易于包含跟踪目标的搜索区效果更好。通过搜索区域调整策略，对模型产生的原始搜索区域进行调整，用质量高的搜索区域的位置以及偏移量来确定更改后的原始低质量搜索区域的位置。由于质量好的搜索区域更容易包含目标，通过偏移量更改后的另一个搜索区域也更容易包含跟踪目标，从而将不同视角下同一目标的信息进行有效地融合，以实现两个视角跟踪性能的提升。
9、优选的，步骤s20中在跟踪某序列的第t帧时，模型会返回当前帧前k帧的两个视角的跟踪结果，将无人机视角下的跟踪结果集记录为xu＝[ut-k；...；ut-2；ut-1]，地面视图的跟踪结果集记录为xg＝[gt-k；...；gt-2；gt-1]，ut-i和gt-i表示跟踪状态，xu和xg∈rk×4，k和t均为大于1的自然数，i为1至1-k的自然数，对于每个跟踪视角的每一帧跟踪结果，跟踪器都会输出一个边界框b＝[x，y，w，h]作为跟踪状态，(x，y)为边界框左上顶点的坐标，w为边界框的宽度，h为边界框的高度，计算两个视角跟踪结果中心点的坐标差记为偏移量序列。
10、优选的，所述两个视角跟踪结果中心点的坐标(xc，yc)的计算公式为：
11、xc＝x+0.5×w
12、yc＝y+0.5×h；
13、两个视角下的跟踪结果中心点序列x′u和x′g为：
14、x′u＝[u′t-k；...；u′t-2；u′t-1]
15、x′g＝[g′t-k；...；g′t-2；g′t-1]；
16、其中，u′t-i和g′t-i都是1×2的坐标(xc，yc)t-i；
17、再将两个视角下的跟踪结果中心点序列x′u和x′g做差，得到偏移量序列记为xoff＝x′u-x′g＝[xt-k；...；xt-2；xt-1]＝[(δxt-k，δyt-k)；...；(δxt-2，δyt-2)；(δxt-1，δyt-1)]，xoff∈rk×2。
18、优选的，步骤s30中预测出当前帧的目标偏移量的方法包括：
19、s31、将偏移量序列输入到变换器编码器，通过concat操作进行前k帧偏移量聚合，input embedding将特征映射到更高维空间，然后与位置编码postional emcoding相加，送入n层堆叠式编码器；
20、s32、n层堆叠式编码器通过编码器里的多头自注意力、残差连接、层归一化以及前馈网络进行特征编码；
21、s33、将编码后的特征输入编码送入n层堆叠式解码器中，解码器输入二维xdec，xdec值设为(0，0)，解码器的输入xdec通过自注意力计算后，与特征输入编码进行交叉注意力计算，得出预测本文档来自技高网...
【技术保护点】
1.一种多视角单目标跟踪方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的多视角单目标跟踪方法，其特征在于：步骤S20中在跟踪某序列的第t帧时，模型会返回当前帧前k帧的两个视角的跟踪结果，将无人机视角下的跟踪序列记录为Xu＝[ut-k；...；ut-2；ut-1]，地面视图的跟踪序列记录为Xg＝[gt-k；...；gt-2；gt-1]，ut-i和gt-i表示跟踪状态，Xu和Xg∈Rk×4，k和t均为大于1的自然数，i为1至1-k的自然数，对于每个跟踪视角的每一帧跟踪结果，跟踪器都会输出一个边界框b＝[x，y，w，h]作为跟踪状态，(x，y)为边界框左上顶点的坐标，w为边界框的宽度，h为边界框的高度，计算两个视角跟踪结果中心点的坐标差记为偏移量序列。
3.根据权利要求2所述的多视角单目标跟踪方法，其特征在于：所述两个视角跟踪结果中心点的坐标(xc，yc)的计算公式为：
4.根据权利要求1所述的多视角单目标跟踪方法，其特征在于：步骤S30中预测出当前帧的目标偏移量的方法包括：
5.根据权利要求4所述的多视角单目标跟踪方法，其特征
6.根据权利要求5所述的多视角单目标跟踪方法，其特征在于：当地面视角搜索区域质量差时，调整方式为：
7.一种多视角单目标跟踪装置，其特征在于：包括：
8.根据权利要求6所述的多视角单目标跟踪装置，其特征在于：模型建立模块在跟踪某序列的第t帧时，模型会返回当前帧前k帧的两个视角的跟踪结果，将无人机视角下的跟踪结果集记录为Xu＝[ut-k；...；ut-2；ut-1]，地面视图的跟踪结果集记录为Xg＝[gt-k；...；gt-2；gt-1]，ut-i和gt-i表示跟踪状态，Xu和Xg∈Rk×4，k和t均为大于1的自然数，i为1至1-k的自然数，对于每个跟踪视角的每一帧跟踪结果，跟踪器都会输出一个边界框b＝[x，y，w，h]作为跟踪状态，(x，y)为边界框左上顶点的坐标，w为边界框的宽度，h为边界框的高度，计算两个视角跟踪结果中心点的坐标差记为偏移量序列。
9.根据权利要求8所述的多视角单目标跟踪装置，其特征在于：所述两个视角跟踪结果中心点的坐标(xc，yc)的计算公式为：
10.根据权利要求7所述的多视角单目标跟踪装置，其特征在于：偏移量预测模块预测出当前帧的目标偏移量的方法包括：
...【技术特征摘要】
1.一种多视角单目标跟踪方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的多视角单目标跟踪方法，其特征在于：步骤s20中在跟踪某序列的第t帧时，模型会返回当前帧前k帧的两个视角的跟踪结果，将无人机视角下的跟踪序列记录为xu＝[ut-k；...；ut-2；ut-1]，地面视图的跟踪序列记录为xg＝[gt-k；...；gt-2；gt-1]，ut-i和gt-i表示跟踪状态，xu和xg∈rk×4，k和t均为大于1的自然数，i为1至1-k的自然数，对于每个跟踪视角的每一帧跟踪结果，跟踪器都会输出一个边界框b＝[x，y，w，h]作为跟踪状态，(x，y)为边界框左上顶点的坐标，w为边界框的宽度，h为边界框的高度，计算两个视角跟踪结果中心点的坐标差记为偏移量序列。
3.根据权利要求2所述的多视角单目标跟踪方法，其特征在于：所述两个视角跟踪结果中心点的坐标(xc，yc)的计算公式为：
4.根据权利要求1所述的多视角单目标跟踪方法，其特征在于：步骤s30中预测出当前帧的目标偏移量的方法包括：
5.根据权利要求4所述的多视角单目标跟踪方法，其特征在于：获得两个视角搜索区域后，比较当前帧两个视角搜索区域的响应分数，响应分数高的搜索区域质量更好，并将其中心点作为当前帧下目标的位置，根据质量...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。