基于时空信息融合的判别性目标跟踪方法及装置制造方法及图纸

本发明专利技术提供一种基于时空信息融合的判别性目标跟踪方法及装置，其中方法包括：获取历史图像集合和测试图像；对历史图像集合中的各个历史图像和测试图像进行处理，分别得到训练图像特征集合，和测试图像特征；对训练图像特征进行处理，得到时空判别性图像特征；对测试图像特征进行处理后，添加第二位置编码，得到目标测试图像特征；将时空判别性图像特征和目标测试图像特征进行特征融合，得到自适应时空图像特征；将测试图像特征和自适应时空图像特征进行特征融合，得到混合图像特征；对混合图像特征进行处理，得到目标边框和目标对象的前景背景概率；基于目标边框和前景背景概率，确定跟踪的目标对象。采用本方法能够提高目标跟踪准确性。踪准确性。踪准确性。

【技术实现步骤摘要】
基于时空信息融合的判别性目标跟踪方法及装置


[0001]本专利技术涉及计算机视觉和模式识别
，尤其涉及一种基于时空信息融合的判别性目标跟踪方法及装置。

技术介绍

[0002]随着计算机视觉和模式识别技术的发展，其应用越来越广泛，目标跟踪为其应用的方向之一。目标跟踪是指对给定的目标进行追踪，以便获取到目标的位置。被广泛应用于人体跟踪、车辆跟踪或者智能交互系统中的手势跟踪等多个方面。
[0003]现有技术中，一般利用模板匹配或者相似度度量等来实现目标跟踪，存在目标跟踪准确率低的问题。

技术实现思路

[0004]本专利技术提供一种时空信息融合的判别性目标跟踪方法、装置、电子设备及存储介质，用以解决现有技术中目标跟踪准确性低的缺陷，实现提高目标跟踪准确性的目的。
[0005]本专利技术提供一种时空信息融合的判别性目标跟踪方法，包括：获取历史图像集合和测试图像，所述历史图像集合中的各个历史图像和所述测试图像中均包括待跟踪的目标对象；对所述历史图像集合中的各个所述历史图像进行处理，得到训练图像特征集合，以及，对所述测试图像进行处理，得到测试图像特征；对所述训练图像特征集合中的各个所述训练图像特征进行处理，得到时空判别性图像特征；对所述测试图像特征进行分块处理后进行卷积，并添加第一位置编码，得到目标测试图像特征；将所述时空判别性图像特征和所述目标测试图像特征进行特征融合，得到自适应时空图像特征；将所述测试图像特征和所述自适应时空图像特征进行特征融合，得到混合图像特征；对混合图像特征进行处理，得到包含目标对象的目标边框和目标对象的前景背景概率；基于目标边框和前景背景概率，确定跟踪的目标对象。
[0006]根据本专利技术提供的一种基于时空信息融合的判别性目标跟踪方法，获取历史图像集合和测试图像包括：获取初始图像；在所述初始图像中，获取所述目标对象对应的对象图像区域的中心坐标；获取所述对象图像区域对应的区域尺寸，基于所述区域尺寸以及尺寸外扩系数得到区域延伸值；基于所述中心坐标以及所述区域延伸值向所述区域延伸值所对应的延伸方向进行延伸，得到延伸坐标；将位于所述延伸坐标内的图像区域作为截取图像区域，将截取得到的图像分别确定为所述历史图像和测试图像；所述历史图像为所述历史图像集合中的任一图像。
[0007]根据本专利技术提供的一种基于时空信息融合的判别性目标跟踪方法，所述对所述训练图像特征集合中的各个所述训练图像特征进行处理，得到时空判别性图像特征包括：对所述训练图像特征集合中的各个所述训练图像特征分块处理后进行卷积，得到中间图像特征集合，将所述中间图像特征集合中的各个中间图像特征添加第二位置编码并提取时空场景信息，得到时空判别性图像特征。
[0008]根据本专利技术提供的一种基于时空信息融合的判别性目标跟踪方法，所述对混合图像特征进行处理，得到包含目标对象的目标边框和目标对象的前景背景概率包括：获取预测网络，所述预测网络包括回归网络和分类网络；将所述混合图像特征输入到所述回归网络中进行处理，得到所述目标边框特征；将所述混合图像特征输入到所述分类网络中进行处理，得到所述前景背景概率。
[0009]根据本专利技术提供的一种时空信息融合的判别性目标跟踪方法，所述回归网络包括第一全连接层和激活层，所述分类网络包括第二全连接层，所述将所述混合图像特征输入到所述回归网络中进行处理，得到所述目标边框特征包括：将所述混合图像特征通过所述回归网络的第一输入层传输到所述第一全连接层，通过所述第一全连接层对所述混合图像特征进行处理，得到混合图像中间特征；利用所述激活层对所述混合图像中间特征进行非线性处理，得到所述目标边框特征；所述将所述混合图像特征输入到所述分类网络中进行处理，得到所述前景背景概率包括：将所述混合图像特征通过第二输入层传输到所述第二全连接层，所述第二全连接层包括至少一层；通过所述第二全连接层对所述混合图像特征进行分类，得到所述前景背景概率。
[0010]根据本专利技术提供的一种时空信息融合的判别性目标跟踪方法，所述方法还包括：确定预测网络的网络损失值，所述网络损失值包括所述回归网络对应的回归网络损失值和所述分类网络对应的分类网络损失值；利用随机梯度下降法，朝着使损失值变小的方向调整网络参数，直至所述回归网络和所述分类网络均网络收敛；其中，网络收敛可以是网络损失值小于预设阈值或者训练次数达到预设次数的至少一个。
[0011]根据本专利技术提供的一种时空信息融合的判别性目标跟踪方法，所述方法还包括：获取当前图像对应的所述自适应时空图像特征，以及，当前图像对应的前向训练图像对应的第一更新自适应时空图像特征；根据所述自适应时空图像特征和所述第一更新自适应时空图像特征，得到当前图像的第二更新自适应时空图像特征。
[0012]本专利技术还提供一种目标跟踪装置，包括：第一处理模块，用于获取历史图像集合和测试图像，所述历史图像集合中的各个历史图像和所述测试图像中均包括待跟踪的目标对象；第二处理模块，用于对所述历史图像集合中的各个所述历史图像进行处理，得到训练图像特征集合，以及，对所述测试图像进行处理，得到测试图像特征；第三处理模块，用于对所述训练图像特征集合中的各个所述训练图像特征进行处理，得到时空判别性图像特征；第四处理模块，用于对所述测试图像特征进行分块处理后进行卷积，并添加第一位置编码，得到目标测试图像特征；将所述时空判别性图像特征和所述目标测试图像特征进行特征融合，得到自适应时空图像特征；第五处理模块，用于将所述测试图像特征和所述自适应时空图像特征进行特征融合，得到混合图像特征；第六处理模块，用于对混合图像特征进行处理，得到包含目标对象的目标边框和目标对象的前景背景概率；第七处理模块，用于基于目标边框和前景背景概率，确定跟踪的目标对象。
[0013]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述判别性目标跟踪方法的步骤。
[0014]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述判别性目标跟踪方法的步骤。
[0015]本专利技术还提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一种所述判别性目标跟踪方法的步骤。
[0016]本专利技术提供的基于时空信息融合的判别性目标跟踪方法及装置，通过获取历史图像集合和测试图像，所述历史图像集合中的各个历史图像和所述测试图像中均包括待跟踪的目标对象；对所述历史图像集合中的各个所述历史图像进行处理，得到训练图像特征集合，以及，对所述测试图像进行处理，得到测试图像特征；对所述训练图像特征集合中的各个所述训练图像特征进行处理，得到时空判别性图像特征；对所述测试图像特征进行分块处理后进行卷积，并添加第一位置编码，得到目标测试图像特征；将所述时空判别性图像特征和所述目标测试图像特征进行特征融合，得到自适应时空图像特征；将所述测试图像特征和所述自适应时空图像特征进行特征融合，得到混合图像特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空信息融合的判别性目标跟踪方法，其特征在于，包括：获取历史图像集合和测试图像，所述历史图像集合中的各个历史图像和所述测试图像中均包括待跟踪的目标对象；对所述历史图像集合中的各个所述历史图像进行处理，得到训练图像特征集合，以及，对所述测试图像进行处理，得到测试图像特征；对所述训练图像特征集合中的各个所述训练图像特征进行处理，得到时空判别性图像特征；对所述测试图像特征进行分块处理后进行卷积，并添加第一位置编码，得到目标测试图像特征；将所述时空判别性图像特征和所述目标测试图像特征进行特征融合，得到自适应时空图像特征；将所述测试图像特征和所述自适应时空图像特征进行特征融合，得到混合图像特征；对混合图像特征进行处理，得到包含目标对象的目标边框和目标对象的前景背景概率；基于目标边框和前景背景概率，确定跟踪的目标对象。2.根据权利要求1所述的基于时空信息融合的判别性目标跟踪方法，其特征在于，所述获取历史图像集合和测试图像包括：获取初始图像；在所述初始图像中，获取所述目标对象对应的对象图像区域的中心坐标；获取所述对象图像区域对应的区域尺寸，基于所述区域尺寸以及尺寸外扩系数得到区域延伸值；基于所述中心坐标以及所述区域延伸值向所述区域延伸值所对应的延伸方向进行延伸，得到延伸坐标；将位于所述延伸坐标内的图像区域作为截取图像区域，将截取得到的图像分别确定为所述历史图像和测试图像；所述历史图像为所述历史图像集合中的任一图像。3.根据权利要求1所述的基于时空信息融合的判别性目标跟踪方法，其特征在于，所述对所述训练图像特征集合中的各个所述训练图像特征进行处理，得到时空判别性图像特征包括：对所述训练图像特征集合中的各个所述训练图像特征分块处理后进行卷积，得到中间图像特征集合，将所述中间图像特征集合中的各个中间图像特征添加第二位置编码并提取时空场景信息，得到时空判别性图像特征。4.根据权利要求1所述的基于时空信息融合的判别性目标跟踪方法，其特征在于，所述对混合图像特征进行处理，得到包含目标对象的目标边框和目标对象的前景背景概率包括：获取预测网络，所述预测网络包括回归网络和分类网络；将所述混合图像特征输入到所述回归网络中进行处理，得到所述目标边框特征；将所述混合图像特征输入到所述分类网络中进行处理，得到所述前景背景概率。5.根据权利要求4所述的基于时空信息融合的判别性目标跟踪方法，其特征在于，所述回归网络包括第一全连接层和激活层，所述分类网络包括第二全连接层，所述将所述混合图像特征输入到所述回归网络中进行处理，得到所述目标边框特征包括：
将所述混合图像特征通过所述回归网络的第一输入层传输到所述第一全连接层，通过所述第一全连接层对所述混合图像特征进行处理，得到混合图像中间特征；利用所述激活层对所述混合图像中间特征进行非线性处理...

【专利技术属性】
技术研发人员：王金桥，唐明，于斌，赵朝阳，
申请(专利权)人：中科视语北京科技有限公司，
类型：发明
国别省市：