基于孪生网络的RGB-D特征目标跟踪方法技术

本发明专利技术公开了一种基于孪生网络的RGB‑D特征目标跟踪方法，包括以下步骤：构建基于RGB‑D特征的孪生网络模型；模板图像经共享网络处理，获得模板图像的语义特征，将高层语义特征输入至深度卷积网络模块，获得深度图；对深度图进行深度特征提取，获得深度特征信息，通过级联方式将深度特征信息与语义特征进行融合，获得融合后的图像特征；搜索图像经共享网络处理，获得搜索图像的特征，搜索图像的特征经卷积和池化操作，获得搜索图像的上下文信息，通过搜索图像的上下文信息指导融合后的图像特征，生成用于目标定位的自适应特征；将自适应特征与搜索图像通过共享网络处理获得的特征进行互相关操作，对分数图进行插值计算，获得跟踪的结果。其引入深度图，能够实现在复杂场景中高精度跟踪，效果好。

【技术实现步骤摘要】
基于孪生网络的RGB-D特征目标跟踪方法
本专利技术涉及计算机视觉
，具体涉及一种基于孪生网络的RGB-D特征目标跟踪方法。
技术介绍
目标跟踪是计算机视觉领域中具有重要研究意义的课题之一，其是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的参数，从而进行下一步的处理和分析，实现对运动目标的行为理解，以完成更高级的检测任务。基于深度学习的目标跟踪方法按照网络功能可以总结为三种：基于相关滤波的深度目标跟踪方法、基于分类网络的深度目标跟踪方法和基于回归网络的深度目标跟踪方法。基于相关滤波的深度目标跟踪方法：此方法从第1帧提取的目标区域中训练得到相关滤波器，当有新的视频帧时，相关滤波器与之进行互相关操作，得到的最大响应的位置即代表目标的新位置。有的方法通过结合多层CNN特征，利用相关相关滤波来定位被跟踪的目标。有的方法将相关滤波器设计成一个可微分的层，采用端到端方式训练网络，提取适用于相关滤波器的特征。有的方法使用少量的滤波器参数代替原来大量的过滤器参数，并结合高斯混合模型减少存储的样本数量以及保持样本的差异性。这种基本文档来自技高网...

【技术保护点】
1.一种基于孪生网络的RGB-D特征目标跟踪方法，其特征在于，包括以下步骤：/nS1、构建基于RGB-D特征的孪生网络模型，将模板图像与搜索图像分别输入至孪生网络模型；/nS2、模板图像经共享网络处理，获得模板图像的语义特征，将高层语义特征输入至深度卷积网络模块，获得深度图；/nS3、对所述深度图进行深度特征提取，获得深度特征信息，通过级联方式将所述深度特征信息与模板图像的语义特征进行融合，获得融合后的图像特征；/nS4、搜索图像经共享网络处理，获得搜索图像的特征，所述搜索图像的特征经卷积和池化操作，获得搜索图像的上下文信息，通过搜索图像的上下文信息指导S3中的融合后的图像特征，生成用于目标定...

【技术特征摘要】
1.一种基于孪生网络的RGB-D特征目标跟踪方法，其特征在于，包括以下步骤：
S1、构建基于RGB-D特征的孪生网络模型，将模板图像与搜索图像分别输入至孪生网络模型；
S2、模板图像经共享网络处理，获得模板图像的语义特征，将高层语义特征输入至深度卷积网络模块，获得深度图；
S3、对所述深度图进行深度特征提取，获得深度特征信息，通过级联方式将所述深度特征信息与模板图像的语义特征进行融合，获得融合后的图像特征；
S4、搜索图像经共享网络处理，获得搜索图像的特征，所述搜索图像的特征经卷积和池化操作，获得搜索图像的上下文信息，通过搜索图像的上下文信息指导S3中的融合后的图像特征，生成用于目标定位的自适应特征；
S5、将自适应特征与搜索图像通过共享网络处理获得的特征进行互相关操作，得到分数图，对所述分数图进行插值计算，获得跟踪的结果。


2.如权利要求1所述的基于孪生网络的RGB-D特征目标跟踪方法，其特征在于，所述S3中对所述深度图进行深度特征提取，获得深度特征信息，包括：
通过卷积层提取深度图的深度特征；通过深度增强模块从深度特征中进一步提取有效深度特征。
其中，所述深度增强模块包括通道注意力操作和空间注...

【专利技术属性】
技术研发人员：胡伏原，尚欣茹，李林燕，高小天，张玮琪，程洪福，
申请(专利权)人：苏州科技大学，苏州佳图智绘信息技术有限公司，
类型：发明
国别省市：江苏;32