【技术实现步骤摘要】
基于表观特征和深度特征的目标跟踪方法、系统、装置
本专利技术属于计算机视觉跟踪
，具体涉及一种基于表观特征和深度特征的目标跟踪方法、系统、装置。
技术介绍
目标跟踪是计算机视觉领域中最基本的问题之一，其任务是估计视频序列中的对象或图像区域的运动轨迹。目标跟踪在实际场景中具有非常广泛的应用，通常充当较大计算机视觉系统中的一个组件。例如，自动驾驶和基于视觉的主动安全系统都依赖于跟踪车辆、骑自行车的人和行人的位置。在机器人系统中，跟踪感兴趣的目标是视觉感知中非常重要的一个方面，进而从相机传感器提取高级信息以用于决策和导航。除了机器人相关的应用，目标跟踪还经常被用于自动视频分析，在自动运动分析中，首先就是通过检测和跟踪比赛中涉及的运动员和物体来提取信息。其他的应用还包括增强现实技术和动态结构技术，它们的任务通常是跟踪不同的局部图像区域。从应用的多样性可以看出，目标跟踪问题本身是非常多样化的。近几十年来，目标跟踪领域虽然取得了突破性的进展，产生了众多经典的研究成果。但是，目标跟踪领域依旧存在着很多理论和技术问题有待解决，...
【技术保护点】
1.一种基于表观特征和深度特征的目标跟踪方法，其特征在于，该方法包括：/n步骤S10，根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域；并基于所述t-1帧的目标位置的中心点获取N倍于所述目标区域大小的区域，将其作为搜索区域；/n步骤S20，通过表观特征提取网络、深度特征提取网络分别提取所述目标区域、所述搜索区域对应的表观特征、深度特征；/n步骤S30，基于预设权重，分别对所述目标区域、所述搜索区域对应的表观特征、深度特征进行加权平均，得到目标区域的融合特征、搜索区域的融合特征；/n步骤S40，根据所述目标区域的融合特征、所述搜...
【技术特征摘要】 【专利技术属性】
1.一种基于表观特征和深度特征的目标跟踪方法，其特征在于，该方法包括：
步骤S10，根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域；并基于所述t-1帧的目标位置的中心点获取N倍于所述目标区域大小的区域，将其作为搜索区域；
步骤S20，通过表观特征提取网络、深度特征提取网络分别提取所述目标区域、所述搜索区域对应的表观特征、深度特征；
步骤S30，基于预设权重，分别对所述目标区域、所述搜索区域对应的表观特征、深度特征进行加权平均，得到目标区域的融合特征、搜索区域的融合特征；
步骤S40，根据所述目标区域的融合特征、所述搜索区域的融合特征，通过相关滤波器得到所述待追踪目标的响应图；将所述响应图的峰值对应的位置作为第t帧的目标位置；
其中，
所述表观特征提取网络基于卷积神经网络构建，用于根据输入的图像获取其对应的表观特征；
所述深度特征提取网络基于ResNet网络构建，用于根据输入的图像获取其对应的深度特征。
2.根据权利要求1所述的基于表观特征和深度特征的目标跟踪方法，其特征在于，步骤S10中“根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域”，其方法为：若t等于1，根据预设的目标位置和预设的目标尺寸，获取目标待追踪目标的目标区域；若t大于1，则根据t-1帧的目标位置和预设的目标尺寸，获取待追踪目标的目标区域。
3.根据权利要求1所述的基于表观特征和深度特征的目标跟踪方法，其特征在于，所述表观特征提取网络其结构为：两个卷积层、一个相关滤波层，每个卷积层后连接一个最大池化层和ReLU激活函数；所述网络在训练过程中采用反向传播算法进行训练。
4.根据权利要求1所述的基于表观特征和深度特征的目标跟踪方法，其特征在于，所述深度特征提取网络其结构为：5个卷积层、5个反卷积层；所述深度特征提取网络在训练过程中通过双目图像互相重建进行训练。
5.根据权利要求2所述的基于表观特征和深度特征的目标跟踪方法，其特征在于，所述深度特征提取网络在提取深度特征的过程中，若t等于1，其提取方法为：
基于深度特征提取网络获取第一帧图像的深度特征；
基于所述第一帧图像的深度特征、所述预设的目标位置，获取所述目标区域、所述搜索区域的深度特征。
技术研发人员：胡卫明，李晶，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。