受丘脑注意机制调控的信息融合的视觉跟踪方法及系统技术方案

本发明专利技术提供一种受丘脑注意机制调控的多层视皮层信息融合的视觉跟踪方法及系统，所述视觉跟踪方法包括：从视频中的第一帧中获取待跟踪目标以及位置标签；基于预训练卷积神经网络模型，获取第一帧中待跟踪目标的不同卷积层的特征；根据位置标签，构建高斯标签；通过相关滤波得到各卷积层的模板；针对新的一帧，在前一帧的中心中裁剪出待搜索区域，利用相关滤波，以及各卷积层的模板，得到各卷积层的响应；利用空间注意机制以及时间注意机制动态调整其他层的响应的权重；根据调整后的其他层的权重，确定待跟踪目标的所在位置。本发明专利技术对于不同视皮层分配不同的权重，将不同层视觉特征去动态组合到一起，实现视觉跟踪性能的有效提升。

【技术实现步骤摘要】
受丘脑注意机制调控的信息融合的视觉跟踪方法及系统本申请要求于2018年11月12日提交中国专利局、申请号为201811341205.0、专利技术名称为“一种受丘脑注意机制调控的多层视皮层信息融合的视觉跟踪模型”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本专利技术涉及类脑智能和人工智能领域，具体涉及一种受丘脑注意机制调控的信息融合的视觉跟踪方法及系统。
技术介绍
在灵长类动物中，除了嗅觉外，丘脑接收其他各种感觉输入。除了对信息进行转换，丘脑还在皮层的信息传递过程中起到调控作用。丘脑主要由外膝体(LGN)、丘脑网状核(TRN)以及丘脑枕(Pulvinar)组成。外膝体将感觉器官与大脑皮层连接起来，对信息进行中转；丘脑网状核调控大脑皮层与丘脑之间的信息传递；丘脑枕是丘脑中最大的核团，神经科学的实验研究表示丘脑枕与众多视觉皮层具有大量双向连接。如图所示，丘脑与众多皮层区域有着密切连接。比如说初级视觉皮层1(V1)，初级视觉皮层2(V2)，初级视觉皮层4(V4)，下颞叶皮层(IT)，背外侧前额叶皮层(PLPFC)，眶额叶皮层(OFC)，后顶叶皮质(PPC)这些连接都是双向的，易于形成反馈的环路，因此丘脑是一个重要的脑区起到了中央调控的作用。而视觉注意作为人类的一项重要能力，它使得我们能够有效处理对于我们最重要的事情。视觉注意一直以来是神经科学、心理学、计算机科学等领域的研究热点问题。目前的研究成果，尤其是计算机领域的建模，更多的是关注每层皮层内部在视觉注意中的作用，而对于跨层皮层之间的空间注意机制，以及视频流中的时间注意机制研究很少。目前视觉跟踪算法的主流框架叫做相关滤波算法(correlationfilter)，是一种模板匹配算法。在第一帧框住目标后，计算出此时目标的特征，最原始的算法是用的特征的像素信息，后来利用颜色直方图，Hog特征等等来表示目标的主要特征，在新的一帧到来的时候，在上一帧目标位置处，进行循环采样得到一系列样本，将这些样本的特征，与目标特征进行比较，最相似的样本即为新的目标所在处。卷积神经网络在许多视觉任务比如分类，识别，分割中展现了强大了的能力。由于其强大的特征表示能力，所以在视跟踪任务中也被考虑进来，代替原来的一些手工设计特征，比如说Hog之类，一个卷积神经网络包含着不同的卷积层，池化层。目前大多数的视觉跟踪算法，主要利用的是卷积神经网络最后一层的特征，这一层的特征有着丰富的语义信息。但是，虽然说这些特征对于不同类的目标分辨很有效，比如说人和狗。但是，由于缺乏一些空间细节信息，对于相同类的不同物体，比如两个不同的人，想要区分就很困难。而卷积神经网络浅层的特征相对于最后一层的特征保留了更多的细节，对于同一类的不同物体能有更大的区分度。但是，浅层特征对于物体的形变，光照，等等较为敏感，稍微改变，判别能力会大幅度下降。
技术实现思路
为了解决现有技术中的上述问题，即为了提高目标跟踪性能，本专利技术提供一种受丘脑注意机制调控的信息融合的视觉跟踪方法及系统。为实现上述目的，本专利技术提供了如下方案：一种受丘脑注意机制调控的多层视皮层信息融合的视觉跟踪方法，所述视觉跟踪方法包括：步骤S100，从视频中的第一帧中获取待跟踪目标以及在所述待跟踪目标的位置标签；步骤S200，基于预训练卷积神经网络模型，获取第一帧中待跟踪目标的不同卷积层的特征；步骤S300，根据所述待跟踪目标的位置标签，构建高斯标签；步骤S400，根据所述高斯标签及步骤S200中得到的不同卷积层的特征，通过相关滤波得到各卷积层的模板；步骤S500，针对新的一帧，在前一帧的中心中裁剪出待搜索区域，基于预训练卷积神经网络模型，利用相关滤波，以及得到的各卷积层的模板，得到各卷积层的响应；步骤S600，将最后一层的卷积层的响应当作一个基础响应，利用空间注意机制以及时间注意机制动态调整其他层的响应的权重；步骤S700，根据调整后的其他层的权重，确定待跟踪目标的所在位置。可选的，所述视觉跟踪方法还包括：根据待跟踪目标的所在位置，确定当前帧中的待跟踪目标；基于预训练卷积神经网络模型以及当前帧中的待跟踪目标，确定当前帧中待跟踪目标的不同卷积层的特征，以更新各卷积层的模板。可选的，步骤S400中所述卷积层的模板为：其中，Xk是第k个卷积层得到的特征；Y是样本实际的标签，是一个二维的高斯分布，中心值为1是样本的实际位置；F(Xk)表示对Xk进行离散傅里叶变换；F(Y)表示对Y进行离散傅里叶变换；λ表示k个卷积层的响应的权重；d表示第k个卷积层特征的通道序号；*,*,d表示卷积层的第d个通道，表示第k个卷积层第d个通道的模板，表示傅里叶变换的复共轭。可选的，步骤S500中所述卷积层的响应为：基于预训练卷积神经网络模型，确定第k层的特征Tk；根据以下公式计算第k层的特征Tk的响应Rk：其中，Rk为第k层的特征Tk的响应Rk；Tk为基于卷积神经网络确定的第k层的特征；F(Tk)表示对Tk进行离散傅里叶变换，表示傅里叶变换的复共轭，F-1表示的离散傅里叶变换的逆变换，Wk表示第k个卷积层的模板模型。可选的，所述将最后一层的卷积层的响应当作一个基础响应，利用空间注意机制以及时间注意机制动态调整其他层的响应的权重，具体包括：利用卷积神经网络最后一层的特征进行计算，得到的最后一层响应Rlast：Rlast＝F-1(F(Tlast)·Wlast)；其中，F(Tlast)表示对Tlast进行离散傅里叶变换，表示傅里叶变换的复共轭，F-1表示的离散傅里叶变换的逆变换，Wlast表示最后一个卷积层的模板模型；根据以下公式，由空间注意机制计算空间注意权重SAWk：其中，Rk表示第k层的特征Tk的响应，max(Rk)表示响应Rk的最大值，μ(Rk)表示响应Rk的算数平均值，σ(Rk)表示响应Rk的标准差；根据以下公式，由时间注意机制计算时间注意权重TAWk：其中，表示一个响应的移位操作，Δ表示的是第t-1帧到第t帧响应最大值移动的位置，表示范数；融合空间注意权重以及时间注意权重，确定不同响应的权重系数ωk：其中，η表示平衡参数。可选的，η＝0.1可选的，所述不同卷积层的特征分为conv3-4层特征、conv4-4层特征、conv5-4层特征。可选的，根据调整后的其他层的权重，确定待跟踪目标的所在位置，具体包括：将conv5-4层的响应、调整后的conv3-4加权响应以及调整后的conv4-4加权响应相加得到响应终值：Rtotal＝ω1Rprimary+ω2Rmiddle+Rlast；其中，Rprimary表示conv3-4层响应，ω1表示调整后的conv3-4层响应的权重，Rmiddle表示conv4-4层响应，ω2Rlast表示表示调整后的conv4-4层响应的权重，Rtotal是响应终值；根据响应终值，计算当前待跟踪目标的所在位置(xk,yk)：其中，(x',y')表示目标位置。为解决上述技术问题，本专利技术还提供了如下方案：一种受丘脑注意机制调控的多层视皮层信息融合的视觉跟踪系统，所述视觉跟踪系统包括：初步定位单元，用于从视频中的第一帧中获取待跟踪目标以及在所述待跟踪目标的实际的位置标签；特征确定单元，用于基于预训练卷积神经网络模型，获取第一帧中待跟踪目标的不同卷积层的本文档来自技高网...

【技术保护点】
1.一种受丘脑注意机制调控的多层视皮层信息融合的视觉跟踪方法，其特征在于，所述视觉跟踪方法包括：步骤S100，从视频中的第一帧中获取待跟踪目标以及在所述待跟踪目标的位置标签；步骤S200，基于预训练卷积神经网络模型，获取第一帧中待跟踪目标的不同卷积层的特征；步骤S300，根据所述待跟踪目标的位置标签，构建高斯标签；步骤S400，根据所述高斯标签及步骤S200中得到的不同卷积层的特征，通过相关滤波得到各卷积层的模板；步骤S500，针对新的一帧，在前一帧的中心中裁剪出待搜索区域，基于预训练卷积神经网络模型，利用相关滤波，以及得到的各卷积层的模板，得到各卷积层的响应；步骤S600，将最后一层的卷积层的响应当作一个基础响应，利用空间注意机制以及时间注意机制动态调整其他层的响应的权重；步骤S700，根据调整后的其他层的权重，确定待跟踪目标的所在位置。

【技术特征摘要】
2018.11.12 CN 20181134120501.一种受丘脑注意机制调控的多层视皮层信息融合的视觉跟踪方法，其特征在于，所述视觉跟踪方法包括：步骤S100，从视频中的第一帧中获取待跟踪目标以及在所述待跟踪目标的位置标签；步骤S200，基于预训练卷积神经网络模型，获取第一帧中待跟踪目标的不同卷积层的特征；步骤S300，根据所述待跟踪目标的位置标签，构建高斯标签；步骤S400，根据所述高斯标签及步骤S200中得到的不同卷积层的特征，通过相关滤波得到各卷积层的模板；步骤S500，针对新的一帧，在前一帧的中心中裁剪出待搜索区域，基于预训练卷积神经网络模型，利用相关滤波，以及得到的各卷积层的模板，得到各卷积层的响应；步骤S600，将最后一层的卷积层的响应当作一个基础响应，利用空间注意机制以及时间注意机制动态调整其他层的响应的权重；步骤S700，根据调整后的其他层的权重，确定待跟踪目标的所在位置。2.根据权利要求1所述的受丘脑注意机制调控的多层视皮层信息融合的视觉跟踪方法，其特征在于，所述视觉跟踪方法还包括：根据待跟踪目标的所在位置，确定当前帧中的待跟踪目标；基于预训练卷积神经网络模型以及当前帧中的待跟踪目标，确定当前帧中待跟踪目标的不同卷积层的特征，以更新各卷积层的模板。3.根据权利要求1所述的受丘脑注意机制调控的多层视皮层信息融合的视觉跟踪方法，其特征在于，步骤S400中所述卷积层的模板为：其中，Xk是第k个卷积层得到的特征；Y是样本实际的标签，是一个二维的高斯分布，中心值为1是样本的实际位置；F(Xk)表示对Xk进行离散傅里叶变换；F(Y)表示对Y进行离散傅里叶变换；λ表示k个卷积层的响应的权重；d表示第k个卷积层特征的通道序号；*,*,d表示卷积层的第d个通道；表示第k个卷积层第d个通道的模板，表示傅里叶变换的复共轭。4.根据权利要求1所述的受丘脑注意机制调控的多层视皮层信息融合的视觉跟踪方法，其特征在于，步骤S500中所述卷积层的响应为：基于预训练卷积神经网络模型，确定第k层的特征Tk；根据以下公式计算第k层的特征Tk的响应Rk：其中，Rk为第k层的特征Tk的响应Rk；Tk为基于卷积神经网络确定的第k层的特征；F(Tk)表示对Tk进行离散傅里叶变换，表示傅里叶变换的复共轭，F-1表示的离散傅里叶变换的逆变换，Wk表示第k个卷积层的模板模型。5.根据权利要求1所述的受丘脑注意机制调控的多层视皮层信息融合的视觉跟踪方法，其特征在于，所述将最后一层的卷积层的响应当作一个基础响应，利用空间注意机制以及时间注意机制动态调整其他层的响应的权重，具体包括：利用卷积神经网络最后一层的特征进行计算，得到的最后一层响应Rlast：Rlast＝F-1(F(Tlast)·Wlast)；其中，F(Tlast)表示对Tlast进行离散傅里叶变换，表示傅里叶变换的复共轭，F-1表示的离散傅里叶变换的逆变换，Wlast表示最后...

【专利技术属性】
技术研发人员：赵东城，曾毅，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11