【技术实现步骤摘要】
基于注意力机制和双流多域卷积神经网络的人体跟踪算法
[0001]本专利技术公开涉及计算机视觉
，尤其涉及一种基于注意力机制和双流多域卷积神经网络的人体跟踪算法。
技术介绍
[0002]当前的目标视觉跟踪主要分为两大类:生成模型方法和判别模型方法。生成类方法首先要对目标区域进行建模，并且要在后续帧中找到与模型最相似的区域，进而实现位置预测。判别类方法则是将图像特征与机器学习相结合，以目标区域作为正样本，背景区域作为负样本，使用分类器在整个图像中找到最优区域。近年来，相关的滤波类方法和深度学习类方法表现出出众的准确性和快速性，常常被学者所使用，但深度学习类的方法在实际应用中的处理速度还有待提高。
[0003]使用深度学习的方法进行目标跟踪：文献Nam H.,Han B.Learning Multi
‑
Domain Convolutional Neural Networks for Visual Tracking[J].2015.1
‑
13，提出了多域卷积神经网络(Multidom...
【技术保护点】
【技术特征摘要】
1.基于注意力机制和双流多域卷积神经网络的人体跟踪算法，其特征在于，所述双流多域神经卷积网络采用双流输入，多流输出的方式对人体目标进行跟踪；通过原始视频序列提取人体目标的表观特征，通过帧差序列提取人体目标的运动特征，并根据人体目标的运动幅度在图像中的占比作为自适应融合参数，实现目标表观特征与运动特征自适应融合；应用所述双流多域神经卷积网络进行目标跟踪时，包括：1)离线训练：通过对不同视频段内标定的人体目标进行深层次的特征提取，获得网络共享层参数；2)在线学习：通过在线学习的方式，更新网络中全连接层参数，并结合卷积层融合得到的特征进行边框回归，优化目标跟踪的结果。2.根据权利要求1所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法，其特征在于，具体包括如下步骤：S1：构造训练数据，对训练数据中的视频进行目标标定，即标定待跟踪的人体目标；S2：读取标定的人体目标跟踪区域信息以及对应的视频段，确定训练的视频段数目K，并将读取的视频数据进行归一化；S3：将归一化的视频数据进行帧差处理，对帧差图像进行预处理操作，获得人体目标运动的区域，并根据人体目标运动的区域与目标标定的区域计算目标运动程度，进而得到卷积网络特征融合权重；S4：构造离线训练时基于注意力机制的双流多域卷积网络模型，根据S2中得到的训练视频段数K，确定双流多域卷积神经网络的独立层分支数，初始化网络模型并确定损失函数与优化器；S5：将归一化的视频数据和每一个视频序列及对应的帧差序列进行打乱，采用样本生成器及重叠率函数S
*
(IOU)生成及区分正负样本；S6：将步骤5中得到的正负样本及其标签送入S4中构造的离线网络模型中进行训练，得到训练后的网络共享层参数；S7：将得到的网络共享层参数进行保留，构造在线学习时基于注意力机制的双流多域卷积网络模型；S8：对待跟踪目标进行在线学习，将跟踪目标的首帧送入在线跟踪模型，进行网络训练，更新全连接层参数；S9：计算边框回归需要的参数，通过网络模型最后一个卷积层的输出进行边框回归，实现目标跟踪边框的优化；S10：以前一帧中目标所在的位置预测后一帧目标的位置；其中以前一帧目标位置作为中心，以随机高斯分布的方式生成候选区域，通过网络模型输出的跟踪目标相似度分数，确定跟踪目标在下一帧的位置，在下一帧相同位置周围行进目标候选框设置，判断候选区域与跟踪目标的相似度，进而确定跟踪区域；S11：反复执行S9及S10，通过边框回归实现跟踪目标所在位置的优化，通过相邻两帧的目标的相似度得分准确定位出跟踪目标，不断地循环视频序列，更新fc4
‑
6层参数，最终实现视频中的人体目标的跟踪。3.根据权利要求1所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法，
其特征在于，所述S3中自适应特征融合权重的计算公式为：δ
R
＝1
‑
δ
E
其中：δ
R
为目标表观特征权重，δ
E
为运动特征权重，R
R
【专利技术属性】
技术研发人员：姬晓飞，李俊鹏，田晓欧，琚兆杰，赵东阳，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。