基于孪生框架的长短时记忆高空作业人员跟踪算法与运用制造技术

本发明专利技术公开了基于孪生框架的长短时记忆高空作业人员跟踪算法与运用，涉及视频图像深度处理技术领域，先对高空作业的视频进行采集，以目标位置为中点进行裁剪得到候选图，之后先通过标准卷积计算，得到新的深度特征图，以第一帧为模板特征图，基于上一帧图像裁剪得到的固定尺寸图像作为搜索图，并将其特征图像作为搜索特征图，然后对其进行相似度得分计算，同时将相似度得分图进行处理，得到得分图，分数最高的位置即是目标人员在搜索图像中的位置，对相似度测量后，通过卷积

【技术实现步骤摘要】
基于孪生框架的长短时记忆高空作业人员跟踪算法与运用


[0001]本专利技术属于视频图像深度处理
，具体是基于孪生框架的长短时记忆高空作业人员跟踪算法与运用
。

技术介绍

[0002]在对高空作业人员的检测视频流中，图像是连续地刷新，具有时序关系，高空作业人员在视频流中的表征除了外观信息外，也具备运动信息
。
而检测算法测始终对整个视野搜索检测，不考虑上下文关系，而且视野内如果存在多个高空作业人员，检测算法无法对同类目标进行区分，此时难以锁定并持续追踪单个高空作业人员
。
所以当工地的摄像头检测到目标对象并决定对其进行跟踪时，目标检测算法无法满足需求
。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题之一；为此，本专利技术提出了基于孪生框架的长短时记忆高空作业人员跟踪算法与运用，用于解决上述所提出的技术问题
。
[0004]为实现上述目的，根据本专利技术的第一方面的实施例提出基于孪生框架的长短时记忆高空作业人员跟踪算法与运用，包括：
[0005]步骤一：先对高空作业的视频进行采集，以目标位置为中点进行裁剪得到候选图，之后先通过标准卷积计算，得到多个通道特征图
F'
k
，对特征图进行线性变换，再次得到特征图
F”k
，将两个特征图
F'
k
和
F”k
进行堆叠，得到新的深度特征图
F
k
；/>[0006]步骤二：对相似度进行测量，根据深度特征图
F
k
，以第一帧为模板特征图，基于上一帧图像裁剪得到的固定尺寸图像作为搜索图，并将其特征图像作为搜索特征图，然后对其进行相似度得分计算，同时将相似度得分图进行处理，得到得分图，分数最高的位置即是目标人员在搜索图像中的位置；
[0007]步骤三：对相似度测量后，通过卷积
LSTM
机制给网络增加视频时序信息，卷积
LSTM
机制即为使用
sigmoid
激活函数进行计算分别得到输入门
、
忘记门和输出门，之后再通过对遗忘门
f
t
和输入门
i
t
进行处理，得到记忆细胞
C
t
，再将输出状态进行过滤，计算当前
LSTM
单元的最终输出
Y
t
；
[0008]步骤四：之后针对全卷积孪生网络跟踪模型模板不更新的问题，加入卷积长短时记忆机制，提升模型对上下文的信息使用
。
[0009]优选的，深度特征图
F
k
的具体获取方法为：
[0010]S11
：首先对目标视频中的目标位置进行识别，目标位置指视频中所出现的高空作业人员所在目标视频中的位置；
[0011]S12
：然后以上一帧视频中所出现的目标位置为中心进行裁剪，得到候选图，之后将候选图按照顺序分别标记为
1、2、3、
……
、n
，表示存在
n
组候选图；
[0012]S13
：任选一组候选图，对其采用标准卷积计算，得到多个通道特征图，即采用公式
F'
k
＝
conv(X
k
‑1，
F
k
‑1)
，
k
＝
2、3、
……
、k1
，
conv()
表示标准卷积，
X
k
‑1、F
k
‑1分别为第
k
‑1层的标
准卷积核
、
特征图，
F'
k
表示新生成的特征图；
[0013]S14
：对新生成的特征图采用对应的线性变换，即采用公式
F”k
＝
Φ
k
‑1(F'
k
)
，再次得到多个特征图
F”k
，其中表示一系列的线性变换；
[0014]S15
：然后将两个特征图
F'
k
和
F”k
进行堆叠，从而得到新的输出特征图，即采用公式
F
k
＝
concact(F'
k
，
F”k
)
，得到第
k
层的特征图，并将其标记为深度特征图
F
k
，
concact()
表示将特征图进行堆叠
。
[0015]优选的，其特征在于，对相似度进行测量的具体方法为：
[0016]采用公式
f(z
，
x)
＝
Φ
(x)*
Φ
(z)+bI
得到相似度得分图，其中
bI
为偏置项，表示得分图上每个位置的偏置，
Φ
(
·
)
表示特征提取网络，
*
为卷积运算，
f(z
，
x)
为模板分支与搜索分支的相似度得分图；
[0017]将相似度得分图进行双线性插值处理得到与原图相同大小的得分图，其中分数最高的位置即是目标人员在搜索图像中的位置
。
[0018]优选的，对相似度进行测量的过程中，还包含损失函数的计算，具体的损失函数计算过程为：
[0019]S21
：先采用公式
l(y,v)
＝
log(1+e
‑
yv
)
，其中
v
表示对应的深度特征图中实际分数，即得分图上的分数，
y∈[+1
，
‑
1]，表示对应的真实值，
+1
表示正样本，
‑1表示为负样本，正负样本根据候选框与真实框的中心点像素距离进行设定；
[0020]S22
：之后分别采用公式：
[0021]得到损失函数最小时卷积网络的参数
θ
，其中
E
表示对应的实际分数的期望，
L
表示
logistic
损失，
D
表示样本量
。
[0022]优选的，计算当前
LSTM
单元的最终输出
Y
t
的方法为：
[0023]S31
：将输入信息使用
sigmoid
激活函数进行计算分别得到输入门
、
忘记门和输出门，同时当存在新的输入信息进入时，若输入门
i
t
被激活，此时信息将被累积至记忆细胞中；
[0024]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于孪生框架的长短时记忆高空作业人员跟踪算法与运用，其特征在于，包括：步骤一：先对高空作业的视频进行采集，以目标位置为中点进行裁剪得到候选图，之后先通过标准卷积计算，得到多个通道特征图
F
k
'
，对特征图进行线性变换，再次得到特征图
F
k”，将两个特征图
F
k
'
和
F
k”进行堆叠，得到新的深度特征图
F
k
；步骤二：对相似度进行测量，根据深度特征图
F
k
，以第一帧为模板特征图，基于上一帧图像裁剪得到的固定尺寸图像作为搜索图，并将其特征图像作为搜索特征图，然后对其进行相似度得分计算，同时将相似度得分图进行处理，得到得分图，分数最高的位置即是目标人员在搜索图像中的位置；步骤三：对相似度测量后，通过卷积
LSTM
机制给网络增加视频时序信息，卷积
LSTM
机制即为使用
sigmoid
激活函数进行计算分别得到输入门
、
忘记门和输出门，之后再通过对遗忘门
f
t
和输入门
i
t
进行处理，得到记忆细胞
C
t
，再将输出状态进行过滤，计算当前
LSTM
单元的最终输出
Y
t
；步骤四：之后针对全卷积孪生网络跟踪模型模板不更新的问题，加入卷积长短时记忆机制，提升模型对上下文的信息使用
。2.
根据权利要求1所述的基于孪生框架的长短时记忆高空作业人员跟踪算法与运用，其特征在于，深度特征图
F
k
的具体获取方法为：
S11
：首先对目标视频中的目标位置进行识别，目标位置指视频中所出现的高空作业人员所在目标视频中的位置；
S12
：然后以上一帧视频中所出现的目标位置为中心进行裁剪，得到候选图，之后将候选图按照顺序分别标记为
1、2、3、
……
、n
，表示存在
n
组候选图；
S13
：任选一组候选图，对其采用标准卷积计算，得到多个通道特征图，即采用公式
F
′
k
＝
conv(X
k
‑1，
F
k
‑1)
，
k
＝
2、3、
……
、k1
，
conv()
表示标准卷积，
X
k
‑1、F
k
‑1分别为第
k
‑1层的标准卷积核
、
特征图，
F
′
k
表示新生成的特征图；
S14
：对新生成的特征图采用对应的线性变换，即采用公式
F
″
k
＝
Φ
k
‑1(F
′
k
)
，再次得到多个特征图
F
″
k
，其中表示一系列的线性变换；
S15
：然后将两个特征图
F
′
k
和
F
″
k
进行堆叠，从而得到新的输出特征图，即采用公式
F
k
＝
concact(F
′
k
，
F
″
k
)
，得到第
k
层的特征图，并将其标记为深度特征图
F
k
，
concact()
表示将特征图进行堆叠
。3.
根据权利要求1所述的基于孪生框架的长短时记忆高空作业人员跟踪算法与运用，其特征在于，对相似度进行测量的具体方法为：采用公式
f(z
，
x)
＝
Φ
(x)*
Φ
(z)+bI
得到相似度得分图，其中
bI
为偏置项，表示得分图上每个位置的偏置，
Φ
(
·
)
表示特征提取网络，
*
为卷积运算，
f(z
，
x)
为模板分支与搜索分支的相似度得分图；将相似度得分图进行双线性插值处理得到与原图相同大小的得分图，其中分数最高的位置即是目标人员在搜索图像中的位置
。4.
根据权利要求2所述的基于孪生框架的长短时记忆高空作业人员跟踪算法...

【专利技术属性】
技术研发人员：陈儒发，陈开作，潘桂彬，吴勋华，王坦，魏晓芝，扶武，王勇俊，
申请(专利权)人：保利长大工程有限公司，
类型：发明
国别省市：