用于起重机械的人员态势感知及安全监测方法技术

本发明专利技术公开了用于起重机械的人员态势感知及安全监测方法，具体包括如下模块：模块1，物体动态监测预警；模块2，人员作业监测登记；模块3，人员态势感知；模块4，车辆工况管理及人机交互；采用本发明专利技术，通过最终测试表明，本发明专利技术可实时识别吊装物体大小，动态设置警戒区域，对车辆视野盲区及吊臂下工作区域监管预警；硬件性价比高，功能更加丰富，自动化程度更高，系统实现了科学管理、安全施工，极大减少施工过程的安全隐患，健全起重机械施工预警机制，为起重机械工作时的安全提供多重保障。起重机械工作时的安全提供多重保障。起重机械工作时的安全提供多重保障。

【技术实现步骤摘要】
用于起重机械的人员态势感知及安全监测方法


[0001]本专利技术属于计算机视觉及特种设备安全
，涉及用于起重机械的人员态势感知及安全监测方法。

技术介绍

[0002]随着科技以及创新技术的发展，我国经济和科技也获得了快速发展，基建以及能源矿业行业领先全球，中大型的工程项目逐渐增多，大量且种类繁多的大型机械化特种设备出现在施工现场。大型机械化特种设备的参与施工，加快了工程项目的完成进度，但随之而来的安全问题也逐渐进入大众的视野。最为显著的是大型吊装车辆由于体型庞大，操作台复杂，视野盲区较多，带来许多工人操作不规范以及非工作人员进入警戒区域带来的安全问题。
[0003]本系统从吊装物体作业和车身安全出发，对特种设备车辆四周情况进行实时监控，采用深度学习方法，当非工作人员进入车身警戒区域时，进行报警，提示离开；为防止存在非工作人员进入吊装作业工作区，本系统设计一种基于人脸识别的子系统，对吊装作业工作区人员进行监控，确保工作人员的身份准确。对于吊装物体时，采用显著目标识别加目标跟踪的方法，根据所吊装物体的大小，动态设置警戒区域，并及时提示非工作人员的闯入。

技术实现思路

[0004]本专利技术的目的是提供用于起重机械的人员态势感知及安全监测方法，解决了现有的安全监测方法无法动态识别、部署困难、操作复杂的问题。
[0005]本专利技术所采用的技术方案是用于起重机械的人员态势感知及安全监测方法，具体按以下模块实施：
[0006]模块1，物体动态监测预警；
[0007]模块2，人员作业监测登记；
[0008]模块3，人员态势感知；
[0009]模块4，车辆工况管理及人机交互；
[0010]本专利技术的特点还在于：
[0011]其中模块1中物体动态监测预警具体按以下步骤实施：
[0012]步骤1.1，根据反馈信息获取图像。通过起重机械吊钩获取的重量信息判断吊钩工作状态，随后利用视频流或调用海康摄像头ISAPI获取摄像机第一帧的图像，用于后续图像处理；
[0013]步骤1.2，提出一种基于多特征融合的显著目标检测方法，对步骤1.1 捕获的图像进行显著性目标检测操作，通过视觉显著性变压器融合边界感知特征提取模块，预测目标的完整边界，将检测结果相关信息和参数传递给下一步进行操作；
[0014]步骤1.3，根据第一帧图像中识别的结果对物体进行目标跟踪；本模块目标跟踪模
型是一种基于自适应注意力机制和神经架构搜索设计的自动化轻量级目标跟踪方法，在跟踪性能和计算成本之间取得良好的平衡状态；
[0015]其中步骤1.2中进行显著性目标检测具体按以下步骤实施：
[0016]步骤1.2.1，采用基于令牌到令牌视觉转换器(Tokens
‑
to
‑
TokenVisionTransformer,T2T
‑
ViT)的变压器编码器模型作为主干，T2T
‑
ViT迭代采用T2T模块，该模块由重组步骤和软拆分步骤组成。首先使用变换器层变换令牌T
’
，重构步骤之后进行软分裂，将图像块展开为一系列标记，以T0∈R
lo
×
ck2
，其中序列长度lo计算如式(1)所示：
[0017][0018]式中，l
o
：令牌T
’
的数量；h、h
o
和w、w
o
分别代表输入图像的长和宽；软分割的面片的长为k；s代表重叠和p代表填充；
[0019]最后的令牌序列T3与正弦位置嵌入相加，以编码2D位置信息，然后使用LEtransformer层对T3之间的远程依赖性进行建模，提取强大的补丁令牌嵌入T
ε
∈R
l3
×
d
，如下式(2)所示：
[0020]T＝MLP(MSA(T'))(2)
[0021]式中，其中MSA和MLP是transformer中多头注意力和多层感知机；
[0022]步骤1.2.2，转换器编码器和解码器之间插入一个转换器模块，以转换编码器补丁令牌，从编码器空间到解码器空间，从而获得转换的补丁令牌。在整合RGB和深度数据之间的互补信息后，采用了一种交叉模态变换器(CMT)，由交叉模态激励层和自注意力机制组成。我们采用一个变换器层来获得每个级别i处的解码器令牌T
Di
，其中i＝2，1；整个过程被公式化为：
[0023][0024]式中，[,]表示沿令牌嵌入维度的串联；“Linear”是指线性投影；为解码器令牌；TR2T为反向T2T过程；
[0025]步骤1.2.3，解码器旨在将补丁标记T
C
解码为显著性映射；因此，采用一种新的基于多级令牌融合的令牌上采样方法和基于令牌的多任务解码器；先对补丁令牌进行上采样，然后进行密集预测。
[0026]对于显著性和边界预测，我们在最终解码器补丁标记与显著性和边缘标记t
s
和t
b
之间执行补丁任务注意。对于显著性预测，我们首先将嵌入查询并将t
s
嵌入密钥K
s
∈R1×
d
和a值V
s
∈R1×
d
。然后，采用补丁任务注意来获得与任务相关的补丁令牌：
[0027][0028][0029]式中，softplus()为激活函数；ts为边缘标记；代表S和D标记的Query；代表键值；V
b
代表价值value；，d代表边缘标记数量；
[0030]步骤1.2.4，边界特征是显箸目标检测的一个重要特征；预测结果在边界处的置信
度直接影响了最终的识别效果；为了得到更加显著的边缘特征，设计了边缘感知特征提取模块，边界感知特征提取模块的计算模型为：
[0031][0032]a＝ReLU(Conv(ReLU(Conv(E
p
)))
ꢀꢀꢀ
(7)
[0033]b＝ReLU(Conv(ReLU(Conv(E
p
)))
ꢀꢀꢀ
(8)
[0034]E
p
＝T
conv
(Canny(F
i
)
×
F
i
)
ꢀꢀꢀ
(9)
[0035]式中，F
i
为卷积块为第i层的特征；
⊙
表示Hadamard乘积，代表像素间的乘法运算；Conv(
·
)表示核大小为1
×
1卷积；ReLU(
·
)表示线性整流函数；T
conv
(
·
)为连续的卷积操作；Canny为一种边缘检测算子；
[0036]其中步骤1.3中目标跟踪具体按以下步骤实施：
[0037]步骤1.3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于起重机械的人员态势感知及安全监测方法，其特征在于，具体操作包括：物体动态监测预警、人员作业监测登记、人员态势感知和车辆工况管理及人机交互。2.根据权利要求1所述的用于起重机械的人员态势感知及安全监测方法，其特征在于，所述物体动态监测预警具体按以下步骤实施：步骤1.1，根据反馈信息获取图像，通过起重机械吊钩获取的重量信息判断吊钩工作状态，随后利用视频流或调用海康摄像头ISAPI获取摄像机第一帧的图像，用于后续图像处理；步骤1.2，提出基于多特征融合的显著目标检测方法，对步骤1.1捕获的图像进行显著性目标检测操作，通过视觉显著性变压器融合边界感知特征提取模块，预测目标的完整边界，将检测结果相关信息和参数传递给下一步进行操作；步骤1.3，根据第一帧图像中识别的结果对物体进行目标跟踪。3.根据权利要求2所述的用于起重机械的人员态势感知及安全监测方法，其特征在于，所述步骤1.2中对图像进行显著性目标检测操作具体按以下步骤实施：步骤1.2.1，采用基于令牌到令牌视觉转换器的变压器编码器模型作为主干，T2T
‑
ViT迭代采用T2T模块，该模块由重组步骤和软拆分步骤组成，首先使用变换器层变换令牌T
’
，重构步骤之后进行软分裂，将图像块展开为一系列标记，以T0∈R
lo
×
ck2
，其中序列长度lo计算如式(1)所示：式中，l
o
：令牌T
’
的数量；h、h
o
和w、w
o
分别代表输入图像的长和宽；软分割的面片的长为k；s代表重叠和p代表填充；最后的令牌序列T3与正弦位置嵌入相加，以编码2D位置信息，然后使用LE transformer层对T3之间的远程依赖性进行建模，提取强大的补丁令牌嵌入Tε∈R
l3
×
d
，如下式(2)所示：T＝MLP(MSA(T'))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式中，其中MSA和MLP是transformer中多头注意力和多层感知机；步骤1.2.2，转换器编码器和解码器之间插入一个转换器模块，以转换编码器补丁令牌，从编码器空间到解码器空间，获得转换的补丁令牌，在整合RGB和深度数据之间的互补信息后，采用交叉模态变换器CMT，由交叉模态激励层和自注意力机制组成，本申请采用一个变换器层来获得每个级别i处的解码器令牌T
Di
，其中i＝2，1，整个过程被公式化为：式中，[,]表示沿令牌嵌入维度的串联；“Linear”是指线性投影；为解码器令牌；TR2T为反向T2T过程；步骤1.2.3，解码器旨在将补丁标记T
C
解码为显著性映射，采用基于多级令牌融合的令牌上采样方法和基于令牌的多任务解码器，先对补丁令牌进行上采样，然后进行密集预测；对于显著性和边界预测，在最终解码器补丁标记与显著性和边缘标记ts和tb之间
执行补丁任务注意；对于显著性预测，首先将嵌入查询嵌入查询并将ts嵌入密钥Ks∈R1
×
d和a值Vs∈R1
×
d；然后，采用补丁任务注意来获得与任务相关的补丁令牌：采用补丁任务注意来获得与任务相关的补丁令牌：式中，softplus()为激活函数；ts为边缘标记；代表S和D标记的Query；代表键值；V
b
代表价值value；，d代表边缘标记数量；步骤1.2.4，为了得到更加显著的边缘特征，设计了边缘感知特征提取模块，边界感知特征提取模块的计算模型为：a＝ReLU(Conv(ReLU(Conv(E
p
)))
ꢀꢀꢀꢀꢀ
(7)b＝ReLU(Conv(ReLU(Conv(E
p
)))
ꢀꢀꢀꢀꢀꢀ
(8)E
p
＝T
conv
(Canny(F
i
)
×
F
i
)
ꢀꢀꢀꢀꢀꢀ
(9)式中，F
i
为卷积块为第i层的特征；
⊙
表示Hadamard乘积，代表像素间的乘法运算；Conv(
·
)表示核大小为1
×
1卷积；ReLU(
·
)表示线性整流函数；T
conv
(
·
)为连续的卷积操作；Canny为一种边缘检测算子。4.根据权利要求2所述的用于起重机械的人员态势感知及安全监测方法，其特征在于，所述步骤1.3中目标跟踪具体按以下步骤实施：步骤1.3.1，显著目标识别已经识别到物体，随后在目标跟踪方法中引入了NAS方法及权重共享策略，将主干架构的搜索空间编码为超级搜索网络Nb，自建的Field数据库预训练是通过优化分类损失函数来执行的，如下式所示：式中，代表优化分类损失函数；Nb为搜索网络，Wb表示Nb的参数；argmin(
·
)为取最小值函数；步骤1.3.2，为提高目标跟踪的精度，提出端到端训练的自适应注意力机制方法，采用两个自适应最大池化生成水平和竖直两个独立的方向感知特征图，能获取精确的空间位置信息，如式(11)所示；使用Sigmoid激活函数增加网络非线性防止模型过拟合，如式(12)所示：
式中：σ表示Sigmoid激活函数；f
h
∈R
C
×
H
×1和f
w
∈R
C
×
W
×1表示具有非线性的两个独立的方向感知中间注意力权重张量，h为特征图的长，w为特征图的宽；步骤1.3.3，为了采用高效的神经结构，使用深度可分离卷积和倒置线性瓶颈层以及挤压激活模块来构建新的搜索空间，该空间由主干部分A
b
和头部部分A
h
组成；步骤1.3.4，目标跟踪算法的搜索通道包括三个连续的阶段：预训练主干超级搜索网络、训练跟踪超级搜索网络，以及在训练的超级搜索网络上用遗传进化算法进行搜索；步骤1.3.5，为了进一步提升对目标的跟踪速度，引入了降维与快速傅里叶变换技术，首先使用主成分分析PCA技术降维，构建目标模板u
t
＝(1
‑
η)u
t
‑1+ηf
t
×
tf，通过u
t
的重构误差ε来获得Pt，如式(13)所示，随后在正交约束的条件下，计算得到ε的最小解，对u
t
的自相关矩阵Ct进行特征值分解获得：式中，Ct为自相关矩阵；u
t
(
·
)为目标模板；u
t
(
·
)T为转置的模板；随后将降维后的目标模型完成对于滤波器分母的更新；如下式所示：式中，为滤波器模板分母的更新公式；目标切片在第k维的分量对应的离散傅立叶变换后的值；代表的复共轭；η自适应更新学习率；利用实函数的傅立叶系数服从Hermitian对称这一性质，将傅里叶谱的中心移动到图像中心得到具有共辄对称性的矩阵达到改进傅里叶变换；步骤1.3.6，对目标进行跟踪后，为达到警戒范围实时更新的目的，间隔500ms更新一次新的警戒范围参数值，目标框定与摄像头警戒范围设定的关系如下式所示：式中，R1和R2表示预警框半径；h表示识别框长度；α和β表示物体框和预警...

【专利技术属性】
技术研发人员：宋霄罡，周振华，梁莉，黑新宏，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：