基于骨骼关节的轻量级加油员行为识别方法及装置制造方法及图纸

基于骨骼关节的轻量级加油员行为识别方法及装置，该方法利用人体目标检测网络对预处理后的行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；遍历行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练人体目标检测网络；将人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；将人体运动轨迹检测框送入人体目标检测网络获得人体目标姿态信息，人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。本发明专利技术适合用在性价比更高且部署安装更为简单的深度学习嵌入式终端。单的深度学习嵌入式终端。单的深度学习嵌入式终端。

【技术实现步骤摘要】
基于骨骼关节的轻量级加油员行为识别方法及装置


[0001]本专利技术属于图像视觉深度学习
，具体涉及一种基于骨骼关节的轻量级加油员行为识别方法及装置。

技术介绍

[0002]目前，机场行为监督主要采用人工监管或视频监控两种方式，人工监管实际处理起来耗时耗力，同时难以达到实时性、全天候的要求，对工作人员的行为监督工作也难以到位，可能会导致较大的安全隐患。
[0003]而在视频监控中，基于视频的行为识别算法主要分为传统算法和基于深度学习方法两大类，传统行为识别方法需要人工设计特征对行为进行表征，实现简单但易受经验影响，准确性和鲁棒性一般，而深度学习视频行为识别方法由于要提取时间和空间特征，算力消耗大，不适于部署到算力较弱的嵌入式设备上。

技术实现思路

[0004]为此，本专利技术提供一种基于骨骼关节的轻量级加油员行为识别方法及装置，解决传统基于深度学习方案对算力要求较高，算力消耗大，不适于部署到算力较弱的嵌入式设备上的问题。
[0005]为了实现上述目的，本专利技术提供如下技术方案：一种基于骨骼关节的轻量级加油员行为识别方法，包括：
[0006]采集待识别的行为图像，将所述行为图像进行解码，对解码后的所述行为图像进行尺寸预处理；
[0007]构建人体目标检测网络，利用所述人体目标检测网络对预处理后的所述行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；
[0008]遍历所述行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练所述人体目标检测网络；
[0009]将所述人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；
[0010]将所述人体运动轨迹检测框送入所述人体目标检测网络获得人体目标姿态信息，所述人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。
[0011]作为基于骨骼关节的轻量级加油员行为识别方法优选方案，所述人体目标检测网络包括Block单元和SandGlass单元；
[0012]所述Block单元通过逐点卷积进行维度扩展，所述Block单元通过深度卷积提取通道特征；
[0013]所述SandGlass单元采用两次深度卷积和两层逐点卷积进行维度缩放。
[0014]作为基于骨骼关节的轻量级加油员行为识别方法优选方案，所述人体目标检测网络中引入空间金字塔池化结构，输入特征图分别经过三个预设尺寸的最大值池化层，并通
过一条shortcut路径将输入特征图与三个池化输出进行维度拼接，再利用一个卷积层对四个不同尺度的特征信息进行融合学习。
[0015]作为基于骨骼关节的轻量级加油员行为识别方法优选方案，将重叠率大于等于35％的锚框判定为正样本，将重叠率小于35％的锚框判定为负样本，利用判定的正样本和负样本对所述人体目标检测网络进行训练。
[0016]作为基于骨骼关节的轻量级加油员行为识别方法优选方案，利用所述人体目标检测网络获取的前后两帧锚框a和锚框b计算重叠度IOU，重叠度IOU计算公式为：
[0017]IOU＝(Area(a)∩Area(b))/(Area(a)∪Area(b))
[0018]式中，Area(a)为锚框a所占区域的面积，Area(b)为锚框b所占区域的面积。
[0019]作为基于骨骼关节的轻量级加油员行为识别方法优选方案，跟踪人体目标得到人体运动轨迹检测框步骤包括：
[0020]针对当前帧检测集D
f
，对于活跃的轨迹集合T
a
中的每一轨迹t
i
，选取最后加入轨迹的锚框信息，依次计算当前位置信息和当前帧检测集中所有检测框的重叠度IOU，如果满足最大的IOU(d
best
,t
i
)大于等于预设阈值，则判定当前检测框属于对应加入的轨迹，从当前帧检测集D
f
中删去当前检测框。
[0021]作为基于骨骼关节的轻量级加油员行为识别方法优选方案，如果不满足最大的IOU(d
best
,t
i
)大于等于预设阈值，计算当前检测框和轨迹框彩色直方图之间的相似度S，若S大于预设值，则判定当前检测框属于对应加入的轨迹。
[0022]作为基于骨骼关节的轻量级加油员行为识别方法优选方案，将当前帧检测集D
f
中所有剩余的检测框，作为新的轨迹的开始插入到活跃的轨迹集合T
a
中；
[0023]当检测完成后，对于活跃的轨迹集合T
a
中每个活跃轨迹t
i
，判断是否满足跟踪完毕的条件，若满足跟踪完毕的条件，转移到跟踪结束的轨迹集合T
f
中，将跟踪结束的轨迹集合T
f
作为提取的人体运动轨迹检测框。
[0024]作为基于骨骼关节的轻量级加油员行为识别方法优选方案，利用相似度OKS度量人体骨骼关键点的相似程度，更新人体姿态和骨骼关键点信息；
[0025]更新过程中，对每帧中的人体检测框分配一个追踪ID，计算相邻两帧间人体骨骼关键点的相似度OKS，相似度OKS计算公式为：
[0026][0027]式中，p表示人物的标号，i表示骨骼点的标号，表示标注关节点和预测关节点的欧氏距离,为标准差，表示对第i个骨骼关键点的归一化因子；δ(v
pi
＝1)表示第p个人体的第i个骨骼关键点可见。
[0028]本专利技术还提供一种基于骨骼关节的轻量级加油员行为识别装置，采用上述的基于骨骼关节的轻量级加油员行为识别方法，包括：
[0029]图像采集处理模块，用于采集待识别的行为图像，将所述行为图像进行解码，对解码后的所述行为图像进行尺寸预处理；
[0030]模型构建处理模块，用于构建人体目标检测网络，利用所述人体目标检测网络对预处理后的所述行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；
[0031]模型训练模块，用于遍历所述行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练所述人体目标检测网络；
[0032]人体目标跟踪模块，用于将所述人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；
[0033]目标行为识别模块，用于将所述人体运动轨迹检测框送入所述人体目标检测网络获得人体目标姿态信息，所述人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。
[0034]本专利技术具有如下优点：通过采集待识别的行为图像，将行为图像进行解码，对解码后的行为图像进行尺寸预处理；构建人体目标检测网络，利用人体目标检测网络对预处理后的行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于骨骼关节的轻量级加油员行为识别方法，其特征在于，包括：采集待识别的行为图像，将所述行为图像进行解码，对解码后的所述行为图像进行尺寸预处理；构建人体目标检测网络，利用所述人体目标检测网络对预处理后的所述行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；遍历所述行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练所述人体目标检测网络；将所述人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；将所述人体运动轨迹检测框送入所述人体目标检测网络获得人体目标姿态信息，所述人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。2.根据权利要求1所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，所述人体目标检测网络包括Block单元和SandGlass单元；所述Block单元通过逐点卷积进行维度扩展，所述Block单元通过深度卷积提取通道特征；所述SandGlass单元采用两次深度卷积和两层逐点卷积进行维度缩放。3.根据权利要求2所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，所述人体目标检测网络中引入空间金字塔池化结构，输入特征图分别经过三个预设尺寸的最大值池化层，并通过一条shortcut路径将输入特征图与三个池化输出进行维度拼接，再利用一个卷积层对四个不同尺度的特征信息进行融合学习。4.根据权利要求1所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，将重叠率大于等于35％的锚框判定为正样本，将重叠率小于35％的锚框判定为负样本，利用判定的正样本和负样本对所述人体目标检测网络进行训练。5.根据权利要求1所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，利用所述人体目标检测网络获取的前后两帧锚框a和锚框b计算重叠度IOU，重叠度IOU计算公式为：IOU＝(Area(a)∩Area(b))/(Area(a)∪Area(b))式中，Area(a)为锚框a所占区域的面积，Area(b)为锚框b所占区域的面积。6.根据权利要求5所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，跟踪人体目标得到人体运动轨迹检测框步骤包括：针对当前帧检测集D
f
，对于活跃的轨迹集合T
a
中的每一轨迹t
i
，选取最后加入轨迹的锚框信息，依次计算当前位置信息和当前帧检测集中所有检测框的重叠度IOU，如果满足最大的IOU(d
best
,t
i
)大于等于预设阈值...

【专利技术属性】
技术研发人员：王雷，管大胜，张志军，刘聪，裘函，
申请(专利权)人：上海承飞航空特种设备有限公司，
类型：发明
国别省市：