基于深度学习的视频行为识别安防系统技术方案

本发明专利技术公开了基于深度学习的视频行为识别安防系统，包括：图像采集处理模块、目标图像获取模块、系统管理中心、静态分析模块、动态趋势预测模块、危险警报模块和安全防卫终端，通过图像采集处理模块获取儿童在攀爬网上的实时图像和深度图，通过卷积神经网络识别算法识别图像，通过目标图像获取模块获取儿童骨骼关节点二维图像，通过静态分析模块对关节点进行定位，分析提取儿童至攀爬网边缘的相对距离，通过动态趋势预测模块获取部分关键关节点，依据部分关键关节点的变化轨迹预测儿童的攀爬移动方向，通过危险警报模块在预测到儿童有坠落可能时发出警报信号，实现了儿童安全监测目标，提高了攀爬安全性。提高了攀爬安全性。提高了攀爬安全性。

【技术实现步骤摘要】
基于深度学习的视频行为识别安防系统


[0001]本专利技术涉及视频行为安防
，具体为基于深度学习的视频行为识别安防系统。

技术介绍

[0002]游戏和动作是儿童日常活动的基本表现形式，提高运动能够促进儿童自身运动技能、认知与自我概念的发展，攀爬属于儿童基本的运动形式，能够锻炼儿童的平衡能力，还可以提高儿童的空间定位能力，游乐园中就有许多攀爬型的游乐园设备，如攀爬网，对儿童具有吸引力，也能锻炼拓展儿童的身体素质，增强儿童的四肢活动能力和四肢协调性；
[0003]然而，对于儿童来说，在攀爬网上玩耍存在很多危险情况：首先，儿童在攀爬到边缘区域时，若双脚不慎离开攀爬网，由于上肢力量不足，容易从攀爬网边缘摔下来，攀爬网具有一定高度，由于儿童骨骼相较于成人而言较脆弱，从高处坠落容易发生骨折等创伤；其次，攀爬网上往往不只一个孩子玩耍，互相之间难免会有碰撞，若儿童正好在危险区域被撞倒，也可能会发生坠落事故，现有技术中，虽然在不断地改善提高攀爬网设备的安全程度，但对于儿童而言仍存在安全隐患，需要对儿童在攀爬网上的运动状态进行实时监测和识别，并进行安全防护。
[0004]所以，人们需要基于深度学习的视频行为识别安防系统来解决上述问题。

技术实现思路

[0005]本专利技术的目的在于提供基于深度学习的视频行为识别安防系统，以解决上述
技术介绍
中提出的问题。
[0006]为了解决上述技术问题，本专利技术提供如下技术方案：基于深度学习的视频行为识别安防系统，其特征在于：所述系统包括：图像采集处理模块、目标图像获取模块、系统管理中心、静态分析模块、动态趋势预测模块、危险警报模块和安全防卫终端；
[0007]所述图像采集处理模块利用深度相机获取儿童在攀爬网上的实时图像，通过卷积神经网络识别算法识别图像；将对应图像及其识别结果输出至所述目标图像获取模块，所述目标图像获取模块用于获取儿童骨骼关节点二维图像；所述静态分析模块用于对关节点进行定位，通过支持向量机分析提取儿童至攀爬网边缘的相对距离；所述动态趋势预测模块用于获取部分关键关节点，依据部分关键关节点在图像中的变化轨迹预测儿童的攀爬移动方向；所述危险警报模块用于在预测到儿童有坠落可能时通过危险警报器发出警报信号；所述安全防卫终端用于接收警报信号并进行安全防卫。
[0008]进一步的，所述图像采集处理模块包括图像获取单元、主处理单元和图像识别输出单元，所述图像获取单元用于获取深度相机拍摄的儿童攀爬深度图；所述主处理单元用于利用卷积网络识别算法对图像进行识别；所述图像识别输出单元用于输出处理后的图像至所述目标图像处理模块。
[0009]进一步的，所述目标图像获取模块包括骨骼数据提取单元、攀爬网建模单元和关
节点投影单元，所述骨骼数据提取单元用于提取图像中儿童的骨骼关节点数据；所述攀爬网建模单元用于以攀爬网为中心建立二维坐标系；所述关节点投影单元用于通过透视投影相机将关节点投影到二维模型中，获取儿童骨骼关节点在模型中的二维图像。
[0010]进一步的，所述静态分析模块包括关节点定位单元和相对距离提取单元，所述关节点定位单元用于获取二维模型中的骨骼关节点位置坐标；所述相对距离提取单元用于依据整体关节点坐标分析提取儿童到攀爬网边缘的相对距离。
[0011]进一步的，所述动态趋势预测模块包括关键关节点分析单元、偏转角度测量单元和移动方向预测单元，所述关键关节点分析单元用于在相对距离安全前提下，依据相对距离获取关键关节点，关键关节点为离攀爬网边缘最近的一侧关节点；所述偏转角度测量单元用于测量单个关节点的整体移动轨迹偏转角度；所述移动方向预测单元用于依据偏转角度预测儿童的整体移动方向；所述危险警报模块包括坠落危险预测单元和语音提醒单元，所述坠落危险预测单元用于依据预测数据分析儿童是否有坠落攀爬网的危险；在预测到有危险时利用所述语音提醒单元提醒安全防卫人员对对应儿童进行安全防护将预测结果传输到所述系统管理中心中，所述系统管理中心包括危险频次统计单元，通过所述危险频次统计单元统计预测结果中儿童处于或前往对应危险区域次数，设置危险次数阈值，将统计结果传输到所述语音提醒单元，当儿童处于或前往对应危险区域次数超出阈值时，利用所述语音提醒单元通知安全防卫人员对对应区域进行安全加固。
[0012]进一步的，所述利用卷积网络识别算法对图像进行识别，包括以下步骤：
[0013]S1：在采集的图像中获取儿童骨骼动作序列；
[0014]S2：将该序列可视化为一系列骨骼彩色图，将骨骼彩色图叠加得到骨骼能量图；
[0015]S3：使用卷积神经网络模型从骨骼能量图和深度图两组通道的图像中提取攀爬动作的时空特征。
[0016]进一步的，在步骤S3中：建立多重卷积神经网络模型，输入序列I
m
，获得一系列彩色图像集合为将每个图像标准化为N
×
N像素，对所有输入图像采用均值去除，然后每个彩色图像由CNN处理，对于图像输出Y
c
后，根据公式：
[0017][0018]进行归一化后获得后验概率，其中，l表示第l个动作类别，L表示动作类别总数，根据类分数公式获得所有CNN输出的平均值，prob(l|l
c
)表示图像属于第l个动作类别的概率，L个动作类别被存储在所述系统管理中心中，依据所有CNN输出的平均值判断图像属于的动作类别，与所述系统管理中心中存储的动作类别进行匹配，提取攀爬动作的时空特征，匹配后输出图像及其特征，CNN指卷积神经网络，结合深度图和骨骼能量图建立了双流卷积神经网络模型，丰富了提取的特征信息，卷积神经网络可直接输入经过简单预处理后的图像并提取特征，输出识别分类结果，使用Softmax归一化在多分类任务下生成样本属于各类别的概率，提高了儿童攀爬动作识别的正确率。
[0019]进一步的，利用所述骨骼数据提取单元提取图像中儿童的骨骼关节点数据，利用
攀爬网建模单元以攀爬网中心为原点建立二维坐标系，获取到攀爬网的长度为a，宽度为b，设定水平方向的危险区域为距攀爬网中心大于a
界
的区域，垂直方向的危险区域为距攀爬网中心大于b
界
的区域，通过所述关节点投影单元将关节点投影到二维坐标系中，利用所述关节点定位单元获取到儿童骨骼关节点的位置坐标集合为(X，Y)＝{(X1，Y1)，(X2，Y2)，...，(X
n
，Y
n
)}，筛选出横坐标绝对值最大的关节点，关节点坐标为(X
max
，Y
j
)，比较a
界
和X
max
：若|X
max
|＜a
界
，判断儿童未进入水平方向的危险区域；若|X
max
|≥a
界
，判断儿童已进入水平方向的危险区域；筛选出纵坐标绝对值最大的关节点，关节点坐标为(X
i
，Y
max
)，比较b
界
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的视频行为识别安防系统，其特征在于：所述系统包括：图像采集处理模块、目标图像获取模块、系统管理中心、静态分析模块、动态趋势预测模块、危险警报模块和安全防卫终端；所述图像采集处理模块利用深度相机获取儿童在攀爬网上的实时图像，通过卷积神经网络识别算法识别图像；将对应图像及其识别结果输出至所述目标图像获取模块，所述目标图像获取模块用于获取儿童骨骼关节点二维图像；所述静态分析模块用于对关节点进行定位，分析提取儿童至攀爬网边缘的相对距离；所述动态趋势预测模块用于获取部分关键关节点，依据部分关键关节点在图像中的变化轨迹预测儿童的攀爬移动方向；所述危险警报模块用于在预测到儿童有坠落可能时发出警报信号；所述安全防卫终端用于接收警报信号并进行安全防卫。2.根据权利要求1所述的基于深度学习的视频行为识别安防系统，其特征在于：所述图像采集处理模块包括图像获取单元、主处理单元和图像识别输出单元，所述图像获取单元用于获取深度相机拍摄的儿童攀爬深度图；所述主处理单元用于利用卷积网络识别算法对图像进行识别；所述图像识别输出单元用于输出处理后的图像至所述目标图像处理模块。3.根据权利要求1所述的基于深度学习的视频行为识别安防系统，其特征在于：所述目标图像获取模块包括骨骼数据提取单元、攀爬网建模单元和关节点投影单元，所述骨骼数据提取单元用于提取图像中儿童的骨骼关节点数据；所述攀爬网建模单元用于以攀爬网为中心建立二维坐标系；所述关节点投影单元用于将关节点投影到二维模型中，获取儿童骨骼关节点在模型中的二维图像。4.根据权利要求3所述的基于深度学习的视频行为识别安防系统，其特征在于：所述静态分析模块包括关节点定位单元和相对距离提取单元，所述关节点定位单元用于获取二维模型中的骨骼关节点位置坐标；所述相对距离提取单元用于依据整体关节点坐标分析提取儿童到攀爬网边缘的相对距离。5.根据权利要求1所述的基于深度学习的视频行为识别安防系统，其特征在于：所述动态趋势预测模块包括关键关节点分析单元、偏转角度测量单元和移动方向预测单元，所述关键关节点分析单元用于在相对距离安全前提下，依据相对距离获取关键关节点，关键关节点为离攀爬网边缘最近的一侧关节点；所述偏转角度测量单元用于测量单个关节点的整体移动轨迹偏转角度；所述移动方向预测单元用于依据偏转角度预测儿童的整体移动方向；所述危险警报模块包括坠落危险预测单元和语音提醒单元，所述坠落危险预测单元用于依据预测数据分析儿童是否有坠落攀爬网的危险，在预测到有危险时利用所述语音提醒单元提醒安全防卫人员对对应儿童进行安全防护，将预测结果传输到所述系统管理中心中，所述系统管理中心包括危险频次统计单元，通过所述危险频次统计单元统计预测结果中儿童处于或前往对应危险区域次数，设置危险次数阈值，将统计结果传输到所述语音提醒单元，当儿童处于或前往对应危险区域次数超出阈值时，利用所述语音提醒单元通知安全防卫人员对对应区域进行安全加固。6.根据权利要求2所述的基于深度学习的视频行为识别安防系统，其特征在于：所述利用卷积网络识别算法对图像进行识别，包括以下步骤：S1：在采集的图像中获取儿童骨骼动作序列；S2：将该序列可视化为一系列骨骼彩色图，将骨骼彩色图叠加得到骨骼能量图；
S3：使用卷积神经网络模型从骨骼能量图和深度图两组通道的图像中提取攀爬动作的时空特征。7.根据权利要求6所述的基于深度学习的视频行为识别安防系统，其特征在于：在步骤S3中：建立多重卷积神经网络模型，输入序列I
m
，获得一系列彩色图像集合为，获得一系列彩色图像集合为将每个图像标准化为N
×
N像素，对所有输入图像采用均值去除，然后每个彩色图像由CNN处理，对于图像输出Y
c
后，根据公式：进行归一化后获得后验概率，其中，l表示第l个动作类别，L表示动作类别总数，根据类分数公式获得所有CNN输出的平均值，prob(l|l
c
)表示图像属于第l个动作类别的概率，L个动作类别被存储在所述系统管理中心中，依据所有CNN输出的平均值判断图像属于的动作类别，与所述系统管理中心中存储的动作类别进行匹配，提取攀爬动作的时空特征，匹配后输出图像及其特征。8.根据权利要求4所述的基于深度学习的视频行为识别安防系统，其特征在于：利用所述骨骼数据提取单元提取图像中...

【专利技术属性】
技术研发人员：刘忠杰，
申请(专利权)人：常州信息职业技术学院，
类型：发明
国别省市：