一种在运动行为中识别跌倒事件的深度三维卷积神经网络检测方法技术

本发明专利技术专利提供了一种针对运动中人体跌倒事件的深度三维卷积网络检测方法。其特征在于：(1)每隔3秒监测接下来的6秒视频片段，在6秒视频片段中等间距提取18帧视频图像；将18帧图像输入特定的深度三维卷积神经网络孪生网络，并通过该网络得出是否有人跌倒的判定概率；将概率大于0.5的视频片段判定为该段时间片段内有跌倒事件发生。片段内有跌倒事件发生。

【技术实现步骤摘要】
一种在运动行为中识别跌倒事件的深度三维卷积神经网络检测方法
一、

[0001]物体动作分类、跌倒检测、计算机视觉、人工智能
二、
技术介绍

[0002]2.1通用技术方法介绍
[0003]卷积神经网络是利用卷积核在图片或特征上滑动提取特征的方法，是广泛采用的技术。
[0004]ResNet卷积神经网络[1]是一个流行的卷积神经网络特征提取方法。
[0005]2.2相似方法介绍
[0006]已有的人体跌倒检测通常分为两大类。
[0007]第一大类，通过图片信息判断。
[0008]第二大类，通过视频信息判断。
[0009]每个大类有可以通过所采用的方法具体划分，例如：
[0010]方案1。通过检测并获得人体骨骼关键点，判断人体所处于的姿态，进而判断其是否跌倒。
[0011]方案2。通过卷积神经网络提取特征，并利用特征判定人是否跌倒。
[0012]所以所有方法可以归纳为：基于图片的人体骨骼关键点跌倒判定方法，基于图片的神经网络特征提取的跌倒判定方法，基于视频的人体骨骼关键点跌倒判定方法，基于视频的神经网络特征提取的跌倒判定方法。
[0013]本申请的方法属于基于视频的神经网络特征提取的跌倒判定方法。但同已有方法相比，本申请的方法采用了三维卷积神经网络用于特征的融合和跌倒的判定，而已有方法仅采用二维模型。
[0014]同时，本申请因训练数据搜集于运动数据，所提出的方法更多适用于运动中的跌倒判定；而已有方法更多适用于日常生活场景。/>三、
技术实现思路

[0015]本申请在融合了创新技术和已有方法的基础上，本专利实现了一个端到端的针对运动中的人的跌倒事件检测方法。本申请方法每隔3秒监测接下来的6秒视频片段，在6秒视频片段中等间距提取18帧视频图像；将18帧图像输入特定的深度三维卷积神经网络孪生网络，并通过该网络得出是否有人跌倒的判定概率；将概率大于0.5的视频片段判定为该段时间片段内有跌倒事件发生。
[0016]本专利技术申请的内容主要上述处理跌倒的具体步骤和步骤中所采用的创新的三维卷积特征融合和提取算法。
四、附图说明
[0017]图1是本申请的方法的神经网络的结构图。
[0018]该方法通过判断每个视频片段是否有跌倒事件发生，从而达到跌倒事件监测的目的。
[0019]该方法将6秒视频片段中等间距提取18帧图像，按照参考文献[1]中ResNet
‑
50的网络结构，针对每个图片提取中间特征，各2048x7写维。18帧图像按顺序拼接成18x2048x7x7维特征，并变形成18x2048x49。
[0020]这些特征将输入到三维卷积子神经网络中。第一个卷积核18x3x3大小，卷积后特征大小2048x49，变形成2048x7x7后，用3x3大小卷积核生成2048个7x7大小的特征图，并用全局平局池化方法，每个特征图生成一个特征，形成2048维特征。
[0021]最后，这2048维特征用sigmoid函数生成了一个范围为[0，1]的概率，用于评价该段视频片段是否有人跌倒的判定。
五、具体实施方式
[0022]本申请通过3个步骤，本专利实现了自动的运动人体跌倒判定。
[0023]步骤一：帧的抽取
[0024]每隔3秒监测接下来的6秒视频片段，在6秒视频片段中等间距提取18帧视频图像。
[0025]步骤二：中间特征提取
[0026]18帧视频图像输入18个子分支，成型中间特征。
[0027]步骤三：利用三维卷积进行特征融合与提取
[0028]中间特征输入本申请方法提出的三维卷积子神经网络模块，生成最终的判定特征，并用sigmoid函数得到跌倒概率。
[0029]参考文献：
[0030][1]Kaiming He，Xiangyu Zhang，Shaoqing Ren，Jian Sun：Deep Residual Learning for Image Recognition. CVPR 2016：770
‑
778。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.本发明专利提供了一种针对运动中人体跌倒事件的深度三维卷积网络检测方法，其特征在于如下步骤：(1)每隔3秒监测接下来的6秒视频片段，在6秒视频片段中等间距提取18帧视频图像；(2)将18帧图像输入特定的深度三维卷积神经网络孪生网络，并通过该网络得出是否有人跌倒的判定概率，其取值范围为0到1。将概率大于0.5的视频片段判定为该段时间片段内有跌倒事件发生。2.根据权利要求1所要求的，特定的深度三维卷积...

【专利技术属性】
技术研发人员：王秋睿，唐子人，王子朴，
申请(专利权)人：首都体育学院，
类型：发明
国别省市：