基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法及系统技术方案

本发明专利技术公开了一种基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法及系统，包括：得到每一帧的卷积特征图；提出了一种新的轨迹注意力图，可以用于定位视频中的人物区域；视频帧的卷积特征图与轨迹注意力图相加权可以得到轨迹加权卷积特征，该特征可以有效地描述视频中人物区域的视觉特征；提出聚类池化的方法，消除序列中的冗余。最后，我们使用次序池化的方法编码轨迹加权卷积特征序列，得到的结果就是轨迹加权深度卷积次序池化描述子。使用该描述子，在SDUFall数据集上获得了目前最高的准确率，在UR数据集和多视角数据集上也获得了不错的效果。

【技术实现步骤摘要】
基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法及系统
本专利技术属于人体跌倒检测
，尤其涉及一种基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法及系统。
技术介绍
在世界范围内，年龄超过60岁的人群增长速度要远远超过其他年龄段，从2006年到2050年，预计人数将从688万增长到20亿。在中国，2010年65岁以上的老人大约占总人口的8.87％，但是到2050年，65岁以上的老人预计增长到30％。正如WHO报告中所描述的那样，跌倒是老年人中非常严重的一个问题。大约28-35％65岁以上的老人每年都会跌倒。大约32-42％的70岁以上的老人每年都会跌倒。跌倒是造成79岁以上老人死亡的主要原因.老年人普遍独自生活，所以如果发生跌倒而且缺少及时的救治会更容易造成死亡。跌倒不仅会对老年人造成身体的伤害，同时也会给老年人留下心理阴影。但是，人体跌倒检测技术可以解决这些问题。目前主流的人体跌倒检测方法大致可以分为两类：基于可佩戴的传感器(最常见的是加速度计)和基于摄像头采集的视频。其中可佩戴的传感器需要老年人时刻穿戴在身上，往往会给老年人带来不便。然而基于视觉的方法通过视频分析老年人是否发生跌倒，不会对老年人的日常生活造成任何影响，所以目前大多采用视频流分析的方法。采集视频的摄像头可以分为RGB彩色摄像头和深度摄像头。基于这些摄像头采集的视频我们可以实现视频流的跌倒检测分析。传统的人体跌倒检测方法通过分析人物轮廓或运动轨迹来判断人物是否发生跌倒。人体轮廓可以被近似为一个椭圆，从而可以进一步提取人体轮廓的几何特征，比如横纵比、轮廓方向、边缘点、曲率尺度空间等。人物运动轨迹则可以通过光流等方法提取，然后根据人物轨迹的变化来判断是否发生跌倒。上述传统的人体跌倒检测方法需要从背景环境中提取出人物前景，很容易受到图像噪声、光照变化以及遮挡的影响。近些年来，深度学习技术在计算机视觉领域获得了极大的成功，其在跌倒检测中也逐渐被应用。深度学习直接从视频帧中学习有效地视觉特征，不需要任何的背景检测和前景提取等预处理。例如：现有技术中，快速R-CNN被用于检测视频中的人和家具，然后通过计算人物轮廓的形状特征和判断人和最近家具之间的关系来判断是否发生跌倒行为。现有技术中，3D卷积神经网络被用于编码视频中的时空信息，同时提出了一种基于长短时记忆网络的注意力图用于定位视频中的人物区域，但是这种注意力图是通过端到端网络训练计算而来，需要大量的训练数据来计算，而且不够稳定。目前基于深度学习的人体跌倒检测方法仍旧存在很多问题，首先，对于人体跌倒检测，我们只需要关注视频中的人物的行为而不需要关注视频中的背景。虽然现在的跌倒检测数据集大都在简单的室内环境下采集，深度学习的方法很容易提取视频中的人物特征。然而，在实际情况下采集的视频中很有可能包含相机抖动或者其他更加复杂的情况。所以视频中人物特征的编码会存在很多的问题。为了解决这个问题，当前的大多数方法是使用端到端训练计算的注意力图来帮助定位视频中的人物。然而，这些注意力图不够足够的稳定，它们会经常关注错误的区域，比如在简单的环境下关注背景而忽略人物。除此之外，端到端训练的注意力图也需要大量的数据训练才能够更加的精准。第二，视频中通常都包含大量的冗余信息，这非常不利于视频的时空特征编码。
技术实现思路
为了解决上述问题，本专利技术提出了一种基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法及系统，通过获得轨迹加权深度卷积次序池化描述子，能够有效地描述长时冗余视频中复杂背景环境下的人物行为动态。为了实现上述目的，本专利技术采用如下技术方案：在一个或多个实施方式中公开的基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法，包括：获取视频图像信息；将视频的所有帧输入到卷积网络中，计算卷积特征图，并对卷积特征图进行归一化；根据获得的视频图像信息，计算每一帧的轨迹注意力图，以定位视频中的人物区域；将每一帧的轨迹注意力图加权到对应的卷积特征图中，得到每一帧人物区域的轨迹加权卷积特征，视频所有帧的轨迹加权卷积特征组成轨迹加权卷积特征时间序列；使用聚类池化方法减少轨迹加权卷积特征时间序列中的冗余信息；将次序池化作用于消除冗余的轨迹加权卷积特征时间序列，得到轨迹加权深度卷积次序池化描述子；根据轨迹加权深度卷积次序池化描述子进行人体跌倒判断。进一步地，根据获得的视频图像信息，计算每一帧的轨迹注意力图，具体为：计算改进稠密轨迹子，所述改进稠密轨迹子首先通过估计相邻两帧之间的平移变换矩阵来消除相机抖动的影响，然后密集采样视频帧中的特征点，根据光流来跟踪这些特征点，从而获得视频中运动目标的运动轨迹；基于每一帧计算得到的改进稠密轨迹子，计算轨迹注意力图；通过统计轨迹注意力图中每一个像素点对应的感受野中的轨迹点的个数来确定像素值的大小。进一步地，将每一帧的轨迹注意力图加权到对应的卷积特征图中，得到每一帧人物区域的轨迹加权卷积特征，具体为：每一帧的轨迹加权卷积特征是轨迹注意力图与对应卷积特征图的加权；第t帧中的轨迹加权卷积特征具体为：其中，表示第t帧轨迹注意力图中(i，j)位置的像素值，表示第t帧卷积特征图中(i，j，c)位置的像素值；整个视频所有帧的轨迹加权卷积特征可以表示为U＝{U1，U2，...，UT}，i＝1，...，H；j＝1，...，W；t＝1，...，T；H和W表示轨迹注意力图的高和宽，T是视频的时间长度；c为卷积特征图的通道数。进一步地，使用聚类池化方法减少轨迹加权卷积特征时间序列中的冗余信息，具体为：假设冗余的轨迹加权卷积特征序列表示为U＝{U1，U2，...UT}，初始化第一个序列段它的均值向量为其中M表示为均值函数；遍历下一个序列元素U2并且计算该元素与当前序列段的均值向量的欧式距离d；设置一个距离阈值σ，如果d≤σ，那么将元素U2添加到当前的序列段中，即并且重新计算当前序列段的均值向量；如果d≥σ，那么重新创建一个新的序列段，即遍历完整个长度的轨迹加权卷积特征序列并得到了多个不相交的序列段，取每一个序列段的均值向量组成新的时间序列，该新的时间序列中不包含视频信息中的冗余信息。进一步地，将次序池化作用于消除冗余的轨迹加权卷积特征时间序列，具体为：时间序列中的每一元素都是一个向量，通过线性变换函数对每一个元素做线性变换，将向量映射为1个数值；次序池化约束映射的值保持其时间顺序性，即时间靠后的映射值要大于时间靠前的映射值；线性变换函数的参数值作为整个时间序列的表示。进一步地，假设消除冗余后的轨迹加权卷积特征序列表示为对其进行平滑操作，是平滑后的序列；整个次序池化的目标函数为：其中，表示的是正则项，εij为松弛变量，δ为一个任意的正数，d是线性变换函数的参数，C是权重衰减系数，求得最优的参数d*作为轨迹加权深度卷积次序池化描述子。在一个或多个实施方式中公开的基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测系统，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法。在一个或多个实施方式中公开的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执本文档来自技高网...

【技术保护点】
1.基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法，其特征在于，包括：获取视频图像信息；将视频的所有帧输入到卷积网络中，计算卷积特征图，并对卷积特征图进行归一化；根据获得的视频图像信息，计算每一帧的轨迹注意力图，以定位视频中的人物区域；将每一帧的轨迹注意力图加权到对应的卷积特征图中，得到每一帧人物区域的轨迹加权卷积特征，视频所有帧的轨迹加权卷积特征组成轨迹加权卷积特征时间序列；使用聚类池化方法减少轨迹加权卷积特征时间序列中的冗余信息；将次序池化作用于消除冗余的轨迹加权卷积特征时间序列，得到轨迹加权深度卷积次序池化描述子；根据轨迹加权深度卷积次序池化描述子进行人体跌倒判断。

【技术特征摘要】
1.基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法，其特征在于，包括：获取视频图像信息；将视频的所有帧输入到卷积网络中，计算卷积特征图，并对卷积特征图进行归一化；根据获得的视频图像信息，计算每一帧的轨迹注意力图，以定位视频中的人物区域；将每一帧的轨迹注意力图加权到对应的卷积特征图中，得到每一帧人物区域的轨迹加权卷积特征，视频所有帧的轨迹加权卷积特征组成轨迹加权卷积特征时间序列；使用聚类池化方法减少轨迹加权卷积特征时间序列中的冗余信息；将次序池化作用于消除冗余的轨迹加权卷积特征时间序列，得到轨迹加权深度卷积次序池化描述子；根据轨迹加权深度卷积次序池化描述子进行人体跌倒判断。2.如权利要求1所述的基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法，其特征在于，根据获得的视频图像信息，计算每一帧的轨迹注意力图，具体为：计算改进稠密轨迹子，所述改进稠密轨迹子首先通过估计相邻两帧之间的平移变换矩阵来消除相机抖动的影响，然后密集采样视频帧中的特征点，根据光流来跟踪这些特征点，从而获得视频中运动目标的运动轨迹；基于每一帧计算得到的改进稠密轨迹子，计算轨迹注意力图；通过统计轨迹注意力图中每一个像素点对应的感受野中的轨迹点的个数来确定像素值的大小。3.如权利要求1所述的基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法，其特征在于，将每一帧的轨迹注意力图加权到对应的卷积特征图中，得到每一帧人物区域的轨迹加权卷积特征，具体为：每一帧的轨迹加权卷积特征是轨迹注意力图与对应卷积特征图的加权；第t帧中的轨迹加权卷积特征具体为：其中，表示第t帧轨迹注意力图中(i，j)位置的像素值，表示第t帧卷积特征图中(i，j，c)位置的像素值；整个视频所有帧的轨迹加权卷积特征可以表示为U＝{U1，U2，UT}，i＝1，...，H；j＝1，...，W；t＝1，...，T；H和W表示轨迹注意力图的高和宽，T是视频的时间长度；c为卷积特征图的通道数。4.如权利要求1所述的基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测...

【专利技术属性】
技术研发人员：马昕，张智勐，宋锐，荣学文，田新诚，田国会，李贻斌，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37