一种自适应时序移位神经网络时序行为识别方法及系统技术方案

本发明专利技术提出了一种自适应时序移位神经网络时序行为识别方法及系统，首先采集多个时间点的特征并建模；接着引入自适应时序移位神经网络学习每一层网络所需的感受野；最后训练可学习的移位变量，对骨骼点数据进行修正。本发明专利技术能够自适应的学习每一层网络所需的感受野，并且能够自适应的学习每种数据集所需的感受野。自适应时序移位神经网络能够针对不同的数据学习出不同的时间移位向量，从而自适应的适应不同的数据分布。通过本发明专利技术提出的时序行为识别方法，能够在提高行为检测精度的同时节省计算资源，这种自适应的学习比普通时间卷积的手工调参更加优越。

A method and system of time series behavior recognition based on adaptive time series shift neural network

【技术实现步骤摘要】
一种自适应时序移位神经网络时序行为识别方法及系统
本专利技术涉及一种自适应时序移位神经网络时序行为识别方法及系统，涉及一般的图像数据处理或产生G06T领域，尤其涉及G06T7/20运动分析领域。
技术介绍
随着人工智能的发展，对人体行为进行识别受到越来越多的关注。对人体行为进行识别可以应用在安防、人机交互等领域。行为识别的研究中，一个热点问题就是如何进行时序行为识别。所谓时序行为，指的是无法通过单帧图像来判断，需要通过观察一个时序动作来判断的行为。例如站起来和坐下去，这两个行为就难以通过单帧图像来区分，只有观察一个时序片段才能区分。即使是一些和时序先后顺序不那么强的行为（如拍手，握手等），在引入时序建模之后往往也会有精度的提升。现有的用于时序移位方法是通过一个时序移位模块来对不同时间点的特征进行建模，对于时序卷积和时序移位方法，其感受野的大小是人为指定的，而这种人为指定的感受野并不适合时序行为识别任务；在时序行为识别中，不同数据库需要不同的感受野，这就导致不同数据库上需要进行大量的调参实验。专利
技术实现思路
专本文档来自技高网...

【技术保护点】
1.一种自适应时序移位神经网络时序行为识别方法，其特征是包括以下步骤：/n步骤1、采集多个时间点的特征并建模；/n步骤2、引入自适应时序移位神经网络学习每一层网络所需的感受野。/n

【技术特征摘要】
1.一种自适应时序移位神经网络时序行为识别方法，其特征是包括以下步骤：
步骤1、采集多个时间点的特征并建模；
步骤2、引入自适应时序移位神经网络学习每一层网络所需的感受野。


2.根据权利要求1所述的一种自适应时序移位神经网络时序行为识别方法，其特征在于，所述步骤1进一步包括：建立一个时序移位模型，模型包含时间T和特征通道数C两个维度，特征通道C被分为多份，其中一份向上一时刻移位，另一份向下一时刻移位，其余份不进行移位，经过移位后，新的特征通过线性插值来获得，如下：



式中，；，其中T为时序维度，C是特征通道数，N是与时序无关的其他维度；表示自适应时序移位神经网络中可学习的移位变量，其中i=1,2,3…C，即i的个数与特征通道数一致；v表示移位速率，表示当前时刻，表示特征通道C其中的一份向上一时刻移位，表示特征通道C其中的另一份向下一时刻移位，表示通过线性插值获得的新的特征。


3.根据权利要求2所述的一种自适应时序移位神经网络时序行为识别方法，其特征在于，步骤1中：
利用卷积神经网络预先提取视频序列的视觉特征，对于视频数据的每一帧图像，将其转化为RGB分布图，并生成对应的光流图：
首先将每1帧图像上的每一像素点取坐标点，将坐标点转化为光流，计算出光流约束方程：



式中，表示像素点取坐标点对应的灰度值，表示目标图像的运动时间，为目标视频的帧率的倒数；表示的是灰度对时间的变化率，表示的是灰度值在x方向上的空间梯度，表示的是灰度值在y方向上的空间梯度，和v分别代表x方向和y方向上的光流速度；
利用空间流和时间流网络对时序光流特征建模来挖掘序列中的行为一致性：






式中，表示在建模过程中对应的RGB参数，表示在建模过程中对应的光流参数；其中z的取值区间为[0，1]，表示sigmoid激活；表示RGB特征，表示光流特征，表示上一时刻的RGB特征对应空间流网络和时间网络的全连接层，表示上一时刻的光流特征对应空间流网络和时间网络的全连接层；表示当前时刻的RGB特征对应空间流网络和时间网络的全连接层，表示当前时刻的光流特征对应空间流网络和时间网络的全连接层；
训练上述移位变量：



式中，表示神经元的权重向量，表示对输入向量x进行非线性变换，表示对神经元的权重向量激活函数转换，将输入向量x赋值为，n表示神经网络的级数，b表示偏量，表示经过训练后的移位变量；
其中，
式中，表示与分离超平面垂直的权向量，b表示超平面的偏置向量，表示第i个输入单元和隐藏单元相关联的权值向量，表示训练周期。


4.根据权利要求1所述的一种自适应时序移位神经网络时序行为识别方法，其特征在于，步骤2用于进行时序行为识别，并不指定所输入的数据，所输入的数据包括但不限于RGB视频、光流视频、骨骼点视频。


5.根据权利要求4所述的一种自适应时序移位神经网络时序行为识别方法，其特征在于，骨骼点视频的输入进一步包括如下步骤：
步骤2-1、由图像获取模块获取人体骨骼点图像，获取原图像的数据区指针，建立两个缓冲区，缓冲区大小与原图形相同，缓冲区主要用于存储原图像及原图形副本，将两个缓冲区初始化为原图像副本，分别标记为图像1和图像2；
步骤2-2、在每个缓冲区域中单独设置一个用于卷积操作的Krisch模板，然后在两个区域中分别遍历副本图像中的像素，逐一进行卷积操作，计算结果，对比将计算得出的较值存到图像1中，再将图像1复制到缓存图像2中；
步骤2-3、重复步骤2-2，一次设置剩余的六个模板，并进行计算处理，最后得出图像1与图像2中较大灰度值存放在缓冲图像1中；将处理后的图像1复制到原图像数据中，在进行编程实现图像的边缘处理；
步骤2-4、当人体行为特征图像处理完成后，提取模块用于提取图像处理模块处理后图像的骨骼点提取，当图像处理模块处理图像获取模块获取的图像完成后，此时人体边缘图上将按照最接近获取图像行为人体型进行匹配预先录入的骨骼点位置，进而将匹配后的骨骼点进行显示在人体边缘图上。


6.根据权利要求5所述的一种自适应时序移位神经网络时序行为识别方法，其特征在于，所述步骤2-2进一步包括：
在检测图像边缘的时候使用卷积3*3模板，遍历图像中的像素点，逐一考察各个像素点周围邻近区域的像素灰度值，计算其中三个相邻像素灰度的加权与其余五个像素的灰度加权和差值；卷积模板如下：



使用八个卷积模板，依次处理原图像中的所有像素，计算得到其边缘强度，再通过阀值进行检测，提取最后边缘点，完成边缘检测。


7.根据权利要求1所述的一种自适应时序移位神经网络时序行为识别方法，其特征在于，还包括训练可学习的移位变量，对骨骼点数据进行修正：
步骤3-1、选择身体中心点作为根节点，计算所有与根节点直接相连点到根节点的向量，再用每个向量分别处以向量的模长，得到每个向量的方向向量；
步骤3-2、用步骤3-1中方向向量乘以参考骨架中相应向量的长度得到一个向量，再用根节点的坐标加上该向量，得到修正后的某个与根节点直接相连点的坐标，将相连点坐标记录下来，作为归一化后相应骨骼点的坐标值，在按照广度优先搜索算法的顺序，依次更新根节点的坐标值；
步骤3-3、重复步骤1至步骤2直至所有骨骼点的值都得到修正。


8.根据权利要求7所述的一种自适应时序移位神经网络时序行为识别方法，其特征在于，所述步骤3-2中归一化骨骼点坐标值的方法如下：
第一步：定义为根节点坐标；
第二步：将赋初始值为；
第三步；...

【专利技术属性】
技术研发人员：张一帆，程科，卢汉清，
申请(专利权)人：中国科学院自动化研究所南京人工智能芯片创新研究院，中国科学院自动化研究所，
类型：发明
国别省市：江苏;32