同步自适应时空特征表达学习模型的构建方法及相关方法技术

本发明专利技术公开了针对序列的同步自适应时空特征表达学习模型的构建方法及其相关的模型分析方法和行为识别方法。其中，该构建法包括首先将长短时记忆神经元输入及三个控制门的全连接替换为四组独立的滤波器，依次构建卷积递归神经元；然后，将X个CRN并行排列，构建卷积递归神经网络层；接着根据以下方式构建隐含层：各CRN的输出只存在向其自身基本单元的反馈连接，且各CRN之间不存在连接关系；再在卷积递归神经网络层和输入序列之间构建卷积层；最后，将Y个卷积递归神经网络层相堆叠，形成卷积递归神经网络，单个卷积递归神经网络层包含Z个子层。通过本发明专利技术实施例可以获取更具区分性的序列时空信息表达，而且无需复杂的预处理。

Construction method and related methods of synchronous adaptive spatio-temporal feature expression learning model

The invention discloses a synchronous adaptive spatio-temporal feature expression learning model for a sequence, and a related modeling analysis method and a behavior recognition method. Among them, the construction method comprises the following steps: first the length of memory neuron input and three control gate fully connected to replace four separate filters, then constructing recursive convolution X neurons; then, CRN arranged in parallel, constructed the recursive neural network layer; then according to the way of constructing the hidden layer output: CRN there is only connected to its own basic feedback unit, and the CRN does not exist between the connection between the volume; to construct multilayer convolution recursive neural network layer and the input sequence; finally, Y convolution recursive neural network layer stack, the formation of convolution recursive neural network, single convolution recursive neural network contains Z sub layer layer. The embodiment of the invention can obtain more distinguishable sequence spatiotemporal information, without complex preprocessing.

【技术实现步骤摘要】
同步自适应时空特征表达学习模型的构建方法及相关方法
本专利技术实施例涉及计算机视觉、模式识别和深度学习
，具体涉及一种针对序列的同步自适应时空特征表达学习模型的构建方法、对根据该构建方法所构建的模型进行模型分析的方法以及利用该模型分析方法所分析后的模型进行行为识别的方法，但绝不限于此。
技术介绍
近年来，神经网络技术的复兴推动了人工智能技术的飞速发展，现实生活中诸多数据都同时具有空间结构和时间动态特征，例如视频数据、客户历史购买数据、气象数据等等。现实社会中大量的数据都是以序列数据的形式记录的，数据中既包含空间结构信息又具有时变动态信息。例如:城市智能监控系统每天所获取的大量视频数据，仅仅想依赖人力来对这些数据进行分析是不现实的，需要建立专门的模型实现计算机对这些数据的自动分析。深度学习技术的发展大力推动了人工智能产业化进程，其模型特点在于具有强大的数据特征表达学习能力。其中，卷积神经网络的特点在于提取静态数据的空间结构特征，递归神经网络的优势则在于序列特征建模，如果我们能够将两者的优势结合起来，提出一种同步提取序列中时空信息表达模型，以充分挖掘序列中空间和时间信息的关系，从而本文档来自技高网...

【技术保护点】
一种针对序列的同步自适应时空特征表达学习模型的构建方法，所述方法至少包括：将长短时记忆神经元输入及三个控制门的全连接替换为四组独立的滤波器，依次构建卷积递归神经元CRN；将所述X个CRN并行排列，构建卷积递归神经网络层；其特点在于：建立所述各CRN的输出只向其自身基本单元的反馈连接，且在所述各CRN之间不建立连接关系；在所述卷积递归神经网络层和输入序列之间构建卷积层；将Y个所述卷积递归神经网络层相堆叠，形成卷积递归神经网络，其中单个所述卷积递归神经网络层包含Z个子层，所述X、所述Y及所述Z均为正整数。

【技术特征摘要】
1.一种针对序列的同步自适应时空特征表达学习模型的构建方法，所述方法至少包括：将长短时记忆神经元输入及三个控制门的全连接替换为四组独立的滤波器，依次构建卷积递归神经元CRN；将所述X个CRN并行排列，构建卷积递归神经网络层；其特点在于：建立所述各CRN的输出只向其自身基本单元的反馈连接，且在所述各CRN之间不建立连接关系；在所述卷积递归神经网络层和输入序列之间构建卷积层；将Y个所述卷积递归神经网络层相堆叠，形成卷积递归神经网络，其中单个所述卷积递归神经网络层包含Z个子层，所述X、所述Y及所述Z均为正整数。2.根据权利要求1所述的方法，其特征在于，将长短时记忆神经元输入及三个控制门的全连接替换为四组独立的滤波器，依次构建卷积递归神经元CRN，具体包括：通过共享权重的卷积连接方式，将所述长短时记忆神经元的输入门、输入控制门、遗忘门和输出控制门与所述序列进行连接。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用所述卷积递归神经元对于单一时刻的所述序列执行空间上的卷积操作，并对于所述序列各时刻在空间上的相同区域输出沿时间进行迭代运算。4.一种利用权利要求1至3中任一所述构建方法所构建的模型进行模型分析的方法，其特征在于，所述模型分析方法包括：利用所述卷积层对所述序列进行层级化滤波，以确定所述序列对应的特征图序列；基于所述特征图序列，计算所述卷积递归神经网络的输出；基于所述卷积递归神经网络的所述输出，经全连接层降维，由软最大化层得到所述序列的类属概率；基于所述序列的所述类属概率，对所述序列的每一帧所隶属的行为类别进行判定，并根据投票来决定所述序列整体的行为类别。5.根据权利要求4所述的模型分析方法，其特征在于，所述基于所述特征图序列，计算所述卷积递归神经网络的输出，具体包括：根据以下公式确定所述CRN内滤波器的输出：其中，所述所述所述和所述分别表示t时刻第l层第j个所述CRN的所述输入单元、所述输入控制门、所述遗忘门和所述输出控制门对应的滤波器输出；所述Mjc、所述Mji、所述Mjf和所述Mjo分别表示第j个所述CRN单元内部滤波器；所述p表示所述Mjc、所述Mji、所述Mjf和所述Mjo对应的空间位置元素；所述表示t时刻所述卷积递归神经网络中第l-1层的输出；所述kljc、所述klji、所述kljf及所述kljo分别表示所述输入单元、所述输入控制门、所述遗忘门及所述输出控制门；所述表示t-1时刻所述CRN单元的输出；所述wljhc、所述wljhi、所述wljhf及所述wljho分别表示由输出至所述输入单元、所述输入控制门、所述遗忘门及所述输出控制门的反馈连接权重；所述bljc、所述blji、所述bljf及所述bljo分别表示所述CRN内部基本单元的偏置；根据以下公式对所述滤波器输出进行非线性映射，以确定所述CRN内部基本单元的输出：其中，所述g和所述f分别表示非线性映射函数；根据以下公式，确定所述CRN内部状态单元的输出：其中，所述表示所述输入控制门对输入信号的幅度调整；所述表示所述CRN输出经所述遗忘门输出作幅度调整后影响当前时刻Cell的状态；所述表示t时刻所述CRN内部Cell的输出；根据以下公式对所述Cell的输出进行非线性变换并由所述输出控制门加权，以确定CRN的输出：其中，所述表示第l层第j个CRN在t时刻的输出；所述表示对应所述CRN的输出控制门状态；所述表示所述Cell状态的非线性映射函数。6.根据权利要求5所述的模型分析方法，其特征在于，所述基于所述序列的所述类属概率，对所述序列的每一帧所隶属的行为类别进行判定，并根据投票来决定所述序列的行为类别，还包括：根据以下公式确定最小化交叉熵损失函数：

【专利技术属性】
技术研发人员：王亮，杜勇，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11