一种自下而上-自上而下的行为识别系统技术方案

本发明专利技术公开了一种自下而上‑自上而下的行为识别系统，包括SBTA模块和STBTA模块；所述SBTA模块和STBTA模块通过自下而上自上而下机制和注意机制对局部特征和全局信息进行编码。本发明专利技术的模块可以直接在图像或场景中适当的区域捕获长程依赖；使用最大池和平均池来生成通道统计和空间网格统计；提高其对信息功能的敏感度并选择有用的信息，不仅可以选择聚焦位置，还可以增强该位置对象的不同表示；本发明专利技术提出的方法是前馈方式，可以作为一种有效，简单和可解释的方法直接插入到2D/3D CNN中；即使只有STBA和STBTA，在性能上实现了很好的提升。

A Bottom-up-top Behavior Recognition System

The invention discloses a bottom-up and top-down behavior recognition system, including SBTA module and STBTA module. The SBTA module and STBTA module encode local features and global information through bottom-up, top-down mechanism and attention mechanism. The module of the present invention can directly capture long-range dependencies in appropriate areas in an image or scene; use maximum pool and average pool to generate channel statistics and spatial grid statistics; improve its sensitivity to information function and select useful information, not only can it select the focusing position, but also can enhance the different representations of the location object; the method proposed by the present invention is a feedforward mode, which can be used to generate channel statistics and spatial grid statistics. As an effective, simple and explanatory method, it is directly inserted into the 2D/3D CNN; even if only STBA and STBTA are used, the performance has been greatly improved.

【技术实现步骤摘要】
一种自下而上-自上而下的行为识别系统
本专利技术涉及行为识别，具体涉及一种自下而上-自上而下的行为识别系统。
技术介绍
目前，视频中的人类动作识别在计算机视觉中占据重要地位，并引起了广泛关注。基于CNN的方法在图像分类方面取得了很大进展。此外，与标记的视频数据相比，图像分类任务有更多标记图像来训练网络。鉴于这两点，许多方法通过基于图像的分类方法组合来自视频的图像的预测以对视频进行分类。然而，视频不仅拥有与帧之中和之间的人类动作相关的许多无关信息，而且还包括沿帧的更多时间信息，即长范围时间依赖。在视觉任务中，一些方法试图捕获长范围依赖依赖。一些模块使用单独的主干，以多种分辨率独立处理图像，并在网络中进行多尺度融合，这种方法比较有效但是很耗时。非局部神经网络使用非本地方式有效地捕获全局信息，但是有高内存成本并且只能放入神经网络中的中间层或最后的层。在不同领域如如动作检测和图像分割，也需要更好地探索自下而上-自上而下的机制和特定任务的注意力机制。现有的技术方案一为StackedHourglassNetworks（SHN），SHN重复自下而上，自上而下的处理过程，通过中间监督来改善人体姿态估本文档来自技高网...

【技术保护点】
1.一种自下而上‑自上而下的行为识别系统，其特征在于，包括SBTA模块和STBTA模块；所述SBTA模块和STBTA模块通过自下而上自上而下机制和注意机制对局部特征和全局信息进行编码；自下而上自上而下机制为对特征图进行逐层下采样后逐层上采样，通过残差联接保留多尺度学习，并具有科学系参数。

【技术特征摘要】
1.一种自下而上-自上而下的行为识别系统，其特征在于，包括SBTA模块和STBTA模块；所述SBTA模块和STBTA模块通过自下而上自上而下机制和注意机制对局部特征和全局信息进行编码；自下而上自上而下机制为对特征图进行逐层下采样后逐层上采样，通过残差联接保留多尺度学习，并具有科学系参数。2.根据权利要求1所述的自下而上-自上而下的行为识别系统，其特征在于，所述系统最大池化层用于将特征处理到非常低的分辨率；任何相邻层之间均存在残差连接模块，在此模块中首先对输入功能进行三次下采样，在达到最低分辨率后，网络开始按比例进行双线性上采样并对相应特征进行组合；此外，增加了空间和时间注意力模块，以强调关键局部区域的功能，进一步提高网络性能；整个模块类似与一个沙漏的设计，并且两端是相互对称的；整个模块的输出对于不同通道、不同空间位置点都赋予了不同权重。3.根据权利要求1所述的自下而上-自上而下的行为识别系统，其特征在于，所述系统首先通过1x1的卷积核进行通道压缩，而后使用3x3的卷积核来适用高级信息，最后通过1x1的卷积核使得通道还原至，在这里使用残差连接来保留原始信息，用来减轻过拟合和避免梯度弥散...

【专利技术属性】
技术研发人员：招继恩，朱勇杰，王国良，张海，谭大伦，周明，
申请(专利权)人：广州智慧城市发展研究院，中山大学，
类型：发明
国别省市：广东,44