一种跨模态三维点云序列时空特征网络的行为识别方法技术

本发明专利技术涉及神经网络技术领域，尤其涉及一种跨模态三维点云序列时空特征网络的行为识别方法，包括：通过坐标转换将深度图跨模态转换成点云序列；将每一帧点云序列输入由时空建模模块和时空信息注入模块构成的跨模态三维点云序列时空特征网络，得到带有时序信息的特征向量序列和空间结构信息特征向量序列，进行拼接作为全连接层的输入，并通过分类器进行人类行为识别。本发明专利技术通过抽象操作中加入了通道注意力和空间注意力层；并设计了时空建模模块和时空信息注入模块；通过时空信息注入模块为特征序列注入时间和空间特征信息以此加强时空维度的信息表征来弥补FPS带来的信息损失。空维度的信息表征来弥补FPS带来的信息损失。空维度的信息表征来弥补FPS带来的信息损失。

【技术实现步骤摘要】
一种跨模态三维点云序列时空特征网络的行为识别方法


[0001]本专利技术涉及神经网络
，尤其涉及一种跨模态三维点云序列时空特征网络的行为识别方法。

技术介绍

[0002]随着计算机视觉不断发展，行为识别在视频监控和人机交互等诸多领域中展现出其广泛的应用前景和研究价值；利用深度图序列进行人体行为识别是机器视觉和人工智能中的一个重要研究领域，广泛使用的深度图序列尽管可以提供深度信息，但数据冗余量大，行为数据的时空结构信息大量丧失，点云的出现弥补了深度图数据的劣势，点云就是分布在三维空间中的离散点集，它对复杂场景以及物体的外形表达具有独特的优势，但由于点云分布不规则且无序的性质，在点云上应用深度学习是不容易的。
[0003]目前，点云学习可分为基于体积的方法和基于点的方法：
[0004](1)基于体积的方法：基于体积的方法通常将点云体素化成三维网格，然后将三维卷积神经网络应用于空间表示进行分类。
[0005](2)基于点的方法：基于点的方法直接在原始点云上执行，PointNet的核心思想是利用一组多层感知器抽象每个点来学习其对应的空间编码，然后通过一个对称函数将所有单独的点特征集合起来得到一个全局的点云特征，但是PointNet缺乏了对局部特征的提取及处理，而且现实场景中的点云往往是疏密不同的，而Pointnet是基于均匀采样的点云进行训练的，导致了其在实际场景点云中的准确率下降；
[0006]因此现有技术中提出一个分层网络PointNet++，点集的特征提取由三部分组成，分别为采样层、分组层和基于点网的学习层三层，这三个层构成一个抽象层，PointNet++由几个抽象级别集合组成，PointNet++通过几个抽象层的层级结构逐步利用局部区域信息学习特征，网络结构更有效更鲁棒；虽然pointnet++通过抽象操作可以很好的提取局部特征，一步步增加感受野，但pointnet++在进行抽象操作的同时，最远距离采样(FPS)也会减少外轮廓点的数量，这不可避免地损失了原来点云数据的时空信息。

技术实现思路

[0007]针对深度图的不足，本专利技术保留pointnet++强大的局部特征提取能力的同时弥补丢失的时空特征信息，通过抽象操作中加入了通道注意力和空间注意力层；并设计了时空建模模块和时空信息注入模块，在时空建模模块加入通道注意力和空间注意力来加强时空建模模块抓取重要特征的能力，再通过时空信息注入模块为特征序列注入时间和空间特征信息以此加强时空维度的信息表征来弥补FPS带来的信息损失。
[0008]本专利技术所采用的技术方案是：一种跨模态三维点云序列时空特征网络的行为识别方法包括以下步骤：
[0009]S1、采集人体深度数据，通过坐标转换将深度图跨模态转换成点云序列；
[0010]S2、将每一帧点云序列输入由时空建模模块和时空信息注入模块构成的跨模态三
维点云序列时空特征网络，得到带有时序信息的特征向量序列和空间结构信息特征向量序列，进行拼接作为全连接层的输入，并通过分类器进行人类行为识别。
[0011]进一步的，所述时空建模模块由两个抽象操作层、两组多层感知机和最大池化层组成。
[0012]进一步的，抽象操作层由采样层、分组层、通道注意力、空间注意力和Pointnet层组成，点云序列输入抽象操作层，输入为(T,n
m
,d+c
i
)维；
[0013]采样层使用最远点采样(FPS)从点集中选择n
m
个点作为质心；
[0014]分组层将n
m
‑1×
(d+c
m
‑1)维的点集和一组大小为n
m
×
d的质心坐标作为输入，输出为n
m
组大小为n
m
×
k
m
×
(d+c
m
‑1)的点集群；其中，每组对应一个局部区域，k
m
表示质心点的邻域内局部点的个数，通过球半径查询方法来查找在半径范围内的所有点，在该半径范围内设置k
m
为上限；
[0015]通道注意力和空间注意力层的输入是数据大小为n
m
×
k
m
×
(d+c
m
‑1)维的n
m
个点的局部区域；
[0016]首先，将局部区域内点的坐标转换成相对于质心点的局部坐标系；其次，将每个局部点与质心之间的距离作为1维的附加点特征；然后，利用特征间注意机制优化不同特征的融合效果，其表现形式如下：
[0017][0018]其中，表示第t个点云框架第j个区域第i个点的坐标，和分别是对应于的质心点坐标和对点特征，是和之间的欧几里得距离，A为注意机制，每个点对应的坐标和特征得分为(3+1+c
m
‑1)维，A中的注意力得分由所有点云帧中的所有局部点共享，和
⊙
是串联运算和点积运算，为第t个点云框架第j个区域经过通道空间注意力层后的区域特征。
[0019]通道注意力模块同时使用平均池化和最大池化后的点云特征，然后依次送入一个共享权重的多层感知机中，最后输出的特征向量进行合并；
[0020]空间注意力通过最大池化和平均池化各获得一张特征图，而后拼接成一张2D特征图，再送入标准7X7卷积进行参数学习，最终得到一张1D的权重特征图；
[0021]在Pointnet层，由一组mlp和一个最大池化操作组成，利用最大池化操作结合所有局部点的抽象特征生成局部区域的表示，最后，将质心点的坐标及其局部区域表示连接为质心点的抽象特征向量序列
[0022]最后，通过一组多层感知机和最大池化层表征整个点云框架的时空信息。
[0023]进一步的，时空信息注入模块包括：时序信息注入模块和空间信息注入模块；输入每一帧的点云序列，输出对应帧的静态外观时空特征向量以表征时空结构信息，通过时空信息注入模块给所有帧的静态外观时空特征加入时序信息和空间尺度信息。
[0024]进一步的，时序信息注入模块首先对人体动作的时间信息进行编码，使用时间位置嵌入层、共享MLPS层和分层金字塔最大池化层，时间位置嵌入层利用特征向量序列的顺序注入时间位置信息，共享的MLPS层对每个独立的特征向量执行一组MLPS，以提取每个点云框架的时空信息，采用分层金字塔最大池化层在多个时间尺度上提取序列空间信息；
[0025]进一步的，时间位置嵌入层使用不同频率的正弦和余弦函数作为时间位置编码：
[0026][0027][0028]其中，d
sout
表示特征向量的维数，t是时间位置，而h是维度位置；通过添加位置编码更新特征向量，如下所示：
[0029][0030]其中，是经过时间位置嵌入后的新的特征向量；然后，得到一个新的特征向量序列
[0031]经过时间位置嵌入层后，将顺序信息简单地嵌入到空间信息序列中，为了进一步提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态三维点云序列时空特征网络的行为识别方法，其特征在于，包括以下步骤：采集人体深度数据，通过坐标转换将深度图跨模态转换成点云序列；将每一帧点云序列输入由时空建模模块和时空信息注入模块构成的跨模态三维点云序列时空特征网络，得到带有时序信息的特征向量序列和空间结构信息特征向量序列，进行拼接作为全连接层的输入，并通过分类器进行人类行为识别。2.如权利要求1所述的跨模态三维点云序列时空特征网络的行为识别方法，其特征在于：所述时空建模模块由两个抽象操作层、两组多层感知机和最大池化层组成。3.如权利要求2所述的跨模态三维点云序列时空特征网络的行为识别方法，其特征在于：所述抽象操作层由采样层、分组层、通道注意力、空间注意力和Pointnet层组成；采样层使用FPS从点集中选择n
m
个点作为质心；分组层将n
m
‑1×
(d+c
m
‑1)维的点集和一组大小为n
m
×
d的质心坐标作为输入，输出为n
m
组大小为n
m
×
k
m
×
(d+c
m
‑1)的点集群；通道注意力和空间注意力层将局部区域内点的坐标转换成相对于质心点的局部坐标系；将每个局部点与质心之间的距离作为1维的附加点特征；利用特征间注意机制优化不同特征的融合效果，公式如下：其中，表示第t个点云框架第j个区域第i个点的坐标，和分别是对应于的质心点坐标和对点特征，是和之间的欧几里得距离，A为注意机制，每个点对应的坐标和特征得分为(3+1+c
m
‑1)维，A中的注意力得分由所有点云帧中的所有局部点共享，和
⊙
是串联运算和点积运算，为第t个点云框架第j个区域经过通道空间注意力层后的区域特征；Pointnet层，由一组mlp和一个最大池操作组成。4.如权利要求1所述的跨模态三维点云序列时空特征网络的行为识别方法，其特征在于：所述时空信息注入模块包括：时序信息注入模块和空间信息注入模块。5.如权利要求4所述的跨模态三维点云序列时空特征网络的行为识别方法，其特征在于：所述时序信息注入模块对人体动作的时间信息进行编码，使用时间位置嵌入层、共享MLPS层和分层金字塔最大池化层；经...

【专利技术属性】
技术研发人员：侯振杰，尤凯军，钟卓锟，施海勇，
申请(专利权)人：常州大学，
类型：发明
国别省市：