【技术实现步骤摘要】
基于轮廓卷积神经网络的视频动作识别方法
本专利技术属于计算机视觉中的图像处理和行为识别领域，涉及一种基于轮廓卷积神经网络的视频动作识别方法。
技术介绍
在计算机视觉领域中行为识别是一项非常重要的课题，该技术不仅要准确识别目标体的空间信息，还要考虑时间维度上的信息，因此研究结果具备着重要意义与广泛的应用场景。近年来行为识别在智能监控、人机交互、视频序列理解、医疗健康等众多领域扮演着越来越重要的角色。但在该技术的实际应用场景中，视频行为识别技术极易受到遮挡，动态背景，移动摄像头，视角和光照变化等多种外在因素的影响，在精准性上具有很大的挑战性。现有的基于深度学习的行为识别方法主要采用双流卷积神经网络，该网络主要采用两种类型的输入：RGB图和光流图，但忽略了另一种可判别行为识别的重要线索：人体姿态动力学。在这种情况下，姿态表示和动作识别是两个孤立的部分，没有自适应交互，这限制了理解非限制环境下视频中复杂动作的能力，从而降低了识别的准确性。
技术实现思路
针对现有技术的以上缺陷和改进需求，本专利技术的目的是...
【技术保护点】
1.一种基于轮廓卷神经网络的视频动作识别方法，其特征在于，该方法包括以下步骤：/n(1)获取带有标注的视频数据集作为训练数据，每个视频包含动作标签。/n(2)对于获取的视频数据进行数据预处理，包括：/n(2.1)对视频数据集的每一段视频进行以帧为单位的剪辑，将视频帧按时间顺序排序；/n(2.2)对标注目标采用几何方法提取出目标动作的外轮廓集合的点云信息，并按时间顺序排序成点云组。/n(3)构建轮廓卷积神经网络模型，所述轮廓卷积神经网络模型包括轮廓卷积子网络和两个3D卷积块组成的双流卷积子网络；/n(3.1)所述轮廓卷积子网络模型用于动作集合点云特征提取，具体为：/n将提取出...
【技术特征摘要】
1.一种基于轮廓卷神经网络的视频动作识别方法，其特征在于，该方法包括以下步骤：
(1)获取带有标注的视频数据集作为训练数据，每个视频包含动作标签。
(2)对于获取的视频数据进行数据预处理，包括：
(2.1)对视频数据集的每一段视频进行以帧为单位的剪辑，将视频帧按时间顺序排序；
(2.2)对标注目标采用几何方法提取出目标动作的外轮廓集合的点云信息，并按时间顺序排序成点云组。
(3)构建轮廓卷积神经网络模型，所述轮廓卷积神经网络模型包括轮廓卷积子网络和两个3D卷积块组成的双流卷积子网络；
(3.1)所述轮廓卷积子网络模型用于动作集合点云特征提取，具体为：
将提取出来的每张图片的动作外轮廓集合点云信息采用按照时间轴顺序叠加的方式，形成一个立体的3D动作点云集合作为网络输入；对输入的数据进行下采样操作，之后将输入分为点的局部坐标、点的密度两部分分别输入轮廓卷积子网络；
点的局部坐标输入是一个K×3的矩阵，K表示点的个数，通过两个参数共享的1*1的conv层进行密度加权卷积操作组成多层轮廓卷积神经网络ContourConv_1，最后再和K×Cin×Cout的特征矩阵N1逐元素相乘，其中Cin、Cout分别为输入和输出的特征维度；密度加权卷积操作具体如下：
在3D空间中，将连续卷积算子的权重看作关于一个3D参考点的局部坐标的连续函数，两个连续函数W和F关于三维向量的卷积操作用以下公式表示：
其中，(x,y,z)是3D参考点的坐标，通过公式(1)将(x,y,z)离散化到一个离散的3D动作点云上，用(δx,δy,δz)表示离散化后的邻域G中的3D点的相对坐标；W和F均为连续函数，W的输入为(δx,δy,δz)，输出是每个点对应的特征F的权重；F为特征函数，输入Fin包括点的坐标、点对应的面的序号、类别标签和点对应切面的法向量，输出Fout表示点的底层特征；
点的密度输入是一个K×1的矩阵，通过多层卷积神经网络Conv_2得到K×Cin的矩阵，然后再和K×Cin的特征矩阵N2逐元素相乘；
使用逆密度对训练得到的特征矩阵N1和N2进行加权；由ContourConv_1和Conv_2构成的轮廓卷积子网络ContourConv可由以下公式表示：
其中，S表示逆密度系数函数，输入是每个点的密度，输出是每个点对应的逆密度系数；
轮廓卷积子网络ContourConv的输入为：3D点的相对坐标Plocal，密度Density和特征Fin；在得到权重W和逆密度系数S后，结合输入特征Fin，利用下式进行卷积得到输出特征Fout，如公式(2)：
(3.2)所述双流卷积子网络模型用于RGB信息与光流信息...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。