一种基于三维人体建模点云特征编码的步态识别方法技术

本发明专利技术提供了一种基于三维人体建模点云特征编码的步态识别方法，涉及人体三维建模和步态识别领域。从步态视频中获取三维点云序列数据，提出了一种基于点云特征编码的步态识别模型，该模型设计了一种关节点感知的点云区域划分方法，首先将无序的点特征映射到有序的骨架关节上来聚合局部信息，然后设计多层级点特征编码捕捉关节点邻域局部空间几何特征，并通过区域特征编码捕捉关节点间的全局依赖，最后构建时序特征编码器学习全局时空动态特征进行步态识别。本发明专利技术从高维度的时序点云数据中捕捉具有鉴别性的局部空间依赖和全局动态特征，对现有的基于模型步态识别方法进行了实质性的改进，提升了现实场景非受控视角下步态识别的准确性和鲁棒性。别的准确性和鲁棒性。别的准确性和鲁棒性。

【技术实现步骤摘要】
一种基于三维人体建模点云特征编码的步态识别方法


[0001]涉及人体三维建模和步态识别领域，具体为一种基于三维人体建模点云特征编码的步态识别方法。

技术介绍

[0002]以往的步态识别方法主要可分为两类，即基于模型的方法和基于外观的方法。基于外观的方法侧重于外观轮廓信息或通过前景提取算法获得的剪影表示，这类方法对于协变量（如视角、携带状态和服装）的变化相对敏感。基于模型的方法试图通过利用动态骨架关节点的信息来提取步态特征，骨架信息对于视角变化、衣服和携带等条件具有鲁棒性。然而，由于对骨架关节点估计准确性不足以及骨架输出空间的高自由度和低信息维度，基于模型的步态识别方法在识别准确率上很难超越基于外观的识别方法，尤其在跨视角步态识别问题上，仅通过有限的骨架关节点坐标信息表征复杂的步态特征，无法捕获细微的动态变化以及容易忽略关节点局部信息。这种粗糙的人体建模方法是制约基于模型的方法取得超过基于轮廓的方法识别性能的主要原因。多人蒙皮线性模型(Skinned Multi
‑
Person Linear Model，SMPL)是一种精细化的人体建模方法，其主要思想是将人体形状特征和姿态特征进行解耦，用参数化的方式描述人体外表面的三维信息。它可以生成一个由6980个顶点组成的人体三维网格，非常适合步态模式的学习。人体三维网格比骨架关节点和剪影序列特征涵盖了更多的表面几何信息。传统的基于网格的深度学习网络模型很难直接对原始网格序列数据进行建模，因为其中的点坐标是不规则和无序的。基于点云数据人体建模方法固有的旋转不变性和尺度不变性使其适合于人体表面几何关系的挖掘，同时对于摄像头的角度以及距离的变化具有很强的适应性，可以有效解决跨视角下步态识别的问题。为了更好地捕捉局部表面几何信息和动态特征，我们提出了一种基于点云的步态识别方法，通过SMPL模型网格数据中获得的点云信息提取步态鉴别特征进行身份识别和情绪识别。

技术实现思路

[0003]本专利技术针对基于模型的步态识别方法由于骨架输出空间的高自由度和低信息维度导致识别性能不佳的问题，提出了一种基于点云特征编码的步态识别的方法，融合了点特征编码、区域特征编码以及时序特征编码，从高维度的时序点云数据中捕捉具有鉴别性的局部空间依赖和全局动态特征，对现有步态识别方法进行了创新性的补充和实质性的改进。
[0004]本专利技术提供的一种基于点云特征编码的步态识别的方法，具体包括以下步骤：步骤1）步态时序点云数据获取由于骨架输出空间的高自由度和低信息维度，基于模型的步态识别方法在识别准确率上很难超越基于外观的识别方法，仅通过有限的骨架关节点坐标信息表征复杂的步态特征，无法捕获细微的动态变化以及容易忽略关节点局部信息。本专利技术采用参数化人体模型SMPL来获取人体三维模型化参数，包括：形态参数，姿态参数和相机参数，然后通过
添加时序平滑约束和时序一致性约束从预测的参数中获取6890个三维人体表面网格顶点坐标序列以及25个关节点三维坐标序列。
[0005]步骤2）基于关节点感知的区域划分由于骨架关节点表示的低维度和模糊性以及网格参数表示的高维度、无序性的特点，均不利于步态时空特征的学习。因此，本专利技术将骨架感知融入到三维人体网格数据的学习中，提出了一个基于关节点感知的点划分模块，以25个关节点的位置为中心，将点云数据划分为25个子区域，通过更好地将无序的点特征映射到有序的骨架关节上来聚合局部信息，以便提取更具鉴别性的时空特征。
[0006]步骤3）空间点云特征学习借鉴了CNN的多层感受野的思想，对步骤2）划分出的子区域分别采用分层堆叠的点特征编码层（Point
‑
wise encoding）和区域特征编码层（Region
‑
wise encoding）进行特征提取，以捕捉每一帧步态点云数据中的局部和全局的空间几何特征，并将各区域空间点云特征聚合到邻近的骨架关节点上。
[0007]步骤4）时序点云特征学习为了获取帧间的步态动态特征，设计了基于Transformer的时序特征编码器（Frame
‑
wise encoding）将步态身份和情绪特征映射到同一个共享空间进行分类，通过多任务学习策略，从编码向量中提取出辨别特征，用于步态身份识别和情绪识别。
[0008]优选地，所述步骤1）中的步态时序点云数据获取，包括以下步骤：1
‑
1）在实际应用环境下，步态视频数据通过摄像头采集，标注信息为被测对象的身份ID号及情绪状态（例如：沮丧、快乐、愤怒、中性等）。采集的视频数据要求画质清晰、无卡顿，被测对象处于镜头中间区域内，训练集和测试集需要保持分辨率和采样帧率参数的一致。
[0009]1‑
2）通过预训练网络模型（类似于HMR、VIBE等）回归出SMPL模型形态参数，姿态参数和相机参数，通过构建时序平滑约束和时序一致性约束对训练网络模型进行微调，假设第帧，网络估计出的参数为，引入姿态时间平滑约束和相机时间平滑约束，对应的损失函数为：其中，为姿态时间平滑约束损失函数，为相机时间平滑约束损失函数， 为视频序列的帧数；形态参数一致性约束的损失函数为：
其中代表序列中的平均形状参数；经过优化后的SMPL参数能获得更准确的三维人体表面网格坐标和三维关节点位置坐标。
[0010]1‑
3）根据相机参数旋转坐标系，将三维网格坐标和关节点坐标统一到侧面视角下，并将6890个网格坐标位置作为步态点云数据进行后续处理。
[0011]优选地，所述步骤2）中的步态时序点云数据获取，包括以下步骤：以步骤1）获得的25个关节点的位置为中心，采用是K近邻（KNN）范围查询的方式找到固定的数量为256的相邻点，将相邻点的集合作为一个关节点感知分区域，表示划分为25个子区域的每一帧的点云数据，表示$v$子区域内的点集，由此将6980个点划分为25个子区域。
[0012]优选地，所述步骤3）中的步态时序点云数据获取，包括以下步骤：3
‑
1）对步骤2）划分出的各子区域进行区域中心点采样和领域分组，使用最远点采样FPS对点集进行降采样，将输入点集从规模降到更小的规模；先随机选择一个点作为已选择采样点集中的初始点，然后在未选择的点集中再选择离这个点距离最远的点加入到已选择采样点集中，再继续迭代，直到选出目标数量采样点个数为止；再以这些采样点为中心采用球查询（Query ball point）的方式找到周围找到K个邻近点，与邻近点共同组成局部区域，该步骤输出维度为。
[0013]3‑
2）对步骤3
‑
1）获得的局部区域进行特征聚合，使用PointNet 作为局部特征学习的基本模块，将局部区域中K个点坐标转换成以相对于局部区域中心点的的相对坐标：，其中，， 是中心坐标；通过MLP和Pooling的操作，该层的输出维度为，通过Shared MLP将特征维度从提升到。
[0014]3‑
3）通过点特征编码提取了关节点邻域精细的几何特征，还需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维人体建模点云特征编码的步态识别方法，其特征在于，具体包括以下内容：S1.步态时序点云数据获取：采用参数化人体模型SMPL来获取人体三维模型化参数，包括：形态参数，姿态参数和相机参数，然后通过添加时序平滑约束和时序一致性约束从预测的参数中获取6890个三维人体表面网格顶点坐标序列以及25个关节点三维坐标序列；S2. 基于关节点感知的区域划分：将骨架感知融入到三维人体网格数据的学习中，提出了一个基于关节点感知的点划分模块，以25个关节点的位置为中心，将点云数据划分为25个子区域，通过将无序的点特征映射到有序的骨架关节上来聚合局部信息，以便提取更具鉴别性的时空特征；S3. 空间点云特征学习：对步骤2）划分出的子区域分别采用分层堆叠的点特征编码层和区域特征编码层进行特征提取，以捕捉每一帧步态点云数据中的局部和全局的空间几何特征，并将各区域空间点云特征聚合到邻近的骨架关节点上；S4. 时序点云特征学习：为了获取帧间的步态动态特征，设计了基于Transformer的时序特征编码器将步态身份和情绪特征映射到同一个共享空间进行分类，通过多任务学习策略，从编码向量中提取出辨别特征，用于步态身份识别和情绪识别。2.根据权利要求1所述的一种基于三维人体建模点云特征编码的步态识别方法，其特征在于，步骤S1包括：S1
‑
1.在实际应用环境下，步态视频数据通过摄像头采集，标注信息为被测对象的身份ID号及情绪状态；采集的视频数据要求画质清晰、无卡顿，被测对象处于镜头中间区域内，训练集和测试集需要保持分辨率和采样帧率参数的一致；S1
‑
2.通过预训练网络模型回归出SMPL模型形态参数，姿态参数和相机参数，通过构建时序平滑约束和时序一致性约束对训练网络模型进行微调，假设第帧，网络估计出的参数为，引入姿态时间平滑约束和相机时间平滑约束，对应的损失函数为：其中，为姿态时间平滑约束损失函数，为相机时间平滑约束损失函数， 为视频序列的帧数；形态参数一致性约束的损失函数为：其中代表序列中的平均形状参数；经过优化后的SMPL参数能获得更准确的
三维人体表面网格坐标和三维关节点位置坐标；S1
‑
3.根据相机参数旋转坐标系，将三维网格坐标和关节点坐标统一到侧面视角下，并将6890个网格坐标位置作为步态点云数据进行后续处理。3.根据权利要求1所述的一种基于三维人体建模点云特征编码的步态识别方法，其特征在于，步骤S2包括：以步骤S1获得的25个关节点的位置为中心，采用是K近邻KNN范围查询的方式找到固定的数量为256的相邻点，将相邻点的集合作为一个关节点感知分区域，表示划分为25个子区域的每一帧的点云数据，表示$v$子区域内的点集，由此将6980个点划分为25个子区域。4.根据权利要求1所述的一种基于三维人体建模点云特征编码的步态识别方法，其特征在于，步骤S3包括：S3
‑
1.对步骤S2划分出的各子区域进行区域中心点采样和领域分组，使用最远...

【专利技术属性】
技术研发人员：丘成桐，李新德，盛维杰，
申请(专利权)人：南京应用数学中心，
类型：发明
国别省市：