一种聚类-最近邻骨骼点缺失预测方法技术

本发明专利技术一种聚类

【技术实现步骤摘要】
一种聚类
‑
最近邻骨骼点缺失预测方法


[0001]本专利技术属于计算机视觉领域骨骼点检测领域，特别是涉及一种聚类
‑
最近邻骨骼点缺失预测方法。

技术介绍

[0002]视频中包括非常多的有用信息，如颜色、边缘、形状等，但其中的背景信息会对模型产生负面影响，基于人体姿态的领域中，骨骼点作为高级语义信息，可以忽略背景、人物细节，在骨骼点行为识别、虚拟现实以及人机交互的相关研究中必不可少。
[0003]早期的骨骼点数据集分类较少、数据规范、特征分布集中、干扰信息少，几乎没有骨骼点遮挡问题，目前的研究大多集中于细粒度动作识别，且数据来源广泛，数据不规范，数据没有明显的高维特征分布，其中遮挡是影响骨骼点模型准确率的主要因素。
[0004]骨骼点完整性作为识别模型的前提假设，骨骼点缺失问题往往被忽略，一般使用数据分布良好或骨骼点较少缺失的数据集，缺失值采取简单的预处理方式。因此，需要建立骨骼点缺失预测模型，为下游任务提供更有效的骨骼点特征。

技术实现思路

[0005]为了解决模型对于骨骼点完整性的依赖，提升模型在实际场景中的预测效果，本专利技术提出了一种聚类
‑
最近邻骨骼点缺失预测方法，该方法能够较好的进行缺失预测，服务于下游任务。对于依赖骨骼点识别效果的下游任务有积极促进作用，可用于行为识别、虚拟现实、人机交互等领域。
[0006]本专利技术保护的技术方案为：一种聚类
‑
最近邻骨骼点缺失预测方法，按照以下步骤进行：r/>[0007]步骤1：利用GCN
‑
LSTM网络提取有效的骨骼点嵌入表示，该网络以骨骼点完整的数据集作为模型输入，获取分布良好的骨骼点空间先验信息；
[0008]步骤2：GCN
‑
LSTM模型训练完成后只保留图卷积网络，利用图卷积网络将骨骼点完整的数据集进行嵌入特征提取；
[0009]步骤3：视频中的缺失具有空间连续性的特点，按照设计的缺失策略对数据集进行不用程度的模拟缺失，为缺失预测做数据准备，具体确实策略如下：
[0010](1)假设完整的骨架具1有N个骨骼点，缺失典型值为1,2,...,M,N/3≤M≤N/2；
[0011](2)M个缺失的骨骼点分成S个缺失区域，每个缺失区域在空间上是连续的，单个缺失区域包含骨骼点的典型值为1,2,3,4；
[0012]步骤4：使用聚类算法对所有嵌入特征进行分类，将聚类的中心特征作为最近邻算法中的类别，设置不同的K1值测试缺失预测算法的性能，通过对比实验确定最优聚类K1值；
[0013]步骤5：对于骨骼点产生缺失的样本，通过最近邻算法找出距离最近的几个聚类中心进行加权平均作为预测值，设置不同K2值测试缺失预测算法的性能，通过对比实验确定最优最近邻K2值。
[0014]进一步的，所述步骤1使用了有监督的表示学习方法，骨骼点缺失预测算法依赖完整骨骼点嵌入表示，单个骨架图并未给出分类，因此需要将骨架序列定义的行为作为标签，结合GCN与时序模型LSTM，定义一个有监督的伪任务；
[0015]利用图卷积提取空间嵌入特征，循环神经网络进行时序建模，模型输入可视为序列数据，循环神经网络用于处理序列输入的模型，模型在空间上进行线性映射，在不同的时间步输入同一个网络层中，输入由上一个时刻的输出与当前时刻的输入结合而来；
[0016]在每个时间步上，输入为单个骨架，骨架具有典型的图结构，图卷积被设计用来从图结构的数据中提取特征，通过邻接矩阵将相邻节点的信息相加得到下一层的输入，结合线性映射将每个节点的特征维度从D维转化为目标维度。
[0017]进一步的，步骤2使用分布良好、骨骼点完整的数据作为图卷积网络的输入进行嵌入特征提取，利用PCA等数据降维方法可以得到其三维空间分布图便于进一步分析。
[0018]进一步的，步骤4中相似性度量公式使用欧式距离，确定不同聚类中心的嵌入表示作为最近邻算法的不同分类，为了得到最优聚类K1值，设置不同聚类K1值，对比缺失预测结果与骨骼点完整的标签样本的相似性，相似性最高对应最优K1值。
[0019]进一步的，步骤5中最近邻算法根据欧式距离计算公式，得出距离骨骼点缺失样本距离最近的K2个聚类中心样本，再根据这K2个样本预测该样本的取值，将K2个样本进行加权平均用于回归预测，权重与距离成反比例的关系，利用softmax对权重进行归一化，利用归一化反比例权重乘以各自的嵌入特征并求和即为最终预测结果：
[0020][0021]其中，r
j
是到样本到每个聚类中心的距离，k
j
是不同聚类中心的嵌入表示；为了得到最优最近邻K2值，设置不同最近邻K2值，对比缺失预测结果与骨骼点完整的标签样本的相似性，相似性最高对应最优K2值。
[0022]本专利技术与现有技术相比具有以下优点：本专利技术基于表示学习，通过完整骨骼点的空间先验，利用聚类与最近邻的方法预测样本的嵌入特征，在具有一定分布、模拟缺失的条件下取得了较好预测性能，可用于行为识别、虚拟现实、人机交互等领域。
附图说明
[0023]下面结合附图对本专利技术做进一步详细的说明。
[0024]图1为本专利技术的实施流程图。
[0025]图2为本专利技术的GCN
‑
LSTM基线网络结构。
[0026]图3为本专利技术在NTU
‑
60数据集上的嵌入特征三维分布。
[0027]图4为本专利技术的骨骼点缺失特点图。
[0028]图5为本专利技术在不同K1值、不同缺失程度下的预测准确率。
[0029]图6为本专利技术在不同K2值、不同缺失程度下的预测准确率。
具体实施方式
[0030]为使本专利技术的目的、特征和优点能够明显易懂，下面结合附图对本专利技术的具体实
施方式做详细说明。
[0031]本专利技术提出一种基于GCN
‑
LSTM表示学习先验的聚类
‑
最近邻骨骼点缺失预测方法，应用流程如图1所示，按照如下步骤实施：
[0032]步骤1：获取骨骼点完整的数据集，首先构建GCN
‑
LSTM表示学习网络，如图2所示，其中GCN网络共三层，各层输入输出维度分别是(25,3),(25,5)、(25,5),(25,8)、(25,8),(25,15)。LSTM网络包括四层，维度分别是375,256,128,60，时间步长为序列长度为50帧，长度不够补零。batch大小设置为32，使用Adam优化器进行参数优化，使用MSE作为损失函数，初始学习率设置为0.005，训练次数为2000次，学习率在50轮以及1000轮的时候调整为0.002与0.001。
[0033]步骤2：通过定义有监督的伪任务获取GCN嵌入特征提取网络，利用该网络提取骨骼点完整的数据集嵌入特征，通过PCA进行降维并可视化观察其特征分布，如图3所示。
[0034]步骤3：分析骨骼点缺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种聚类
‑
最近邻骨骼点缺失预测方法，其特征在于，按照以下步骤进行：步骤1：利用GCN
‑
LSTM网络提取有效的骨骼点嵌入表示，该网络以骨骼点完整的数据集作为模型输入，获取分布良好的骨骼点空间先验信息；步骤2：GCN
‑
LSTM模型训练完成后只保留图卷积网络，利用图卷积网络将骨骼点完整的数据集进行嵌入特征提取；步骤3：视频中的缺失具有空间连续性的特点，按照设计的缺失策略对数据集进行不用程度的模拟缺失，为缺失预测做数据准备，具体确实策略如下：(1)假设完整的骨架具1有N个骨骼点，缺失典型值为1,2,...,M,N/3≤M≤N/2；(2)M个缺失的骨骼点分成S个缺失区域，每个缺失区域在空间上是连续的，单个缺失区域包含骨骼点的典型值为1,2,3,4；步骤4：使用聚类算法对所有嵌入特征进行分类，将聚类的中心特征作为最近邻算法中的类别，设置不同的K1值测试缺失预测算法的性能，通过对比实验确定最优聚类K1值；步骤5：对于骨骼点产生缺失的样本，通过最近邻算法找出距离最近的几个聚类中心进行加权平均作为预测值，设置不同K2值测试缺失预测算法的性能，通过对比实验确定最优最近邻K2值。2.根据权利要求1所述的一种聚类
‑
最近邻骨骼点缺失预测方法，其特征在于：所述步骤1使用了有监督的表示学习方法，骨骼点缺失预测算法依赖完整骨骼点嵌入表示，单个骨架图并未给出分类，因此需要将骨架序列定义的行为作为标签，结合GCN与时序模型LSTM，定义一个有监督的伪任务；利用图卷积提取空间嵌入特征，循环神经网络进行时序建模，模型输入可视为序列数据，循环神经网络用于处理序列输入的模型，模型在空间上进行线性映...

【专利技术属性】
技术研发人员：屈军锁，康博威，
申请(专利权)人：陕西烽火实业有限公司，
类型：发明
国别省市：