模型训练方法、骨架动作识别方法、装置以及存储介质制造方法及图纸

本申请提供一种基于骨架动作识别的模型训练方法、骨架动作识别方法、骨架动作识别装置以及计算机可读存储介质。该模型训练方法包括：利用骨架动作识别模型的全局信息建模模块对第一局部特征、第二局部特征以及第三局部特征分别执行其他特征维度的卷积操作，以获取第一局部特征对应的第一全局特征、第二局部特征对应的第二全局特征以及第三局部特征对应的第三全局特征；将第一全局特征、第二全局特征以及第三全局特征融合，得到全局特征，将局部特征、全局特征融合得到融合特征。通过上述方式，骨架动作识别装置通过新颖的多视角全局信息建模模块，能够全面有效且高效地挖掘骨架数据时空域的全局信息，提高骨架动作识别模型的训练效果和识别效果。训练效果和识别效果。训练效果和识别效果。

【技术实现步骤摘要】
模型训练方法、骨架动作识别方法、装置以及存储介质


[0001]本申请涉及计算机视觉
，特别是涉及一种基于骨架动作识别的模型训练方法、骨架动作识别方法、骨架动作识别装置以及计算机可读存储介质。

技术介绍

[0002]图卷积由于在非欧式结构数据上良好的拓扑表达能力，在基于骨架的动作识别任务上有着出色的表现。但是图卷积的操作只局限在局部邻域，这限制了图卷积捕获全局信息的能力。全局信息的不足，使得基于图卷积的骨架动作识别方法容易混淆局部相似的动作。为了克服图卷积的这个缺点，研究人员提出了很多解决办法。
[0003]为了捕获更长范围的时序依赖，长短期记忆网络(LSTM)被引入图卷积网络。为了能同时捕获骨架时空域的全局信息，基于自注意力机制的方法被引入图卷积，比如non
‑
local操作在时空维度计算出的注意力矩阵被用作图卷积的邻接矩阵；基于transformer的方法被引入骨架动作识别领域，使用多头自注意力用于捕获骨架时空域的全局信息。但是LSTM由于串行(step
‑
by
‑
step)的处理方式，获取的全局信息并不充分。基于transformer的方法尽管能很好地捕获全局信息，但是存在与tokens成平方项的计算复杂度，在计算资源有限的设备上不利于实际的使用。

技术实现思路

[0004]本申请提供了一种基于骨架动作识别的模型训练方法、骨架动作识别方法、骨架动作识别装置以及计算机可读存储介质。
[0005]本申请提供了一种基于骨架动作识别的模型训练方法，所述模型训练方法包括：
[0006]获取待训练骨架视频；
[0007]利用骨架动作识别模型的局部信息建模模块，提取所述待训练骨架视频的局部特征；
[0008]获取所述局部特征对应三个特征维度的第一局部特征、第二局部特征以及第三局部特征；
[0009]利用所述骨架动作识别模型的全局信息建模模块对所述第一局部特征、所述第二局部特征以及所述第三局部特征分别执行其他特征维度的卷积操作，以获取所述第一局部特征对应的第一全局特征、所述第二局部特征对应的第二全局特征以及所述第三局部特征对应的第三全局特征；
[0010]将所述第一全局特征、所述第二全局特征以及所述第三全局特征融合，得到全局特征，将所述局部特征、所述全局特征融合得到融合特征；
[0011]将所述融合特征输入所述骨架动作识别模型的分类器，获取所述待训练骨架视频的预测类别；
[0012]基于所述待训练骨架视频的预测类别和标签类别，对所述骨架动作识别模型进行训练。
[0013]其中，所述其他特征维度的卷积操作为位置敏感卷积操作；
[0014]所述位置敏感卷积操作为：确定第二局部特征的自身特征维度，以及其他特征维度；获取骨架关节点在所述自身特征维度和卷积作用维度上的位置编码，利用所述自身特征维度和卷积作用维度上的位置编码以及所述第二局部特征的拼接特征进行卷积处理，得到所述第二局部特征对应的第二全局特征。
[0015]其中，所述获取骨架关节点在所述自身特征维度和卷积作用维度上的位置编码，包括：
[0016]获取所述卷积作用维度的位置索引，以及所述自身特征维度的长度；
[0017]获取所述骨架关节点在所述自身特征维度的位置索引；
[0018]按照所述卷积作用维度的位置索引、所述自身特征维度的长度以及所述自身特征维度的位置索引，获取所述骨架关节点的位置编码。
[0019]其中，所述利用所述自身特征维度和卷积作用维度上的位置编码以及所述第二局部特征的拼接特征进行卷积处理，得到所述第二局部特征对应的第二全局特征，包括：
[0020]基于所述第二局部特征的特征维度对所述自身特征维度和卷积作用维度上的位置编码进行维度复制，以得到特征维度长度与所述第二局部特征的特征维度长度相同的复制位置编码；
[0021]将所述第二局部特征与所述复制位置编码相加得到位置敏感的第二局部特征，位置敏感的第二局部特征按照所述卷积作用维度的方向与自身进行拼接，得到拼接局部特征；
[0022]利用方向沿卷积作用维度且大小为所述第二局部特征上卷积作用维度长度的一维卷积核，对所述拼接局部特征进行卷积处理，得到所述第二局部特征对应的第二全局特征。
[0023]其中，所述其他特征维度包括所述第二局部特征除自身的特征维度外的第一特征维度和第二特征维度；
[0024]所述利用所述自身特征维度和卷积作用维度上的位置编码以及所述第二局部特征的拼接特征进行卷积处理，得到所述第二局部特征对应的第二全局特征，包括：
[0025]利用所述第一特征维度和自身特征维度的位置编码以及所述第二局部特征的拼接特征进行卷积处理，得到第二局部子特征；
[0026]利用所述第二特征维度和自身特征维度的位置编码以及所述第二局部子特征的拼接特征进行卷积处理，得到第二局部输出特征；
[0027]将所述第二局部特征、所述第二局部输出特征融合，得到所述第二局部特征对应的第二全局特征。
[0028]其中，所述将所述局部特征、所述全局特征融合得到融合特征，包括：
[0029]利用所述骨架动作识别模型的融合建模模块，获取所述局部特征的首次局部特征，以及全局特征；
[0030]获取所述首次局部特征和所述全局特征融合输出的第一融合特征；
[0031]获取所述首次局部特征与所述第一融合特征融合输出的第二融合特征，并获取所述第二融合特征的首次全局特征；
[0032]获取所述全局特征和所述第一融合特征融合输出的第三融合特征，并获取所述第
三融合特征的二次局部特征；
[0033]将所述首次全局特征和所述二次局部特征进行融合输出，得到所述融合特征。
[0034]其中，所述将所述首次全局特征和所述二次局部特征进行融合输出，得到所述融合特征，包括：
[0035]对所述首次全局特征和所述二次局部特征的拼接特征，进行1
×
1卷积处理，得到所述融合特征。
[0036]其中，所述将所述局部特征、所述全局特征融合得到融合特征，包括：
[0037]将所述局部特征和所述全局特征融合得到融合特征；
[0038]将所述融合特征依次输入局部信息建模模块、融合建模模块以及局部信息建模模块，获取高层融合特征；
[0039]所述将所述融合特征输入所述骨架动作识别模型的分类器，获取所述待训练骨架视频的预测类别，包括：
[0040]将所述局部特征、所述融合特征以及所述高层融合特征进行特征融合，并将特征融合结果输入所述骨架动作识别模型的分类器，获取所述待训练骨架视频的预测类别。
[0041]其中，所述将所述融合特征依次输入局部信息建模模块、融合建模模块以及局部信息建模模块，获取高层融合特征，包括：
[0042]将所述融合特征输入所述局部信息建模模块，以通过所述局部信息建模模块对所述融合特征进行下采样处理，得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于骨架动作识别的模型训练方法，其特征在于，所述模型训练方法包括：获取待训练骨架视频；利用骨架动作识别模型的局部信息建模模块，提取所述待训练骨架视频的局部特征；获取所述局部特征对应三个特征维度的第一局部特征、第二局部特征以及第三局部特征；利用所述骨架动作识别模型的全局信息建模模块对所述第一局部特征、所述第二局部特征以及所述第三局部特征分别执行其他特征维度的卷积操作，以获取所述第一局部特征对应的第一全局特征、所述第二局部特征对应的第二全局特征以及所述第三局部特征对应的第三全局特征；将所述第一全局特征、所述第二全局特征以及所述第三全局特征融合，得到全局特征，将所述局部特征、所述全局特征融合得到融合特征；将所述融合特征输入所述骨架动作识别模型的分类器，获取所述待训练骨架视频的预测类别；基于所述待训练骨架视频的预测类别和标签类别，对所述骨架动作识别模型进行训练。2.根据权利要求1所述的模型训练方法，其特征在于，所述其他特征维度的卷积操作为位置敏感卷积操作；所述位置敏感卷积操作为：确定第二局部特征的自身特征维度，以及其他特征维度；获取骨架关节点在所述自身特征维度和卷积作用维度上的位置编码，利用所述自身特征维度和卷积作用维度上的位置编码以及所述第二局部特征的拼接特征进行卷积处理，得到所述第二局部特征对应的第二全局特征。3.根据权利要求2所述的模型训练方法，其特征在于，所述获取骨架关节点在所述自身特征维度和卷积作用维度上的位置编码，包括：获取所述卷积作用维度的位置索引，以及所述自身特征维度的长度；获取所述骨架关节点在所述自身特征维度的位置索引；按照所述卷积作用维度的位置索引、所述自身特征维度的长度以及所述自身特征维度的位置索引，获取所述骨架关节点的位置编码。4.根据权利要求2所述的模型训练方法，其特征在于，所述利用所述自身特征维度和卷积作用维度上的位置编码以及所述第二局部特征的拼接特征进行卷积处理，得到所述第二局部特征对应的第二全局特征，包括：基于所述第二局部特征的特征维度对所述自身特征维度和卷积作用维度上的位置编码进行维度复制，以得到特征维度长度与所述第二局部特征的特征维度长度相同的复制位置编码；将所述第二局部特征与所述复制位置编码相加得到位置敏感的第二局部特征，位置敏感的第二局部特征按照所述卷积作用维度的方向与自身进行拼接，得到拼接局部特征；利用方向沿卷积作用维度且大小为所述第二局部特征上卷积作用维度长度的一维卷积核，对所述拼接局部特征进行卷积处理，得到所述第二局部特征对应的第二全局特征。5.根据权利要求4所述的模型训练方法，其特征在于，所述其他特征维度包括所述第二局部特征除自身的特征维度外的第一特征维度和第
二特征维度；所述利用所述自身特征维度和卷积作用维度上的位置编码以及所述第二局部特征的拼接特征进行卷积处理，得到所述第二局部特征对应的第二全局特征，包括：利用所述第一特征维度和自身特征维度的位置编码以及所述第二局部特征的拼接特征进行卷积处理，得到第二局部子特征；利用所述第二特征维度和自身特征维度的位置编码以及所述第二局部子特征的拼接特征进行卷积处理，得到第二局部输出特征；将所述第二局部特征、所述第二局部输出特征融合，得到所述第二局部特征对应的第二全局特征。6.根据权利要求1所述的模型训练方法，其特征在于，所述将所述局部特征、所述全局特征融合得到融合特征，包括：利用所述骨架动作识别模型的融合建模模块，获取所述局部...

【专利技术属性】
技术研发人员：李兴明，敦婧瑜，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：