一种基于多任务非自回归解码的人体骨架的动作预测方法技术

本发明专利技术公开了一种基于多任务非自回归解码的人体骨架的动作预测方法，用于人体3D骨架的动作预测问题。具体包括如下步骤：获取用于训练的人体3D骨骼关键点数据集，并定义算法目标；建立图卷积编码器，对输入的人体3D骨架进行特征学习，得到输入骨架的特征；建立分类器，对输入的人体3D骨架输入进行行为识别；建立非自回归解码器，预测未来时刻人体3D骨架；使用共享的图卷积编码器和分类器，对预测的人体3D骨架再进行行为识别；使用所述联合学习框架进行未来时刻的人体动作预测。本发明专利技术用于真实视频中的人体动作预测分析，面对各类复杂情况具有较佳的效果和鲁棒性。

A motion prediction method of human skeleton based on multitasking non autoregressive decoding

【技术实现步骤摘要】
一种基于多任务非自回归解码的人体骨架的动作预测方法
本专利技术属于计算机视觉领域，特别地涉及一种基于多任务非自回归解码的人体骨架的动作预测方法。
技术介绍
基于人体骨架的动作预测问题被定义为如下问题：在包含多帧的一组人体骨骼关键点序列中，预测未来时刻的人体关键点序列。人体骨骼关键点常作为一些高层视觉任务的辅助信息，如人机交互，异常行为检测等。人体骨架动作预测的关键因素包括对于时序结构的建模。传统方法常使用自回归的解码方式，即后一帧的预测结果完全依赖于前一帧的预测结果，利用这种递归的方式对未来时刻进行预测，而没有考虑预测误差也会随非自回归解码过程进行传播这一事实。本专利技术提出了一种非自回归的解码方式，利用一种未知信息嵌入的特征以表征位置信息，学习到动作信息与位置信息的特定关联，打断了自回归方式中误差传播的路径，从而有效避免了预测误差在解码过程中的传播。此外，本专利技术还探究了基于人体骨架的动作预测问题以及基于人体骨架的行为识别问题。由于两种任务的相似性较强，利用一种自监督的方式同时完成动作预测和行为识别，能够有效地提高二者的准确率。由于统计建模的有效性，目前基于学习的方法逐渐被应用于基于人体骨架的动作预测任务中。现有的基于学习的方法主要采用深度学习框架，输入一组人体骨架序列，输出未来时刻对应的人体骨架序列。深度学习能够有效地解决特征表达的问题。
技术实现思路
为解决上述问题，本专利技术的目的在于基于多任务非自回归解码的人体动作预测方法。该方法基于深度神经网络，在解码过程中引入了位置信息嵌入，建模了动作信息和位置信息的关系，避免了预测误差在解码过程中的传播，从而使模型更具准确性和鲁棒性。此外，引入了与动作误测任务强关联的行为识别任务，利用自监督的学习方式同时完成动作预测和行为识别，能够有效地提高二者的准确率。为实现上述目的，本专利技术的技术方案为：基于多任务非自回归解码的人体骨架的动作预测方法，其包括以下步骤：S1、获取用于训练的人体3D骨骼关键点数据集，并定义算法目标；S2、建立图卷积编码器，对输入的人体3D骨架进行特征学习，得到输入骨架的特征；S3、建立分类器，对输入的人体3D骨架输入进行行为识别；S4、建立非自回归解码器，预测未来时刻人体3D骨架；S5、使用共享的图卷积编码器和分类器，对预测的人体3D骨架再进行行为识别；S6、使用S1～S5建立的联合学习框架进行未来时刻的人体动作预测。基于上述方案，各步骤可以通过如下方式实现：作为优选，步骤S1中，所述的用于训练的人体3D骨骼关键点数据集，包括给定的人体骨架关键点序列其中表示第t帧中第n个节点的3D信息，N为人体关节点总数，T1为给定序列帧数；还包括待预测的人体骨架关键点序列其中为待预测的第t帧中第n个节点的3D信息真值，T2为待预测序列帧数；定义算法目标为：给定连续T1帧人体骨架序列作为输入，预测未来T2帧人体骨架序列的动作信息。进一步的，步骤S2中，所述建立图卷积编码器，对输入的人体3D骨架进行特征学习，得到输入骨架的特征，具体包括：S21、建立9层的图卷积编码网络，每一层加入LeakvReLU激活函数，且网络的每一层分别包含图卷积部分和时序卷积部分；图卷积部分所使用的图结构为数据集所定义的人体骨骼连接关系，时序卷积部分卷积核大小为9；利用该图卷积编码网络对给定的人体骨架输入提取其高层语义特征c，公式表示为：c＝fenc(X；θenc)其中，fenc()为图卷积编码网络，θenc为编码网络参数，X为人体骨架输入序列。进一步的，步骤S3中，所述建立分类器，对输入的人体3D骨架输入进行行为识别，具体包括：S31、建立3层的全连接网络作为行为识别分类网络，每一层加入LeakyReLU激活函数以及Dropout随机丢弃函数；在行为识别分类网络中，给定如S21所述的高层语义特征c，输出多类行为动作概率值p，公式表示为：p＝fcls(c；θcls)其中，fcls()为行为识别分类网络，θcls为分类网络参数。进一步的，步骤S4中，所述建立非自回归解码器，预测未来时刻人体3D骨架，具体包括：S41、计算一系列位置编码嵌入其中et为256维特征，表示第t帧的位置编码嵌入，公式表示为：其中，表示第t帧的位置编码嵌入的第j维；位置编码嵌入的偶数维使用sin函数，奇数维使用cos函数；α和β表示超参数，用来控制位置编码嵌入的形状；dmodel为256，表示位置编码嵌入的维度大小；S42、将S21所述的高层语义特征c与S41所述的一系列位置编码嵌入分别相加，得到一系列编码了位置的高层语义特征公式表示为：ht＝et+c，t＝1，...，T2S43、建立非自回归解码网络，每一层加入LeakvReLU激活函数，且网络的每一层分别包含图卷积部分和时序卷积部分；图卷积部分所使用的图结构为数据集所定义的人体骨骼连接关系，时序卷积部分卷积核大小为1；将S42所述的一系列编码了位置的高层语义特征传入非自回归解码网络，得到预测的未来时刻人体3D骨骼关键点信息公式表示为：其中，为未来时刻第t帧中第n个节点的3D信息预测值，fdec()为非自回归解码网络，θdec为非自回归解码网络参数。进一步的，步骤S5中，所述使用共享的图卷积编码器和分类器，对预测的人体3D骨架再进行行为识别，具体包括：S51、使用如S21所述的图卷积编码网络fenc()、如S31所述的行为识别分类网络fcls()，以S43所述的预测的未来时刻人体3D骨骼关键点信息作为输入，输出多类行为动作概率值公式表示为：其中，为基于网络预测值的高层语义特征，图卷积编码网络参数θenc和行为识别分类网络参数θcls均与S21和S31中的对应网络共享。进一步的，步骤S6中，所述使用S1～S5建立的联合学习框架进行未来时刻的人体动作预测，具体包括：基于由S1～S5建立的统一的端到端联合学习框架，采用组输入和组输出的方式，将多组骨架序列输入该联合学习框架中进行训练，所有的卷积参数θ通过最小化损失函数学习得到，其中总的损失函数采用交叉熵损失函数与L2范数损失函数之和；设定和分别为给定预测得到的概率值以及给定预测得到的概率值，其中pi和分别为第i类输出动作的概率值，D为行为动作数目；为真值的动作类别，以独热编码形式表示，gi为第i类输出动作的真值；则所述交叉熵损失函数为：所述L2范数损失函数作用于预测的未来时刻人体3D骨骼关键点信息以及真实的未来时刻人体3D骨骼关键点信息其公式表达为：总的损失函数为：其中θ＝{θenc，θdec，θcls}为卷积参数；使用Adam优化方法和反向传播算法在损失函数下训练整个网络，利用训练完成的神经网络预测未来时刻人体3D骨架的动作信息。本专利技术的基于多任务非自回本文档来自技高网...

【技术保护点】
1.一种基于多任务非自回归解码的人体骨架的动作预测方法，其特征在于，包括以下步骤：/nS1、获取用于训练的人体3D骨骼关键点数据集，并定义算法目标；/nS2、建立图卷积编码器，对输入的人体3D骨架进行特征学习，得到输入骨架的特征；/nS3、建立分类器，对输入的人体3D骨架输入进行行为识别；/nS4、建立非自回归解码器，预测未来时刻人体3D骨架；/nS5、使用共享的图卷积编码器和分类器，对预测的人体3D骨架再进行行为识别；/nS6、使用S1～S5建立的联合学习框架进行未来时刻的人体动作预测。/n

【技术特征摘要】
1.一种基于多任务非自回归解码的人体骨架的动作预测方法，其特征在于，包括以下步骤：
S1、获取用于训练的人体3D骨骼关键点数据集，并定义算法目标；
S2、建立图卷积编码器，对输入的人体3D骨架进行特征学习，得到输入骨架的特征；
S3、建立分类器，对输入的人体3D骨架输入进行行为识别；
S4、建立非自回归解码器，预测未来时刻人体3D骨架；
S5、使用共享的图卷积编码器和分类器，对预测的人体3D骨架再进行行为识别；
S6、使用S1～S5建立的联合学习框架进行未来时刻的人体动作预测。


2.如权利要求1所述的基于多任务非自回归解码的人体骨架的动作预测方法，其特征在于，步骤S1中，所述的用于训练的人体3D骨骼关键点数据集，包括给定的人体骨架关键点序列其中表示第t帧中第n个节点的3D信息，该3D信息使用四元数表示，N为人体关节点总数，T1为给定序列帧数；还包括待预测的人体骨架关键点序列其中为待预测的第t帧中第n个节点的3D信息真值，T2为待预测序列帧数；
定义算法目标为：给定连续T1帧人体骨架序列作为输入，预测未来T2帧人体骨架序列的动作信息。


3.如权利要求2所述的基于多任务非自回归解码的人体骨架的动作预测方法，其特征在于，步骤S2中，所述建立图卷积编码器，对输入的人体3D骨架进行特征学习，得到输入骨架的特征，具体包括：
S21、建立9层的图卷积编码网络，每一层加入LeakyReLU激活函数，且网络的每一层分别包含图卷积部分和时序卷积部分；图卷积部分所使用的图结构为数据集所定义的人体骨骼连接关系，时序卷积部分卷积核大小为9；利用该图卷积编码网络对给定的人体骨架输入提取其高层语义特征c，公式表示为：
c＝fenc(X；θenc)
其中，fenc()为图卷积编码网络，θenc为编码网络参数，X为人体骨架输入序列。


4.如权利要求3所述的基于多任务非自回归解码的人体骨架的动作预测方法，其特征在于，步骤S3中，所述建立分类器，对输入的人体3D骨架输入进行行为识别，具体包括：
S31、建立3层的全连接网络作为行为识别分类网络，每一层加入LeakyReLU激活函数以及Dropout随机丢弃函数；在行为识别分类网络中，给定如S21所述的高层语义特征c，输出多类行为动作概率值p，公式表示为：
p＝fcls(c；θcls)
其中，fcls()为行为识别分类网络，θcls为分类网络参数。


5.如权利要求4所述的基于多任务非自回归解码的人体骨架的动作预测方法，其特征在于，步骤S4中，所述建立非自回归解码器，预测未来时刻人体3D骨架，具体包括：
S41、计算一系列位置编码嵌入其中et为256维特征，表示第亡帧的位置编码嵌入，公式表示为：






其中，表示第...

【专利技术属性】
技术研发人员：李玺，李斌，田健，张仲非，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33