一种交互式3D人体姿态估计方法技术

本发明专利技术公开了一种交互式3D人体姿态估计方法，是一种交互式人工智能应用，用于大幅降低对于3D人体姿态任务的标注人力和设备成本。主要包含如下步骤：使用已有的2D人体姿态预测网络获取人体关键点的2D坐标；由高斯噪声采样生成噪声序列，并与2D坐标一起作为输入。利用3D人体姿态预测网络的扩散过程初步预测出人体关键点的3D坐标，人工修正少量关键点的3D坐标，将修正后的坐标再次输入到3D人体姿态预测网络中进行推理，最终预测出人体关键点的3D坐标。本发明专利技术将人工干预融合到了3D人体姿态预测网络中，使用少量的人工干预大幅度提高模型的人体姿态估计准确度，可以为未知数据的标注节省大量的人力和设备成本，为3D人体姿态估计的发展做出一定贡献。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，尤其涉及一种交互式3d人体姿态估计方法。

技术介绍

1、3d人体姿态估计，旨在从图像或者视频预测人体关键点的3d坐标，是一种重要的计算机视觉任务，有较大的应用前景，如增强现实、肢体语言解读、人体交互等等，在今年获得了较多的学术界关注。总体来说，3d人体姿态估计有两条基本路线：一是直接利用神经网络从图像或视频预测3d人体关键点坐标、二是先利用2d人体姿态预测器预测2d坐标，再利用神经网络从2d坐标预测3d坐标。由于第二种方法有着更小的预测误差，目前学术界和工业界的研究偏向第二类方法。

2、尽管当前出现了众多的3d人体姿态数据集，但由于域差距，在一个数据集上训练的模型往往在其他数据集上表现较差。此外，在实际应用场景中，往往需要根据实际业务需求重新采集数据并进行标注，并使用该数据进行训练。然而，3d人体姿态数据集常常是一段视频，视频的标注需要大量的人力和时间成本。

技术实现思路

1、本专利技术的目的在于解决现有技术中存在的问题，并提供一种交互式3d人体姿态估计方法，3d人体本文档来自技高网...

【技术保护点】

1.一种交互式3D人体姿态估计方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种交互式3D人体姿态估计方法，其特征在于，所述3D人体姿态预测网络的具体训练过程为：

3.如权利要求2所述的一种交互式3D人体姿态估计方法，其特征在于，所述扩散模型加噪方法的计算过程为：

4.如权利要求1所述的一种交互式3D人体姿态估计方法，其特征在于，步骤S1中，所述2D人体姿态预测网络采用CPN模型。

5.如权利要求1所述的一种交互式3D人体姿态估计方法，其特征在于，所述混合时空编码器由若干个空间-时间编码块依次级联而成，每个空间-时间编码块由一个空...

【技术特征摘要】

1.一种交互式3d人体姿态估计方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种交互式3d人体姿态估计方法，其特征在于，所述3d人体姿态预测网络的具体训练过程为：

3.如权利要求2所述的一种交互式3d人体姿态估计方法，其特征在于，所述扩散模型加噪方法的计算过程为：

4.如权利要求1所述的一种交互式3d人体姿态估计方法，其特征在于，步骤s1中，所述2d人体姿态预测网络采用cpn模型。

5.如权利要求1所述的一种交互式3d人体姿态估计方法，其特征在于，所述混合时空编码器由若干个空间-时间编码块依次级联而成，每个空间-时间编码块由一个空间transformer和一个时序transformer依次级联而成。

6.如权利要求1所述的一种交互式3d人体姿态估计方法，其特征在于，步...

【专利技术属性】
技术研发人员：李玺，周松燃，
申请(专利权)人：浙江大学，
类型：发明
国别省市：