【技术实现步骤摘要】
本申请涉及计算机，具体而言，涉及一种知识迁移的点云人体姿态估计模型的训练和识别方法。
技术介绍
1、人体姿态估计是多数研究方向的基础，在实际应用中，人体姿态估计常常转化为对人体关键点的预测，例如行为分析、步态识别以及人物跟踪等，均需要结合精确的关键点坐标位置进行进一步分析和判断。在目前的技术方案中，常采用毫米波雷达获取对应的点云数据以进行人体姿态估计，然而，大部分单芯片雷达存在雷达天线少、点云密度稀疏等问题，基于单芯片雷达所获取的点云数据进行姿态估计使得识别结果的准确度较低。由此，如何在现有毫米波雷达获取的稀疏点云的基础上，提高人体姿态识别结果的准确度成为了亟待解决的技术问题。
技术实现思路
1、本申请的实施例提供了一种知识迁移的点云人体姿态估计模型的训练和识别方法，进而至少在一定程度上可以在现有毫米波雷达获取的稀疏点云的基础上，提高人体姿态识别结果的准确度。
2、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
3、根据本申请实施例的一个方面，提供了一种知识迁移的点云人体姿态估计模型的训练方法，包括：
4、获取模型训练数据，所述模型训练数据包括相对应且预处理后的相机点云数据和雷达点云数据；
5、根据所述相机点云数据对预先构建的第一训练模块进行训练，将所述第一训练模块输出的人体关节点的预测值与真实值之间的欧氏距离以及真实值对应的速度权重进行加权平均以得到所述第一训练模块对应的第一损失项，并根据所述第
6、根据所述雷达点云数据对预先构建的第二训练模块进行训练，将所述第二训练模块的输出与所述教师模型的输出之间的均方误差作为所述第二训练模块对应的第二损失项，并根据所述第二损失项对所述第二训练模块进行训练，得到学生模型；
7、根据所述雷达点云数据对所述学生模型进行再次优化，将所述学生模型输出的人体关节点的预测值与真实值之间的欧氏距离以及真实值对应的速度权重进行加权平均以得到所述学生模型对应的第三损失项，并根据所述第三损失项对所述学生模型进行二次优化，得到经过点云优化后的目标姿态估计模型。
8、根据本申请实施例的一个方面，提供了一种点云人体姿态的识别方法，该方法包括：
9、获取待识别雷达点云数据；
10、将所述待识别雷达点云数据输入至预先训练完成的姿态估计模型，以使所述姿态估计模型输出对应的姿态识别结果，所述姿态估计模型由如上述实施例所述的训练方法训练得到。
11、根据本申请实施的一个方面，提供一种人体姿态估计的网络模型，包括：获取训练数据集，在原有空间信息基础上，添加一维时间信息，构建时间连续的点云时空序列数据，以确知毫米波点云所处的时间；利用denseblock增加点云通道数，提取点云帧特征，结合特征连接的方法共同作为下一层的输入；利用点4d卷积对点云视频中的时空局部结构进行编码，用于嵌入点云视频中呈现的时空局部结构，将位置信息结合到点云特征中，然后transformer通过对嵌入的局部特征进行自注意力机制来捕获整个视频中的外观和运动信息，从而更好地提取点云的动态特征；将经过p4transformer处理的点云数据根据先前计算保存的每帧点云数量列表进行点云数据分割，确定每帧点云后计算每一帧的最大值、最小值和平均值，通过这种混合池化连接的方法强调点云特征并固定每帧点数，进而最终完成t帧长度为c的点云特征的提取，为后续姿态预测网络提供点云特征。利用相机点云信息训练ttransformer网络；接着利用ttransformer网络训练stransformer网络的前半部分，即特征提取部分，先由ttransformer网络通过相机点云提取特征信息，然后stransformer网络利用与相机点云同源的毫米波点云提取特征信息,优化两者特征之间的差值；最后利用毫米波点云信息微调stransformer网络，通过双流数据融合输出基于骨骼点表示的3d人体姿态。
12、根据本申请实施例的一个方面，提供了一种知识迁移的点云人体姿态估计模型的训练装置，包括：
13、第一获取模块，用于获取模型训练数据，所述模型训练数据包括相对应且预处理后的相机点云数据和雷达点云数据；
14、模型训练模块，用于根据所述相机点云数据对预先构建的第一训练模块进行训练，将所述第一训练模块输出的人体关节点的预测值与真实值之间的欧氏距离以及真实值对应的速度权重进行加权平均以得到所述第一训练模块对应的第一损失项，并根据所述第一损失项对所述第一训练模块进行训练，得到教师模型；根据所述雷达点云数据对预先构建的第二训练模块进行训练，将所述第二训练模块的输出与所述教师模型的输出之间的均方误差作为所述第二训练模块对应的第二损失项，并根据所述第二损失项对所述第二训练模块进行训练，得到学生模型；根据所述雷达点云数据对所述学生模型进行再次优化，将所述学生模型输出的人体关节点的预测值与真实值之间的欧氏距离以及真实值对应的速度权重进行加权平均以得到所述学生模型对应的第三损失项，并根据所述第三损失项对所述学生模型进行二次优化，得到经过点云优化后的目标姿态估计模型。
15、根据本申请实施例的一个方面，提供了一种点云人体姿态的识别装置，包括：
16、第二获取模块，用于获取待识别雷达点云数据；
17、数据处理模块，用于将所述待识别雷达点云数据输入至预先训练完成的姿态估计模型，以使所述姿态估计模型输出对应的姿态识别结果，所述姿态估计模型由上述实施例所述的训练方法训练得到。
18、根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的知识迁移的点云人体姿态估计模型的训练方法、点云人体姿态的识别方法。
19、根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的基于知识迁移的点云人体姿态估计模型的训练方法、点云人体姿态的识别方法。
20、根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的知识迁移的点云人体姿态估计模型的训练方法、点云人体姿态的识别方法。
21、在本申请的一些实施例所提供的技术方案中，通过获取模型训练数据，该模型训练数据包括相对应且预处理后的相机点云数据和雷达点云数据，根据相机点云数据对预先构建的第一训练模块进行训练，将第一训练模块输出的人体关节点的预测值与真实值之间的欧氏距离以及真实值对应的速度权重进行加权平均以得到第一训练模块对应的本文档来自技高网...
【技术保护点】
1.一种知识迁移的点云人体姿态估计模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一训练模块、所述第二训练模块包括相连接的数据格式处理模块、点云特征提取网络以及姿态估计网络；
3.根据权利要求1或2所述的方法，其特征在于，所述预处理包括：
4.根据权利要求3所述的方法，其特征在于，将数据处理后的相机点云数据和雷达点云数据进行坐标匹配处理并存储，以得到模型训练数据，包括：
5.一种点云人体姿态的识别方法，其特征在于，包括：
6.一种知识迁移的点云人体姿态估计模型的训练装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述第一训练模块、所述第二训练模块包括相连接的数据格式处理模块、点云特征提取网络以及姿态估计网络；
8.一种点云人体姿态的识别装置，其特征在于，包括：
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4、5中任一项所述的方法。
10.一种电子设备，其特征在
...【技术特征摘要】
1.一种知识迁移的点云人体姿态估计模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一训练模块、所述第二训练模块包括相连接的数据格式处理模块、点云特征提取网络以及姿态估计网络；
3.根据权利要求1或2所述的方法，其特征在于，所述预处理包括：
4.根据权利要求3所述的方法，其特征在于，将数据处理后的相机点云数据和雷达点云数据进行坐标匹配处理并存储，以得到模型训练数据，包括：
5.一种点云人体姿态的识别方法，其特征在于，...
【专利技术属性】
技术研发人员：黄联芬，林志颖，朱晨亮，邓培伟，高志斌，赵毅峰，
申请(专利权)人：厦门大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。