人体动作识别结果的评价方法、装置和电子设备制造方法及图纸

本发明专利技术实施例提供一种人体动作识别结果的评价方法、装置和电子设备，该方法包括：将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；将所述人体动作识别结果对应的待检测人体动作的RGB‑D图像进行处理得到与所述特征信息对应的标准特征信息；确定所述特征信息与所述标准特征信息之间的误差度；其中，所述人体动作识别结果是对所述待检测人体动作的RGB‑D图像进行处理得到的。本发明专利技术实施例提供的方法、装置和电子设备，实现了评价人体动作识别结果时考虑深度信息，更适用于评价人体动作捕捉。

【技术实现步骤摘要】
人体动作识别结果的评价方法、装置和电子设备
本专利技术涉及人体动作识别
，尤其涉及一种人体动作识别结果的评价方法、装置和电子设备。
技术介绍
三维人体的重建与属性识别一直是机器视觉领域的重要研究方向，目前学术界基于深度学习的人体重建相关工作大致可以分为两大类，参数化模型重建和非参数化模型重建。通常都是通过采集待识别人体的RGB-D图像，然后对RGB-D图像进行处理，识别出对应RGB-D图像的人体动作。而识别出对应RGB-D图像的人体动作通常通过不同的识别结果来表达，例如识别结果可以是RGB-D图像中人体的3D关键点坐标，也可以是RGB-D图像中人体的点云三维坐标，还可以是RGB-D图像中人体的姿态参数、形态参数和位移参数，等等。上述三种识别结果实质是等效的表达识别人体动作结果的方式，它们之间可以相互转换。目前对于人体动作识别结果的评价指标使用的是PCK(Percentageofcorrectkeypoint)，最常用是PCK@0.2，该指标的计算方法是计算检测关键点与参考标准(groundtruth)的欧式距离小于0.2×躯干直径本文档来自技高网...

【技术保护点】
1.一种人体动作识别结果的评价方法，其特征在于，包括：/n将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；/n将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息；/n确定所述特征信息与所述标准特征信息之间的误差度；其中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的。/n

【技术特征摘要】
1.一种人体动作识别结果的评价方法，其特征在于，包括：
将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；
将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息；
确定所述特征信息与所述标准特征信息之间的误差度；其中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的。


2.根据权利要求1所述的人体动作识别结果的评价方法，其特征在于，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的，具体包括：
将待检测人体动作的RGB-D图像进行预处理，得到无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图；
将所述无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图输入姿态参数识别模型，输出所述待检测人体动作的姿态参数、形态参数和位移参数；
其中，所述姿态参数识别模型是基于样本无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图以及预先确定的对应于各样本无背景像素干扰的RGB图像的3D关键点坐标标签和三维点云标签进行训练后得到的，所述姿态参数识别模型训练时的损失函数基于关键点损失、平滑损失和点云损失构成；
将所述待检测人体动作的姿态参数、形态参数和位移参数输入参数化模型，输出人体动作识别结果。


3.根据权利要求1或2所述的人体动作识别结果的评价方法，其特征在于，所述特征信息为预测的3D关键点集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
通过人工手动方式将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行人体关键点的标注，得到标准的3D关键点集合，记作K，并人工判断所述人体关键点是否有自身遮挡，根据遮挡结果形成由0和1构成的one-hot向量V；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的3D关键点集合与所述标准的3D关键点集合K之间的误差度err:



其中，norm为归一化因子，V为所述one-hot向量，当所述one-hot向量中第i个元素对应的人体关键点有自身遮挡，则所述第i个元素取值为0，否则，所述第i个元素取值为1，i＝1,2,3,…,NV，NV为向量V中元素的个数。


4.根据权利要求1或2所述的人体动作识别结果的评价方法，其特征在于，所述特征信息为预测的点云数据集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
将所述人体动作识别结果对应的待检测人体动作的RGB-D图像中的RGB图像输入标注算法得到标准的2D关键点坐标，再将所述标准的2D关键点坐标转换为标准的3D关键点坐标；
基于所述标准的3D关键点坐标和所述RGB-D图像中的深度图，通过Ceres优化，得到姿态参数，将所述姿态参数输入预设参数化模型，输出标准的点云数...

【专利技术属性】
技术研发人员：户磊，李廷照，石彪，闫祥，张举勇，
申请(专利权)人：北京的卢深视科技有限公司，合肥的卢深视科技有限公司，
类型：发明
国别省市：北京;11