数据处理方法、装置、设备以及介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、设备以及介质，本申请可以应用于人工智能、辅助驾驶等领域，该方法包括：获取目标图像帧对应的对象姿态检测结果和部位姿态检测结果；对象姿态检测结果与目标图像帧中的目标对象相关联，部位姿态检测结果与目标对象的第一对象部位相关联；根据对象姿态检测结果、部位姿态检测结果，以及与目标对象相关联的标准姿态，对目标图像帧中的目标对象进行姿态估计，得到目标对象对应的全局姿态。采用本申请实施例，可以提升对象姿态的估计准确性。可以提升对象姿态的估计准确性。可以提升对象姿态的估计准确性。

【技术实现步骤摘要】
数据处理方法、装置、设备以及介质


[0001]本申请涉及人工智能
，尤其涉及一种数据处理方法、装置、设备以及介质。

技术介绍

[0002]姿态估计可以检测出图片或者视频中各个关键点的位置，在电影动画、辅助驾驶、虚拟现实、动作识别等领域具有十分广泛的应用价值。
[0003]目前的姿态估计算法中，可以通过对图像或视频进行关键点检测，基于检测到的关键点以及对象约束关系，构建最终的对象姿态。然而，当图像或视频为移动端场景下的拍摄画面时，图像或视频画面可能只能包含对象的一部分部位，那么在对其进行姿态估计的过程中，由于缺少对象中的一些部位，造成提取到的部位信息不足，导致最终的对象姿态结果并不是该对象的完整姿态，影响了对象姿态的完整性。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、装置、设备以及介质，可以提升对象姿态的估计准确性。
[0005]本申请实施例一方面提供了一种数据处理方法，包括：
[0006]获取目标图像帧对应的对象姿态检测结果和部位姿态检测结果；对象姿态检测结果与目标图像帧中的目标对象相关联，部位姿态检测结果与目标对象的第一对象部位相关联；
[0007]根据对象姿态检测结果、部位姿态检测结果，以及与目标对象相关联的标准姿态，对目标图像帧中的目标对象进行姿态估计，得到目标对象对应的全局姿态。
[0008]本申请实施例一方面提供了一种数据处理装置，包括：
[0009]姿态检测模块，用于获取目标图像帧对应的对象姿态检测结果和部位姿态检测结果；对象姿态检测结果与目标图像帧中的目标对象相关联，部位姿态检测结果与目标对象的第一对象部位相关联；
[0010]姿态估计模块，用于根据对象姿态检测结果、部位姿态检测结果，以及与目标对象相关联的标准姿态，对目标图像帧中的目标对象进行姿态估计，得到目标对象对应的全局姿态。
[0011]其中，姿态检测模块包括：
[0012]对象检测单元，用于从视频数据中获取目标图像帧，将目标图像帧输入至对象检测模型，通过对象检测模型输出目标图像帧对应的对象姿态检测结果；
[0013]部位检测单元，用于将目标图像帧输入至部位检测模型，通过部位检测模型输出目标图像帧对应的部位姿态检测结果。
[0014]其中，对象检测单元包括：
[0015]部位分类子单元，用于将目标图像帧输入至对象检测模型，通过对象检测模型获
取目标图像帧中的目标对象对应的对象姿态特征，识别对象姿态特征对应的对象部位分类结果；对象部位分类结果用于表征目标对象的关键点所对应的对象部位类别；
[0016]部位映射图生成子单元，用于根据对象部位分类结果和目标图像帧的对象卷积特征，生成第一激活映射图；
[0017]定位结果确定子单元，用于获取第一激活映射图对应的像素平均值，根据像素平均值确定目标对象中的关键点在目标图像帧中的定位结果；
[0018]检测结果确定子单元，用于根据对象部位类别和定位结果，确定目标图像帧对应的对象姿态检测结果。
[0019]其中，部位分类子单元包括：
[0020]全局分类子单元，用于在对象检测模型中获取目标图像帧中的目标对象对应的对象描述特征，根据对象检测模型中的分类器，输出对象描述特征对应的第二分类结果；
[0021]全局映射图获取子单元，用于获取对象检测模型中的目标卷积层所输出的针对目标图像帧的对象卷积特征，将第二分类结果和对象卷积特征进行乘积运算，得到目标图像帧对应的第二激活映射图；
[0022]分块处理子单元，用于根据第二激活映射图对目标图像帧进行分块处理，得到M个对象部位区域图像，根据对象检测模型获取M个对象部位区域图像分别对应的对象部位描述特征；M为正整数；
[0023]特征组合子单元，用于将对象描述特征和M个对象部位区域图像所对应的对象部位描述特征组合为对象姿态特征。
[0024]其中，部位检测单元包括：
[0025]对象部位检测子单元，用于将目标图像帧输入至部位检测模型，在部位检测模型中检测目标图像帧中的目标对象的第一对象部位；
[0026]部位姿态估计子单元，用于若在目标图像帧中检测到第一对象部位，则从目标图像帧中获取包含第一对象部位的区域图像，根据区域图像获取第一对象部位对应的部位关键点位置，基于部位关键点位置确定目标图像帧对应的部位姿态检测结果；
[0027]空值确定子单元，用于若在目标图像帧中未检测到第一对象部位，则确定目标图像帧对应的部位姿态检测结果为空值。
[0028]其中，部位姿态估计子单元包括：
[0029]图像剪裁子单元，用于若在目标图像帧中检测到第一对象部位，则对目标图像帧进行剪裁，得到包含第一对象部位的区域图像；
[0030]部位关键点确定子单元，用于获取区域图像对应的部位轮廓特征，根据部位轮廓特征预测第一对象部位对应的部位关键点位置；
[0031]部位关键点连接子单元，用于基于部位关键点位置，对第一对象部位的关键点进行连接，得到目标图像帧对应的部位姿态检测结果。
[0032]其中，姿态估计模块包括：
[0033]关键点数量统计单元，用于获取与目标对象相关联的标准姿态，统计标准姿态对应的第一关键点数量，以及对象姿态检测结果对应的第二关键点数量；
[0034]第一插值处理单元，用于当第一关键点数量大于第二关键点数量时，根据标准姿态对对象姿态检测结果进行插值处理，得到第一候选对象姿态；
[0035]第二插值处理单元，用于根据部位姿态检测结果对第一候选对象姿态进行插值处理，得到目标对象对应的全局姿态。
[0036]其中，第二插值处理单元包括：
[0037]第一方向确定子单元，用于若对象姿态检测结果包含第二对象部位的姿态，且对象姿态检测结果不包含第三对象部位的姿态，则根据部位姿态检测结果中所包含的第一对象部位的关键点位置，确定第三对象部位对应的第一部位方向；第二对象部位和第三对象部位为目标对象的对称部位；
[0038]第一位置确定子单元，用于获取第二对象部位在第一候选对象姿态中的第一部位长度，根据第一部位长度和第一部位方向，确定第三对象部位的关键点位置；
[0039]第一关键点增加子单元，用于将第三对象部位的关键点位置添加至第一候选对象姿态，得到目标图像帧中的目标对象对应的全局姿态。
[0040]其中，第一关键点增加子单元具体用于：
[0041]将第三对象部位的关键点位置添加至第一候选对象姿态，得到目标图像帧中的目标对象对应的第二候选对象姿态，获取标准姿态与第二候选对象姿态之间的姿态偏移量；
[0042]若姿态偏移量大于偏移阈值，则基于标准姿态对第二候选对象姿态进行关键点矫正，得到目标图像帧中的目标对象对应的全局姿态。
[0043]其中，目标图像帧为视频数据中的第i个图像帧，i为正整数；
[0044]第二插值处理单元包括：
[0045]第二方向确定子单元，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取目标图像帧对应的对象姿态检测结果和部位姿态检测结果；所述对象姿态检测结果与所述目标图像帧中的目标对象相关联，所述部位姿态检测结果与所述目标对象的第一对象部位相关联；根据所述对象姿态检测结果、所述部位姿态检测结果，以及与所述目标对象相关联的标准姿态，对所述目标图像帧中的所述目标对象进行姿态估计，得到所述目标对象对应的全局姿态。2.根据权利要求1所述的方法，其特征在于，所述获取目标图像帧对应的对象姿态检测结果和部位姿态检测结果，包括：从视频数据中获取所述目标图像帧，将所述目标图像帧输入至对象检测模型，通过所述对象检测模型输出所述目标图像帧对应的对象姿态检测结果；将所述目标图像帧输入至部位检测模型，通过所述部位检测模型输出所述目标图像帧对应的部位姿态检测结果。3.根据权利要求2所述的方法，其特征在于，所述将所述目标图像帧输入至对象检测模型，通过所述对象检测模型输出所述目标图像帧对应的对象姿态检测结果，包括：将所述目标图像帧输入至对象检测模型，通过所述对象检测模型获取所述目标图像帧中的所述目标对象对应的对象姿态特征，识别所述对象姿态特征对应的第一分类结果；所述第一分类结果用于表征所述目标对象的关键点所对应的对象部位类别；根据所述第一分类结果和所述目标图像帧的对象卷积特征，生成第一激活映射图；获取所述第一激活映射图对应的像素平均值，根据所述像素平均值确定所述目标对象中的关键点在所述目标图像帧中的定位结果；根据所述对象部位类别和所述定位结果，确定所述目标图像帧对应的对象姿态检测结果。4.根据权利要求3所述的方法，其特征在于，所述通过所述对象检测模型获取所述目标图像帧中的所述目标对象对应的对象姿态特征，包括：在所述对象检测模型中获取所述目标图像帧中的所述目标对象对应的对象描述特征，根据所述对象检测模型中的分类器，输出所述对象描述特征对应的第二分类结果；获取所述对象检测模型中的目标卷积层所输出的针对所述目标图像帧的对象卷积特征，将所述第二分类结果和所述对象卷积特征进行乘积运算，得到所述目标图像帧对应的第二激活映射图；根据所述第二激活映射图对所述目标图像帧进行分块处理，得到M个对象部位区域图像，根据所述对象检测模型获取所述M个对象部位区域图像分别对应的部位描述特征；M为正整数；将所述对象描述特征和所述M个对象部位区域图像所对应的部位描述特征组合为所述对象姿态特征。5.根据权利要求2所述的方法，其特征在于，所述将所述目标图像帧输入至部位检测模型，通过所述部位检测模型输出所述目标图像帧对应的部位姿态检测结果，包括：将所述目标图像帧输入至部位检测模型，在所述部位检测模型中检测所述目标图像帧中的所述目标对象的第一对象部位；
若在所述目标图像帧中检测到所述第一对象部位，则从所述目标图像帧中获取包含所述第一对象部位的区域图像，根据所述区域图像获取所述第一对象部位对应的部位关键点位置，基于所述部位关键点位置确定所述目标图像帧对应的部位姿态检测结果；若在所述目标图像帧中未检测到所述第一对象部位，则确定所述目标图像帧对应的部位姿态检测结果为空值。6.根据权利要求5所述的方法，其特征在于，所述若在所述目标图像帧中检测到所述第一对象部位，则从所述目标图像帧中获取包含所述第一对象部位的区域图像，根据所述区域图像获取所述第一对象部位对应的部位关键点位置，基于所述部位关键点位置确定所述目标图像帧对应的部位姿态检测结果，包括：若在所述目标图像帧中检测到所述第一对象部位，则对所述目标图像帧进行剪裁，得到包含所述第一对象部位的区域图像；获取所述区域图像对应的部位轮廓特征，根据所述部位轮廓特征预测所述第一对象部位对应的部位关键点位置；基于所述部位关键点位置，对所述第一对象部位的关键点进行连接，得到所述目标图像帧对应的部位姿态检测结果。7.根据权利要求1所述的方法，其特征在于，所述根据所述对象姿态检测结果、所述部位姿态检测结果，以及与所述目标对象相关联的标准姿态，对所述目标图像帧中的所述目标对象进行姿态估计，得到所述目标对象对应的全局姿态，包括：获取与所述目标对象相关联的标准姿态，统计所述...

【专利技术属性】
技术研发人员：张亮，马名浪，徐湛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：