图像数据处理方法、装置、设备以及介质制造方法及图纸

本申请实施例提供了一种图像数据处理方法、装置、设备以及介质，本申请可以应用在人工智能领域。该方法包括：获取源视频中的第t+1个图像帧对应的关键点概率分布图，在第t+1个图像帧帧对应的关键点概率分布图中确定包含K个分布区域的候选概率分布图；获取候选概率分布图所关联的对象关键点在第t个图像帧中的参考位置，获取K个分布区域中的像素点与参考位置之间的第一像素距离；根据第一像素距离小于第一距离阈值的像素点的位置，确定候选概率分布图所关联的对象关键点在第t+1个图像帧中的关键点位置；关键点位置用于确定第t+1个图像帧中的对象姿态。采用本申请实施例，可以提高关键点检测的准确性。键点检测的准确性。键点检测的准确性。

【技术实现步骤摘要】
图像数据处理方法、装置、设备以及介质


[0001]本申请涉及人工智能领域，尤其涉及一种图像数据处理方法、装置、设备以及介质。

技术介绍

[0002]姿态估计问题在人机交互、虚拟现实、辅助驾驶、动作识别等等领域具有十分广泛的应用价值。姿态估计通常是通过图像定位用于表征对象姿态的多个关键点，基于多个关键点的位置信息进行姿态识别；也就是说，关键点检测是姿态估计的基础。
[0003]目前的关键点检测方法中，通常基于深度学习网络对包含目标对象(例如，人或者动物等)的图像进行特征提取，进而通过提取到的图像特征预测得到目标对象的关键点位置。然而，当图像中的目标对象被其他物体遮挡，或者目标对象的某个部位被自身其他部位遮挡时，通过深度学习网络所提取到的图像特征预测关键点位置时，可能造成目标对象被遮挡部位的关键点的检测准确性过低。

技术实现思路

[0004]本申请实施例提供一种图像数据处理数据方法、装置、设备以及介质，可以提高关键点检测的准确性。
[0005]本申请实施例一方面提供了一种图像数据处理方法，包括：
[0006]获取源视频中的第t+1个图像帧对应的关键点概率分布图，在第t+1个图像帧帧对应的关键点概率分布图中确定包含K个分布区域的候选概率分布图；第t+1个图像帧中的一个对象关键点对应一个关键点概率分布图，K为大于1的整数，t为正整数；
[0007]获取候选概率分布图所关联的对象关键点在第t个图像帧中的参考位置，以及获取K个分布区域中的像素点与参考位置之间的第一像素距离；
>[0008]根据第一像素距离小于第一距离阈值的像素点的位置，确定候选概率分布图所关联的对象关键点在第t+1个图像帧中的关键点位置；关键点位置用于确定第t+1个图像帧中的对象姿态。
[0009]本申请实施例一方面提供了一种图像数据处理装置，包括：
[0010]概率分布图获取模块，用于获取源视频中的第t+1个图像帧对应的关键点概率分布图，在第t+1个图像帧帧对应的关键点概率分布图中确定包含K个分布区域的候选概率分布图；第t+1个图像帧中的一个对象关键点对应一个关键点概率分布图，K为大于1的整数，t为正整数；
[0011]第一像素距离获取模块，用于获取候选概率分布图所关联的对象关键点在第t个图像帧中的参考位置，以及获取K个分布区域中的像素点与参考位置之间的第一像素距离；
[0012]关键点位置确定模块，用于根据第一像素距离小于第一距离阈值的像素点的位置，确定候选概率分布图所关联的对象关键点在第t+1个图像帧中的关键点位置；关键点位置用于确定第t+1个图像帧中的对象姿态。
[0013]其中，关键点概率分布图的数量为N，N为大于1的整数；概率分布图获取模块包括：
[0014]下采样处理单元，用于将源视频中的第t+1个图像帧输入至对象检测模型中，通过对象检测模型中的编码器对第t+1个图像帧进行下采样处理，得到初始特征；
[0015]上采样处理单元，用于将初始特征输入至对象检测模型中的解码器，通过解码器对初始特征进行上采样处理，得到候选特征；
[0016]卷积处理单元，用于将候选特征输入至对象检测模型中的N个卷积层，通过N个卷积层对候选特征进行卷积处理，得到第t+1个图像帧对应的N个关键点概率分布图。
[0017]其中，关键点概率分布图的数量为N，N个关键点概率分布图中包括关键点概率分布图i，N为大于1的整数；概率分布图获取模块包括：
[0018]预测概率获取单元，用于获取第t+1个图像帧中的各个像素点在关键点概率分布图i中的关键点预测概率，将关键点预测概率大于概率阈值的像素点添加至初始关键点集合；
[0019]候选关键点获取单元，用于在初始关键点集合中获取用于定位第t+1个图像帧中所包含的对象关键点的候选关键点，若候选关键点的像素数量与数量阈值K一致，则将关键点概率分布图i确定为候选概率分布图。
[0020]其中，候选关键点获取单元包括：
[0021]像素点排序子单元，用于根据初始关键点集合中的像素点的关键点预测概率，对初始关键点集合中的像素点进行排序，将最大的关键点预测概率所对应的像素点确定为第一候选像素点；
[0022]第二像素距离获取子单元，用于将初始关键点集合中除第一候选像素点之外的像素点确定为第一待处理像素点，获取第一待处理像素点和第一候选像素点之间的第二像素距离；
[0023]集合更新子单元，用于在初始关键点集合中删除第二像素距离小于第二距离阈值的第一待处理像素点和第一候选像素点，得到更新后的初始关键点集合，将更新后的初始关键点集合中，最大的关键点预测概率所对应的第一待处理像素点确定为第二候选像素点；
[0024]第三像素距离获取子单元，用于将更新后的初始关键点集合中，除第二候选像素点之外的第一待处理像素点确定为第二待处理像素点，若第二候选像素点与第二待处理像素点之间的第三像素距离均大于第二距离阈值，则将第一候选像素点和第二候选像素点确定为用于定位第t+1个图像帧中所包含的对象关键点的候选关键点。
[0025]其中，关键点位置确定模块包括：
[0026]候选位置确定单元，用于将第一像素距离小于第一距离阈值的像素点的位置，确定为候选概率分布图所关联的对象关键点在第t+1个图像帧中的候选位置；
[0027]关联关键点获取单元，用于获取候选概率分布图所关联的对象关键点在第t+1个图像帧中的第一关联关键点和第二关联关键点；
[0028]空间垂直距离获取单元，用于获取由第一关联关键点和第二关联关键点所确定的连接线段，获取候选位置与连接线段之间的空间垂直距离；
[0029]关键点位置确定单元，用于将空间垂直距离小于第三距离阈值的候选位置，确定为候选概率分布图所关联的对象关键点在第t+1个图像帧中的关键点位置。
[0030]其中，图像数据处理装置还包括：
[0031]关键点位置获取模块，用于获取关键点概率分布图所关联的N个对象关键点在第t+1个图像帧中的关键点位置；N为大于1的整数；
[0032]姿态估计结果获取模块，用于获取N个对象关键点中每一个对象关键点对应的对象部位类别，根据对象部位类别和关键点位置，对N个对象关键点进行对象部位连接，得到第t+1个图像帧中的姿态估计结果。
[0033]其中，图像数据处理装置还包括：
[0034]动画素材获取模块，用于获取直播平台中的动画素材库；动画素材库中所包含的动画素材携带姿态标签；
[0035]动画素材展示模块，用于若动画素材库中存在与姿态估计结果相匹配的姿态标签，则在直播平台中展示与姿态估计结果相匹配的姿态标签对应的动画素材。
[0036]本申请实施例一方面提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行本申请实施例中一方面中方法的步骤。
[0037]本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像数据处理方法，其特征在于，包括：获取源视频中的第t+1个图像帧对应的关键点概率分布图，在所述第t+1个图像帧对应的关键点概率分布图中确定包含K个分布区域的候选概率分布图；所述第t+1个图像帧中的一个对象关键点对应一个关键点概率分布图，K为大于1的整数，t为正整数；获取所述候选概率分布图所关联的对象关键点在第t个图像帧中的参考位置，以及获取所述K个分布区域中的像素点与所述参考位置之间的第一像素距离；根据第一像素距离小于第一距离阈值的像素点的位置，确定所述候选概率分布图所关联的对象关键点在所述第t+1个图像帧中的关键点位置；所述关键点位置用于确定所述第t+1个图像帧中的对象姿态。2.根据权利要求1所述的方法，其特征在于，所述关键点概率分布图的数量为N，N为大于1的整数；所述获取源视频中的第t+1个图像帧对应的关键点概率分布图，包括：将所述源视频中的第t+1个图像帧输入至对象检测模型中，通过所述对象检测模型中的编码器对所述第t+1个图像帧进行下采样处理，得到初始特征；将所述初始特征输入至所述对象检测模型中的解码器，通过所述解码器对所述初始特征进行上采样处理，得到候选特征；将所述候选特征输入至所述对象检测模型中的N个卷积层，通过所述N个卷积层对所述候选特征进行卷积处理，得到所述第t+1个图像帧对应的N个关键点概率分布图。3.根据权利要求1所述的方法，其特征在于，所述关键点概率分布图的数量为N，N个关键点概率分布图中包括关键点概率分布图i，N为大于1的整数；所述在所述第t+1个图像帧对应的关键点概率分布图中确定包含K个分布区域的候选概率分布图，包括：获取所述第t+1个图像帧中的各个像素点在所述关键点概率分布图i中的关键点预测概率，将关键点预测概率大于概率阈值的像素点添加至初始关键点集合；在所述初始关键点集合中获取用于定位所述第t+1个图像帧中所包含的对象关键点的候选关键点，若所述候选关键点的像素数量与数量阈值K一致，则将所述关键点概率分布图i确定为所述候选概率分布图。4.根据权利要求3所述的方法，其特征在于，所述在所述初始关键点集合中获取用于定位所述第t+1个图像帧中所包含的对象关键点的候选关键点，包括：根据所述初始关键点集合中的像素点的关键点预测概率，对所述初始关键点集合中的像素点进行排序，将最大的关键点预测概率所对应的像素点确定为第一候选像素点；将所述初始关键点集合中除所述第一候选像素点之外的像素点确定为第一待处理像素点，获取所述第一待处理像素点和所述第一候选像素点之间的第二像素距离；在所述初始关键点集合中删除第二像素距离小于第二距离阈值的第一待处理像素点和所述第一候选像素点，得到更新后的初始关键点集合，将所述更新后的初始关键点集合中，最大的关键点预测概率所对应的第一待处理像素点确定为第二候选像素点；将所述更新后的初始关键点集合中，除所述第二候选像素点之外的第一待处理像素点确定为第二待处理像素点；若所述第二候选像素点...

【专利技术属性】
技术研发人员：康洋，孙冲，付灿苗，潘俊毅，李琛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：