【技术实现步骤摘要】
本申请涉及图像处理领域，尤其是涉及一种基于多视角的关节数据标注方法、装置、设备及介质。
技术介绍
1、关节数据标注技术广泛应用于动作捕捉、运动分析、医疗康复等多个领域。通过精确地标注人体关节位置，可以实现对人体姿态的高精度重建和实时监控。近年来，随着计算机视觉技术和深度学习算法的发展，各种关节数据标注方法不断涌现，极大地推动了相关领域的进步和发展。
2、为了实现关节数据标注，现有技术通常采用使用单个摄像头捕获人体图像，然后通利用特征点检测算法，在图像中找到相同的关键节点，并计算这些节点的空间坐标，以得到三维空间中的关节点位置。
3、然而，现有的关节数据标注方法存在一些不足之处。在单一视角图像的采集过程中，由于环境光照变化、遮挡等因素的影响，某些关键节点可能无法清晰可见，导致关节数据标注的精度大大降低。因此，如何提高关节数据标注的精度，是一个亟待解决的技术问题。
技术实现思路
1、为了提高关节数据标注的精度，本申请提供一种基于多视角的关节数据标注方法、装置、设备及介质。
2、第一方面，本申请提供一种基于多视角的关节数据标注方法，采用如下的技术方案：
3、一种基于多视角的关节数据标注方法，包括：
4、接收当前时刻对应的多个标记点图像以及多个人体图像，所述标记点图像为动捕相机采集得到的人体上的标记点的图像，所述人体图像为参考相机采集当前人体得到的图像，其中，一个相机在任一时刻对应一个人体图像，所述人体图像包括完整的当前人体图像信
5、识别每个所述标记点图像中的每个标记点的2d坐标，并基于每个标记点的2d坐标，构建所述当前人体的3d人体模型；
6、基于所述3d人体模型构建当前时刻对应的人体3d骨骼数据，并将所述人体3d骨骼数据映射到对应的人体图像上，以得到2d骨骼数据，所述人体3d骨骼数据用于表征每个标记点的三维空间位置；
7、基于多个标记点图像对应的2d骨骼数据，确定所述当前人体的2d关节位置。
8、通过采用上述技术方案，接收多个标记点图像和多个人体图像，充分利用了动捕相机和参考相机的协同作用。动捕相机专注于精确捕捉人体上的标记点，而参考相机则提供完整的当前人体图像信息，确保了数据的全面性和准确性。这一步骤为后续的处理奠定了坚实的基础，通过识别每个标记点图像中的标记点2d坐标，并据此构建3d人体模型，该方法实现了从二维到三维的精确转换。这一步骤不仅提高了数据的维度，还为后续的三维骨骼数据构建提供了可靠的依据。接着，基于构建的3d人体模型，进一步生成了当前时刻对应的人体3d骨骼数据，并将其映射到对应的人体图像上，从而得到2d骨骼数据，通过综合多个标记点图像对应的2d骨骼数据，能够准确确定当前人体的2d关节位置。这一步骤充分利用了多视角数据的互补性，提高了关节位置标注的准确性和鲁棒性。
9、在一种可能的实现方式中，基于每个标记点的2d坐标，构建所述当前人体的3d人体模型，包括：
10、从多个所述标记点图像中，确定每个所述标记点图像中的重合标记点，并将每个所述标记点图像中除重合标记点外的标记点确定为唯一标记点，所述重合标记点为至少两个标记点图像各自对应的标记点中的重合点；
11、基于每个所述标记点图像中的重合标记点的2d坐标以及唯一标记点的2d坐标，构建所述当前人体的3d人体模型。
12、通过采用上述技术方案，从多个标记点图像中，精确地识别并确定每个图像中的重合标记点。这些重合标记点是至少两个标记点图像中共同出现的标记点，它们为构建3d模型提供了关键的空间参照点。同时，将除重合标记点外的标记点确定为唯一标记点，这些唯一标记点则反映了人体在不同视角下的独特特征，并基于这些重合标记点和唯一标记点的2d坐标，进行3d人体模型的构建。通过利用重合标记点的空间一致性，可以精确计算出这些标记点在三维空间中的位置，进而构建出人体的基本骨架结构。同时，结合唯一标记点的信息，可以进一步完善和优化3d模型，使其更加贴近真实的人体形态。
13、在一种可能的实现方式中，基于每个所述标记点图像中的重合标记点的2d坐标以及唯一标记点的2d坐标，构建所述当前人体的3d人体模型，包括：
14、针对每个所述重合标记点，基于每个所述重合标记点的2d坐标，计算所述重合标记点在对应的标记点图像中的图像梯度，以得到所述重合标记点的多个图像梯度；
15、基于每个所述重合标记点对应的多个图像梯度，计算每个所述重合标记点对应的图像梯度均值；
16、获取每个所述重合标记点对应的初始置信程度；
17、基于每个所述重合标记点对应的图像梯度平均值以及初始置信程度，确定每个所述重合标记点对应的置信区间；
18、基于每个所述重合标记点对应的置信区间以及每个所述重合标记点对应的图像梯度值，确定每个所述重合标记点对应的需剔除图像；
19、将每个所述重合标记点对应的需剔除图像从各个标记点图像中剔除，以得到每个所述重合标记点对应的目标标记点图像；
20、基于各个所述目标标记点图像中各自的重合标记点的2d坐标以及各个所述标记点图像中各自的唯一标记点的2d坐标，构建所述当前人体对应的3d人体模型。
21、通过采用上述技术方案，通过计算其在不同标记点图像中的图像梯度，并求取平均值，获取了每个重合标记点的初始置信程度，并结合图像梯度平均值，为每个重合标记点确定了置信区间，基于重合标记点的置信区间和图像梯度值，识别并剔除了那些图像梯度值偏离置信区间较大的图像，即需剔除图像。有效减少了因图像噪声、视角变化等因素导致的误差，提高了后续3d模型构建的准确性。在剔除误差图像后，基于这些目标标记点图像中的重合标记点2d坐标以及唯一标记点的2d坐标，方案成功构建了当前人体的3d人体模型。
22、在一种可能的实现方式中，基于各个所述目标标记点图像中各自的重合标记点的2d坐标以及各个所述标记点图像中各自的唯一标记点的2d坐标，构建所述当前人体对应的3d人体模型，包括：
23、确定每个动捕相机对应的相机坐标系，并建立各个相机坐标系与世界坐标系各自的转换关系；
24、计算每两个目标标记点图像中同一重合标记点进行匹配程度，将匹配程度大于匹配程度阈值的标记点作为目标标记点；
25、基于所述目标标记点以及唯一标记点，确定所述当前人体对应的基础特征数据；
26、基于所述基础特征数据以及各个相机坐标系与世界坐标系各自的转换关系，计算每个标记点对应的三维坐标；
27、基于每个标记点对应的三维坐标，生成所述当前人体对应的3d人体模型。
28、通过采用上述技术方案，明确了每个动捕相机对应的相机坐标系，并建立了这些相机坐标系与世界坐标系之间的转换关系，通过计算每两个目标标记点图像中同一重合标记点的匹配程度，筛选出匹配程度高于阈值的标记点作为目标标记点，基于目本文档来自技高网...
【技术保护点】
1.一种基于多视角的关节数据标注方法，其特征在于，包括：
2.根据权利要求1所述的基于多视角的关节数据标注方法，其特征在于，所述基于每个标记点的2D坐标，构建所述当前人体的3D人体模型，包括：
3.根据权利要求2所述的基于多视角的关节数据标注方法，其特征在于，所述基于每个所述标记点图像中的重合标记点的2D坐标以及唯一标记点的2D坐标，构建所述当前人体的3D人体模型，包括：
4.根据权利要求3所述的基于多视角的关节数据标注方法，其特征在于，所述基于各个所述目标标记点图像中各自的重合标记点的2D坐标以及各个所述标记点图像中各自的唯一标记点的2D坐标，构建所述当前人体对应的3D人体模型，包括：
5.根据权利要求4所述的基于多视角的关节数据标注方法，其特征在于，所述基于所述基础特征数据以及各个相机坐标系与世界坐标系各自的转换关系，计算每个标记点对应的三维坐标，每一个标记点对应的三维坐标的计算过程包括：
6.根据权利要求1至5任意一项所述的基于多视角的关节数据标注方法，其特征在于，所述将所述人体3D骨骼数据映射到对应的人体图像上，
7.根据权利要求6所述的基于多视角的关节数据标注方法，其特征在于，所述确定所述2D骨骼数据的缩放因子，包括：
8.一种基于多视角的关节数据标注装置，其特征在于，包括：
9.一种电子设备，其特征在于，该电子设备包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机中执行时，令所述计算机执行权利要求1～7任一项所述的基于多视角的关节数据标注方法。
...【技术特征摘要】
1.一种基于多视角的关节数据标注方法，其特征在于，包括：
2.根据权利要求1所述的基于多视角的关节数据标注方法，其特征在于，所述基于每个标记点的2d坐标，构建所述当前人体的3d人体模型，包括：
3.根据权利要求2所述的基于多视角的关节数据标注方法，其特征在于，所述基于每个所述标记点图像中的重合标记点的2d坐标以及唯一标记点的2d坐标，构建所述当前人体的3d人体模型，包括：
4.根据权利要求3所述的基于多视角的关节数据标注方法，其特征在于，所述基于各个所述目标标记点图像中各自的重合标记点的2d坐标以及各个所述标记点图像中各自的唯一标记点的2d坐标，构建所述当前人体对应的3d人体模型，包括：
5.根据权利要求4所述的基于多视角的关节数据标注方法，其特征在于，所述基于所述基础特...
【专利技术属性】
技术研发人员：张群，张昭，季毅君，余天昊，胡勇，胡泫，范蓉，陈慎之，
申请(专利权)人：上海青瞳视觉科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。