基于多摄像装置的目标对象骨骼关键点定位方法和装置制造方法及图纸

公开了一种基于多摄像装置的目标对象骨骼关键点定位方法和装置，其中的方法包括：获取多个摄像装置在同一时刻从不同拍摄角度拍摄的多幅图像；从所述多幅图像中识别出同一目标对象的多个骨骼关键点在每一幅图像中的二维坐标，得到多个二维坐标；根据所述多个二维坐标及所述多个摄像装置的参数，生成所述多个骨骼关键点各自对应的初始三维坐标，得到多个初始三维坐标；根据所述多个初始三维坐标，确定所述目标对象在三维空间中的三维检测框；基于所述多个二维坐标以及所述三维检测框，确定所述多个骨骼关键点分别在三维空间中的三维坐标。本公开可以在目标对象身上无任何附着物的情况下，便捷准确的定位目标对象的骨骼关键点的三维坐标。

【技术实现步骤摘要】
基于多摄像装置的目标对象骨骼关键点定位方法和装置
本公开涉及计算机视觉
，尤其是涉及一种基于多摄像装置的目标对象骨骼关键点定位方法和装置、存储介质以及电子设备。
技术介绍
在影视制作、体育运动以及虚拟现实交互等应用中，往往需要针对人体的运动以及动作进行3D骨骼重建。3D骨骼重建的结果可以用于动作捕捉以及动作分析等，从而可以实现虚拟人物制作、获得运动员运动规律以及体感交互等。如何便捷准确的定位人体骨骼关键点在3D空间中的位置，是一个值得关注的技术问题。
技术实现思路
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种基于多摄像装置的目标对象骨骼关键点定位方法、装置、存储介质以及电子设备。根据本公开实施例的一方面，提供了一种基于多摄像装置的目标对象骨骼关键点定位方法，包括：获取多个摄像装置在同一时刻从不同拍摄角度拍摄的多幅图像；从所述多幅图像中识别出同一目标对象的多个骨骼关键点在每一幅图像中的二维坐标，得到多个二维坐标；根据所述多个二维坐标以及所述多个摄像装置的参数，生成所述多个骨骼关键点各自对应的初始三维坐标，得到多个初始三维坐标；根据所述多个初始三维坐标，确定所述目标对象在三维空间中的三维检测框；基于所述多个二维坐标以及所述三维检测框，确定所述多个骨骼关键点分别在三维空间中的三维坐标。根据本公开实施例的另一方面，提供了一种基于多摄像装置的目标对象骨骼关键点定位装置，包括：第一获取模块，用于获取多个摄像装置在同一时刻从不同拍摄角度拍摄的多幅图像；识别模块，用于从所述第一获取模块所获取到的多幅图像中识别出同一目标对象的多个骨骼关键点在每一幅图像中的二维坐标，得到多个二维坐标；生成初始坐标模块，用于根据所述识别模块得到的多个二维坐标以及所述多个摄像装置的参数，生成所述多个骨骼关键点各自对应的初始三维坐标，得到多个初始三维坐标；确定三维检测框模块，用于根据所述生成初始坐标模块得到的多个初始三维坐标，确定所述目标对象在三维空间中的三维检测框；确定三维坐标模块，用于基于所述识别模块得到的多个二维坐标以及所述确定三维检测框模块确定的三维检测框，确定所述多个骨骼关键点分别在三维空间中的三维坐标。根据本公开实施例的再一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述基于多摄像装置的目标对象骨骼关键点定位方法。根据本公开实施例的又一方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述基于多摄像装置的目标对象骨骼关键点定位方法。基于本公开上述实施例提供的一种基于多摄像装置的目标对象骨骼关键点定位方法和装置，通过利用多个摄像装置拍摄的图像中的同一目标对象的多个骨骼关键点的二维坐标，来确定目标对象的骨骼关键点的初始三维坐标，为获得骨骼关键点的初始三维坐标位提供了一种可行方式，且有利于便捷准确的获得骨骼关键点的初始三维坐标，从而有利于提高获得人体三维检测框的便捷性；通过利用骨骼关键点的二维坐标以及三维检测框来形成各骨骼关键点的三维坐标，为骨骼关键点的定位提供了一种可行方式，并有利于提高获得骨骼关键点的三维坐标的准确度。由此可知，本公开提供的技术方案可以在目标对象无任何附着物的情况下，便捷准确的定位目标对象的骨骼关键点的三维坐标。下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。附图说明构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：图1为本公开所适用的场景示意图；图2为本公开的基于多摄像装置的目标对象骨骼关键点定位方法一个实施例的流程图；图3为本公开的获得目标对象在三维空间中的三维检测框的方法的一个实施例的流程图；图4为本公开的确定多个骨骼关键点分别在三维空间中的三维坐标的方法的一个实施例的流程图；图5为本公开的确定每一幅图像中的多个骨骼关键点分别在三维检测框中的概率分布的方法的一个实施例的流程图；图6为本公开的生成多个骨骼关键点分别在三维检测框中的概率分布的方法的一个实施例的流程图；图7为本公开的基于多摄像装置的目标对象骨骼关键点定位装置一个实施例的结构示意图；图8是本公开一示例性实施例提供的电子设备的结构图。具体实施方式下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。还应理解，在本公开实施例中，“多个”可以指两个或者两个以上，“至少一个”可以指一个、两个或两个以上。还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等本文档来自技高网...

【技术保护点】
1.一种基于多摄像装置的目标对象骨骼关键点定位方法，包括：/n获取多个摄像装置在同一时刻从不同拍摄角度拍摄的多幅图像；/n从所述多幅图像中识别出同一目标对象的多个骨骼关键点在每一幅图像中的二维坐标，得到多个二维坐标；/n根据所述多个二维坐标以及所述多个摄像装置的参数，生成所述多个骨骼关键点各自对应的初始三维坐标，得到多个初始三维坐标；/n根据所述多个初始三维坐标，确定所述目标对象在三维空间中的三维检测框；/n基于所述多个二维坐标以及所述三维检测框，确定所述多个骨骼关键点分别在三维空间中的三维坐标。/n

【技术特征摘要】
1.一种基于多摄像装置的目标对象骨骼关键点定位方法，包括：
获取多个摄像装置在同一时刻从不同拍摄角度拍摄的多幅图像；
从所述多幅图像中识别出同一目标对象的多个骨骼关键点在每一幅图像中的二维坐标，得到多个二维坐标；
根据所述多个二维坐标以及所述多个摄像装置的参数，生成所述多个骨骼关键点各自对应的初始三维坐标，得到多个初始三维坐标；
根据所述多个初始三维坐标，确定所述目标对象在三维空间中的三维检测框；
基于所述多个二维坐标以及所述三维检测框，确定所述多个骨骼关键点分别在三维空间中的三维坐标。


2.根据权利要求1所述的方法，其中，所述获取多个摄像装置在同一时刻从不同拍摄角度拍摄的多幅图像，包括：
通过触发器触发多个摄像装置同时拍摄；
基于所述多个摄像装置各自拍摄的各视频中的视频帧的排列顺序，获取多个摄像装置在同一时刻从不同拍摄角度拍摄的多幅图像；或者，
所述获取多个摄像装置在同一时刻从不同拍摄角度拍摄的多幅图像，包括：
根据多个摄像装置从不同拍摄角度拍摄的多个视频中的包含预定特征物的视频帧，对所述多个视频进行视频帧序列时间戳上的对齐处理；
从对齐处理后的各视频中获取多个摄像装置在同一时间段从不同拍摄角度拍摄的多幅图像。


3.根据权利要求1或2所述的方法，其中，所述从所述多幅图像中识别出同一目标对象的多个骨骼关键点在每一幅图像中的二维坐标，包括：
将所述多幅图像分别提供给用于检测骨骼关键点的神经网络；
经由所述神经网络对所述多幅图像分别进行骨骼关键点检测，根据所述神经网络的输出，获得同一目标对象的多个骨骼关键点分别在每一幅图像中的二维坐标以及每一幅图像中的所述目标对象的二维检测框。


4.根据权利要求1至3中任一项所述的方法，其中，所述根据所述多个二维坐标以及所述多个摄像装置的参数，生成所述多个骨骼关键点各自对应的初始三维坐标，包括：
根据所述多个二维坐标以及所述多个摄像装置的内部参数和外部参数，利用最小二乘法，生成所述多个骨骼关键点各自对应的初始三维坐标。


5.根据权利要求1至4中任一项所述的方法，其中，所述根据所述多个初始三维坐标，确定所述目标对象在三维空间中的三维检测框，包括：
根据所述多个初始三维坐标确定目标对象中心点以及骨骼关键点间在三个坐标轴方向上的最大间距；
以所述目标对象中心点为三维检测框的中心点，以骨骼关键点间在三个坐标轴方向上的最大间距为三维检测框的边长，建立所述目标对象在三维空间中的三维检测框；
其中，所述三维检测框为立方体检测框。


6.根据权利要求1至5中任一项所述的方法，其中，所述基于所述多个二维坐标以及所述三维检测框，确定所述多个骨骼关键点分别在三维空间中的三维坐标，包括：
根据每一幅图像中的多个骨骼关键点的二维坐标，确定每一幅图像中的多个骨骼关键点分别在所述三维检测框中的概率分布；
根据所述每一幅图像中的多个骨骼关键点分别在所述三维检测框中的概率分布，确定所述多个骨骼关键点分别在三维空间中的三维坐标。


7.根据权利要求6所述的方法，其中，所述根据每一幅图像中的多个骨骼关键点的二维坐标，确定每一幅图像中的多个骨骼关键点分别在所述三维检测框中的概率分布，包括：
根据每一幅图像中的多个骨骼关键点的二维坐标，生成所述多个骨骼关键点分别在每一幅图像中的二维概率分布；
根据所述多个骨骼关键点分别在每一幅图像中的二维概率分布，生成所述多个骨骼关键点分别在所述三维检测框中的概率分布。


8.根据权利要求7所述的方法，其中，所述根据每一幅图像中的多个骨骼关键点的二维坐标，生成所述多个骨骼关键点分别在每一幅图像中的二维概率分布，包括：
以每一幅图像中的多个骨骼关键点的二维坐标为中心，分别生成具有预定大小的基于高斯分布的热图，获得每一幅图像中的每一个骨骼关键点的热图；
所述根据所述各骨...

【专利技术属性】
技术研发人员：游清，单增光，张瑞，武锐，黄冠，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：北京;11