数据配准方法及其装置制造方法及图纸

本申请公开了一种数据配准方法及其装置，属于图像处理领域。包括：对三维人体网格数据进行人体关键点检测，得到所述三维人体网格数据中的各个三维人体关键点；基于各个所述三维人体关键点对第一人体线性蒙皮模型进行第一次配准，得到第二人体线性蒙皮模型；基于三维人体网格数据对所述第二人体线性蒙皮模型进行第二次配准，得到目标人体线性蒙皮模型。得到目标人体线性蒙皮模型。得到目标人体线性蒙皮模型。

【技术实现步骤摘要】
数据配准方法及其装置


[0001]本申请属于图像处理领域，具体涉及一种数据配准方法及其装置。

技术介绍

[0002]三维人体扫描通过多角度相机同时成像恢复出人体的三维网格，可以得到精确的三维表示，是获取真实人体数据的关键步骤，因此广泛应用于人体重建过程中。
[0003]然而，尽管人体三维扫描方法可以重建出较为精确的三维人体网格，但是一个精准的人体表示往往由20万～100万个三维网格点和三角面组成，人体三维网格的数据量过大，并且三维人体网格是离散的数据，难以直接进行应用。

技术实现思路

[0004]本申请实施例的目的是提供一种数据配准方法及其装置，能够解决人体三维网格的数据量过大，并且三维人体网格是离散的数据，难以直接进行应用的问题。
[0005]第一方面，本申请实施例提供了一种数据配准方法，该方法包括：
[0006]对三维人体网格数据进行人体关键点检测，得到所述三维人体网格数据中的各个三维人体关键点；
[0007]基于各个所述三维人体关键点对第一人体线性蒙皮模型进行第一次配准，得到第二人体线性蒙皮模型；
[0008]基于三维人体网格数据对所述第二人体线性蒙皮模型进行第二次配准，得到目标人体线性蒙皮模型。
[0009]第二方面，本申请实施例提供了一种数据配准装置，包括：
[0010]检测模块，用于对三维人体网格数据进行人体关键点检测，得到所述三维人体网格数据中的各个三维人体关键点；
[0011]第一配准模块，用于基于各个所述三维人体关键点对第一人体线性蒙皮模型进行第一次配准，得到第二人体线性蒙皮模型；
[0012]第二配准模块，用于基于三维人体网格数据对所述第二人体线性蒙皮模型进行第二次配准，得到目标人体线性蒙皮模型。
[0013]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0014]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0015]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0016]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介
质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0017]在本申请实施例中，通过对三维人体网格数据进行人体关键点检测，能够较为准确的获取三维人体网格数据中的三维人体关键点，三维人体关键点的数量不多，但是能够较为精准的体现三维人体的特征，通过三维人体关键点能够初步对第一人体线性蒙皮模型进行第一次配准，使得第一次配准后的第二人体线性蒙皮模型能够较好的符合三维人体关键点的特征，且进一步通过三维人体网格数据对第二人体线性蒙皮模型进行第二次配准，使得第二次配准后的目标人体线性蒙皮模型贴近于三维人体网格数据，最终得到的目标人体线性蒙皮模型的数据是光滑且连续的，且目标人体线性蒙皮模型的数据量较小，后续可以在此基础上进行虚拟人物的构建和动作生成。
附图说明
[0018]图1为本申请实施例提供的数据配准方法流程示意图；
[0019]图2为本申请实施例提供的图像处理流程图之一；
[0020]图3为本申请实施例提供的图像处理流程图之二；
[0021]图4为本申请实施例提供的数据配准装置结构示意图；
[0022]图5为本申请实施例提供的电子设备结构示意图；
[0023]图6为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
[0024]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0025]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0026]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的数据配准方法及其装置进行详细地说明。
[0027]图1为本申请实施例提供的数据配准方法流程示意图，如图1所示，包括：
[0028]步骤110，对三维人体网格数据进行人体关键点检测，得到所述三维人体网格数据中的各个三维人体关键点；
[0029]本申请实施例中所描述的三维人体网格数据，具体可以是通过多角度相机进行三维人体扫描，通过多角度相机扫描的多张人体图像重建人体三维信息得到的，其具体可以是一种利用二维投影信息恢复物体三维信息的数学过程和计算机技术。三维人体扫描通过估计指定空间范围内可能的三维点以及连接这些三维点的面，得到表示人体的三维人体网格数据。
[0030]本申请实施例中所描述的三维人体网格数据具体可以包括表示人体的三维网格
点及其连接面，各个三维网格顶点中也包括人体关键点，三维人体网格数据对应的纹理贴图反应了连接面的颜色、皮肤纹理和衣着纹理等。
[0031]本申请实施例中对三维人体网格数据进行人体关键点检测，具体可以是将三维人体网格数据渲染出多视角对应的二维图像后，对二维图像进行人体关键点检测，得到各个视角下二维图像的人体关键点，然后，多组初始三维人体关键点坐标集投影到各视角二维图像后，投影关键点与二维图像中人体关键点的投影误差，来优化确定三维人体网格数据中的各个三维人体关键点，得到精确度较高的三维人体关键点。
[0032]本申请实施例中的人体关键点具体可以是一系列表征人体动作和体型特征点，人体关键点可以定义为头部、肩部、手部、肘部、腿部、脚部等部位的25个特定关节特征点。
[0033]步骤120，基于各个所述三维人体关键点对第一人体线性蒙皮模型进行第一次配准，得到第二人体线性蒙皮模型；
[0034]本申请实施例中所描述人体线性蒙皮模型是一种根据一系列参数计算人体三维表示的方法，人体线性蒙皮模型将人体表示为顶点与关节，输入体型参数和关节旋转参数，输出人体顶点与关节的三维位置，用于拟合人体。
[0035]本申请实施例中的第一人体线性蒙皮模型，具体可以是根据预设参数生成的人体线性蒙皮模型，该预设参数可以一个预设的默认值，也可以是根据用户的历史数据生成的。
...

【技术保护点】

【技术特征摘要】
1.一种数据配准方法，其特征在于，包括：对三维人体网格数据进行人体关键点检测，得到所述三维人体网格数据中的各个三维人体关键点；基于各个所述三维人体关键点对第一人体线性蒙皮模型进行第一次配准，得到第二人体线性蒙皮模型；基于三维人体网格数据对所述第二人体线性蒙皮模型进行第二次配准，得到目标人体线性蒙皮模型。2.根据权利要求1所述的数据配准方法，其特征在于，基于各个所述三维人体关键点对第一人体线性蒙皮模型进行第一次配准，得到第二人体线性蒙皮模型，包括：获取每个所述三维人体关键点与所述三维人体关键点对应的目标模型点之间的第一距离；所述目标模型点是所述第一人体线性蒙皮模型的各个模型点中距离所述三维人体关键点最近的模型点；根据N组第二人体线性蒙皮模型参数，确定每组第二人体线性蒙皮模型参数对应的所述第一距离的平均值；根据第一目标平均值对应的第二人体线性蒙皮模型参数，确定第一次配准后的第二人体线性蒙皮模型参数，其中，所述第二人体线性蒙皮模型参数包括体型参数、全局平移参数和人体关键点旋转参数，N为正整数，所述第一目标平均值是N组所述第一距离的平均值中的最小值；根据所述第一次配准后的第二人体线性蒙皮模型参数对所述第一人体线性蒙皮模型进行调整，得到第二人体线性蒙皮模型。3.根据权利要求1所述的数据配准方法，其特征在于，所述基于三维人体网格数据对所述第二人体线性蒙皮模型进行第二次配准，得到目标人体线性蒙皮模型，包括：获取所述第二人体线性蒙皮模型的各个模型点与所述三维人体网格数据的第二距离，以及所述三维人体网格数据的各个网格点与所述第二人体线性蒙皮模型的第三距离；基于所述第二距离的平均值和所述第三距离的平均值，确定目标平均距离；根据M组目标人体线性蒙皮模型参数，确定每组目标人体线性蒙皮模型参数对应的所述目标平均距离；根据第二目标平均值对应的目标人体线性蒙皮模型参数，确定第二次配准后的目标人体线性蒙皮模型参数，其中，所述目标人体线性蒙皮模型参数包括体型参数和人体关键点旋转参数，M为正整数，所述第二目标平均值是M组所述目标平均距离中的最小值；根据所述第二次配准后的目标人体线性蒙皮模型参数对所述第二人体线性蒙皮模型进行调整，得到目标人体线性蒙皮模型。4.根据权利要求1所述的数据配准方法，其特征在于，对三维人体网格数据进行人体关键点检测，得到所述三维人体网格数据中的各个三维人体关键点，包括：基于所述三维人体网格数据，渲染得到P个视角下的三维人体图像，P为大于2的正整数；将各个视角下的三维人体图像投影为二维图像，得到各个视角对应的二维图像，所述二维图像中包括至少一个二维人体关键点信息；将预设初始视角下的初始三维人体关键点坐标集投影到各个视角对应的二维图像中，
得到各视角对应的二维人体关键点投影坐标集；基于各个二维人体关键点投影坐标与对应的二维人体关键点信息之间的差值，确定三维人体网格数据中的各个三维人体关键点，所述二维人体关键点投影坐标是所述二维人体关键点投影坐标集中的坐标。5.根据权利要求4所述的数据配准方法，其特征在于，基于各个二维人体关键点投影坐标与对应的二维人体关键点信息之间的差值，确定三维人体网格数据中的各个三维人体关键点，包括：获取各个所述差值的平均值；对多组所述初始三维人体关键点坐标集进行优化分析，获取每组初始三维人体关键点坐标集对应的所述差值的平均值；根据第三目标平均值对应的所述初始三维人体关键点坐标集，确定目标三维人体关键点坐标集，其中，所述第三目标平...

【专利技术属性】
技术研发人员：孙家岭，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：