用于三维模型的数据集的构建方法技术

本公开提供了用于三维模型的数据集的构建方法

【技术实现步骤摘要】
用于三维模型的数据集的构建方法、模型训练方法及装置


[0001]本公开涉及人工智能
，具体为计算机视觉
、
增强现实
、
虚拟现实等
，尤其涉及用于三维模型的数据集的构建方法
、
模型训练方法
、
数据集的构建装置
、
模型训练装置
、
电子设备
、
存储介质和程序产品，可应用于元宇宙
、
数字人和生成式人工智能
(Artificial Intelligence Generated Content
，
AIGC)
等场景
。

技术介绍

[0002]计算机视觉长期以来一直在研究理解人类的动作和行为，并在机器人
、
医疗保健
、
虚拟试穿
、AR/VR
等领域得到应用
。
在
2D
人体姿态检测和单幅图像的
3D
人体姿态估计方面都取得了显着的进展
,
这要归功于用
2D
关键点和
3D
数据注释的真实数据集
。
因此，如何构建数据集是亟需解决的问题
。

技术实现思路

[0003]本公开提供了一种用于三维模型的数据集的构建方法
、
模型训练方法
、
数据集的构建装置
、
模型训练装置
、
电子设备r/>、
存储介质和程序产品，能够构建用于模型训练的数据集
。
[0004]根据本公开的一方面，提供了一种用于三维模型的数据集的构建方法，包括：根据获取的人体图像建立三维人体模型；确定三维人体模型的姿态数据和形状数据，并将三维人体模型添加至场景模型中；基于三维人体模型的网格数据和场景模型的网格数据确定三维人体模型与场景模型的接触关系；以及使用人体图像
、
姿态数据
、
形状数据和接触关系构建数据集
。
[0005]根据本公开的另一方面，提供了一种模型训练方法，包括：获取上文提及的数据集；以及使用数据集进行模型训练，得到人体姿态估计模型和
/
或接触估计模型
。
[0006]根据本公开的另一方面，提供了一种数据集的构建装置，包括：建模模块
、
添加模块
、
确定模块和构建模块
。
建模模块被配置为根据获取的人体图像建立三维人体模型
。
添加模块被配置为确定三维人体模型的姿态数据和形状数据，并将三维人体模型添加至场景模型中
。
确定模块被配置为基于三维人体模型的网格数据和场景模型的网格数据确定三维人体模型与场景模型的接触关系
。
构建模块被配置为使用人体图像
、
姿态数据
、
形状数据和接触关系构建数据集
。
[0007]根据本公开的另一方面，提供了一种模型训练装置，包括：数据获取模块和模型训练模块
。
数据获取模块被配置为获取上文提及的数据集
。
模型训练模块被配置为使用数据集进行模型训练，得到人体姿态估计模型和
/
或接触估计模型
。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和存储器
。
其中，存储器与至少一个处理器通信连接，并存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上文提及的方法
。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，其中，计算机指令用于使计算机执行上文提及的方法
。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上文提及的方法
。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定
。
其中：
[0013]图1示出了可以应用本公开的用于三维模型的数据集的构建方法或模型训练方法的示例性系统架构的示意性框图；
[0014]图2是根据本公开的第一实施例的用于三维模型的数据集的构建方法的流程示意图；
[0015]图3是根据本公开的第二实施例的用于三维模型的数据集的构建方法的流程示意图；
[0016]图4是根据本公开的第三实施例的模型训练方法的流程示意图；
[0017]图5是根据本公开的第四实施例的模型训练方法的流程示意图；
[0018]图6是根据本公开的第四实施例的接触估计模型的架构示意性图；
[0019]图7是根据本公开的第五实施例的数据集的构建装置的示意性框图；
[0020]图8是根据本公开的第六实施例的模型训练装置的示意性框图；
[0021]图9示出了可以用来实施本公开的实施例的示例电子设备的示意性框图
。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的
。
因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神
。
同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述
。
[0023]图1是根据本公开的第一实施例的可以应用本公开的用于三维模型的数据集的构建方法或模型训练方法的示例性系统架构的示意性框图
。
[0024]如图1所示，系统架构
100
可以包括终端设备
101、102、103
，网络
104
和服务器
105。
网络
104
用以在终端设备
101、102、103
和服务器
105
之间提供通信链路的介质
。
网络
104
可以包括各种连接类型，例如有线
、
无线通信链路或者光纤电缆等等
。
[0025]用户可以使用终端设备
101、102、103
通过网络
104
与服务器
105
交互，以接收或发送消息等
。
终端设备
101、102、103
上可以安装有各种通讯客户端应用，例如视频类应用
、
直播应用
、
即时通信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于三维模型的数据集的构建方法，包括：根据获取的人体图像建立三维人体模型；确定所述三维人体模型的姿态数据和形状数据，并将所述三维人体模型添加至场景模型中；基于所述三维人体模型的网格数据和所述场景模型的网格数据确定所述三维人体模型与所述场景模型的接触关系；以及使用所述人体图像
、
所述姿态数据
、
所述形状数据和所述接触关系构建数据集
。2.
根据权利要求1所述的方法，其中，所述基于所述三维人体模型的网格数据和所述场景模型的网格数据确定所述三维人体模型与所述场景模型的接触关系，包括：根据所述三维人体模型的网格数据，确定人体网格顶点；根据所述场景模型的网格数据，确定场景网格顶点；以及根据所述人体网格顶点与所述场景网格顶点之间的距离，确定所述三维人体模型与所述场景模型的接触关系
。3.
根据权利要求2所述的方法，其中，所述三维人体模型的不同身体部位分别被配置有用于判断是否与场景接触的距离阈值；根据所述人体网格顶点与所述场景网格顶点之间的距离，确定所述三维人体模型与所述场景模型的接触关系，包括：根据所述人体网格顶点所属的身体部位，确定所述人体网格顶点对应的距离阈值；响应于所述人体网格顶点与任意一个所述场景网格顶点的距离小于所述距离阈值，确定所述人体网格顶点与所述场景模型存在接触；根据所述人体网格顶点与所述场景模型之间的接触情况，确定所述三维人体模型与所述场景模型的接触关系
。4.
根据权利要求3所述的方法，其中，所述身体部位包括暴露于外部的第一身体部位和被服饰覆盖的第二身体部位，所述第二身体部位对应的距离阈值大于所述第一身体部位对应的距离阈值
。5.
根据权利要求2所述的方法，其中，所述根据所述人体网格顶点与所述场景网格顶点之间的距离，确定所述三维人体模型与所述场景模型的接触关系，包括：响应于所述人体网格顶点与所述场景网格顶点之间的距离小于距离阈值，且所述人体网格顶点的法线和所述场景网格顶点的法线之间的方向夹角小于预设角度，确定所述人体网格顶点与所述场景模型存在接触；根据所述人体网格顶点与所述场景模型之间的接触情况，确定所述三维人体模型与所述场景模型的接触关系
。6.
根据权利要求1至5中任一项所述的方法，还包括：将所述姿态数据和所述形状数据输入参数化人体模型，得到所述三维人体模型的网格数据
。7.
根据权利要求1至6中任一项所述的方法，其中，所述根据获取的人体图像建立三维人体模型包括：获取多视角下拍摄的所述人体图像；对所述人体图像进行多视图三维重建，得到所述三维人体模型
。
8.
根据权利要求7所述的方法，其中，所述对所述人体图像进行多视图三维重建，得到所述三维人体模型，包括：对各个视角下拍摄的所述人体图像内的每一帧分别进行人体识别，确定识别到的目标人体在各所述人体图像中的位置信息；以及针对所述目标人体，根据所述位置信息锁定所述人体图像中与所述目标人体对应的图像信息；基于所述图像信息，通过多视图三维重建技术，得到所述目标人体的所述三维人体模型
。9.
一种模型训练方法，包括：获取权利要求1至8中任一项所述的方法构建的数据集；以及使用所述数据集进行模型训练，得到人体姿态估计模型和
/
或接触估计模型
。10.
根据权利要求9所述的方法，其中，所述接触估计模型包括特征提取神经网络模型和判断神经网络模型，所述使用所述数据集进行模型训练，得到接触估计模型，包括：根据所述人体图像对应的姿态数据和形状数据确定所述人体图像对应的网格顶点位置特征；将所述人体图像输入所述特征提取神经网络模型，并将所述特征提取神经网络模型输出的特征与所述网格顶点位置特征拼接得到融合特征；将所述融合特征作为所述判断神经网络模型的样本数据，将所述人体图像对应的接触关系作为所述判断神经网络模型的样本标签，对所述判断神经网络模型进行训练
。11.
根据权利要求
10
所述的方法，其中，所述判断神经网络模型为多层转换神经网络模型
。12.
一种用于三维模型的数据集的构建装置，包括：建模模块，被配置为根据获取的人体图像建立三维人体模型；添加模块，被配置为确定所述三维人体模型的姿态数据和形状数据，并将所述三维人体模型添加至场景模型中；确定模块，被配置为基于所述三维人体模型的网格数据和所述场景模型的网格数据确定所述三维人体模型与所述场景模型的接触关系；以及构建模块，被配置为使用所述人体图像
、
所述姿态数据
、
所述形状数据和所述接触关系构建数据集
。13.
根据权利要求
12
所述的装置，其中，所述确定模块包括：...

【专利技术属性】
技术研发人员：冯志强，李丰果，刘豪杰，陈睿智，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：