三维模型生成方法和装置制造方法及图纸

本公开提供了一种三维模型生成方法和装置，涉及人工智能技术领域，具体为计算机视觉

【技术实现步骤摘要】
三维模型生成方法和装置


[0001]本公开涉及人工智能
，具体为计算机视觉
、
增强现实
、
虚拟现实
、
深度学习等
，可应用于人工智能的内容生成
、
虚拟形象等场景
。

技术介绍

[0002]通常，人们会在各种电子设备上存储动物的图片
。
在
VR(Virtual Reality
，虚拟现实
)/AR(Augmented Reality
，增强现实
)
时代，人们不满足于仅以二维的形式保存并展示动物，而会更加探求以三维形式展示的可能
。

技术实现思路

[0003]本公开实施例提出了一种三维模型生成方法
、
装置
、
设备
、
存储介质以及程序产品
。
[0004]第一方面，本公开实施例提出了一种三维模型生成方法，包括：获取动物的图像；选取动物所属的至少一个类别对应的大型语言模型的低秩适应
LoRA
；基于至少一个类别对应的
LoRA
对基础贴图生成模型进行调整，得到贴图生成模型，其中，一个类别对应一个
LoRA
；将动物的白膜的法向图输入至贴图生成模型，得到动物的纹理贴图；将纹理贴图贴合到白膜上，生成动物的三维模型
。
[0005]第二方面，本公开实施例提出了一种三维模型生成装置，包括：获取模块，被配置成获取动物的图像；选取模块，被配置成选取动物所属的至少一个类别对应的大型语言模型的低秩适应
LoRA
；调整模块，被配置成基于至少一个类别对应的
LoRA
对基础贴图生成模型进行调整，得到贴图生成模型，其中，一个类别对应一个
LoRA
；生成模块，被配置成将动物的白膜的法向图输入至贴图生成模型，得到动物的纹理贴图；贴合模块，被配置成将纹理贴图贴合到白膜上，生成动物的三维模型
。
[0006]第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面描述的方法
。
[0007]第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面描述的方法
。
[0008]第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面描述的方法
。
[0009]本公开实施例提供的三维模型生成方法，能够在给定的动物白膜的基础上，根据用户提供的动物图像生成对应的纹理贴图，进行纹理上色，实现个性化的动物三维模型的生成，能够应用于三维资产创作或三维打印手办等场景
。
并且，针对每一种类别的动物，仅需训练一个
LoRA
，无需针对用户提供的每一个动物的图像都训练
LoRA
，降低了
LoRA
的训练成本和训练耗时
。
此外，每种类别对应的
LoRA
可以预先训练，当需要生成动物的纹理贴图时，只需查找到相应的
LoRA
即可，无需针对用户提供的每一个动物的图像实时训练
LoRA
，大
大缩短了生成动物的三维模型的耗时
。
[0010]开的实施例的关键或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0011]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征
、
目的和优点将会变得更明显
。
附图用于更好地理解本方案，不构成对本公开的限定
。
其中：
[0012]图1是根据本公开的三维模型生成方法的一个实施例的流程图；
[0013]图2是根据本公开的三维模型生成方法的又一个实施例的流程图；
[0014]图3是根据本公开的三维模型生成方法的另一个实施例的流程图；
[0015]图4是根据本公开的三维模型生成装置的一个实施例的结构示意图；
[0016]图5是用来实现本公开实施例的三维模型生成方法的电子设备的框图
。
具体实施方式
[0017]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的
。
因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神
。
同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述
。
[0018]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合
。
下面将参考附图并结合实施例来详细说明本公开
。
[0019]图1示出了根据本公开的三维模型生成方法的一个实施例的流程
100。
该三维模型生成方法包括以下步骤：
[0020]步骤
101
，获取动物的图像
。
[0021]在本实施例中，用户可以输入动物的图像
。
其中，动物的图像的来源多样，包括但不限于：用户自己拍摄的动物图像
、
用户从网上下载的动物图像等等
。
[0022]需要说明的是，用户提供的动物的图像中通常仅包含一种类别的动物
。
对于图像中包含多种类别的动物的情况，需要对图像进行分割，将其分割成多个仅包含一种类别的动物的图像，再分别执行后续步骤
。
[0023]步骤
102
，选取动物所属的至少一个类别对应的
LoRA。
[0024]在本实施例中，用户输入的图像中的动物可以属于至少一个类别
。
这里，获取动物所属的至少一个类别对应的
LoRA(Low
‑
Rank Adaptation of Large Language Models
，大型语言模型的低秩适应
)。
其中，动物所属的至少一种类别可以是基于动物的图像分析确定的，也可以是用户输入的
。
例如，用户可以在输入动物的图像的同时，输入动物所属的类别
。
[0025]LoRA
是一种轻量化的模型微调训练方法，是在原有大模型的基础上，对模型进行微调，从而能够生成特定的人物
、
物品或画风
。
该方法具有训练速度快，模型大小适中，训练配置要求低的特点，能用少量的图片训练出想要的风格效果<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种三维模型生成方法，包括：获取动物的图像；选取所述动物所属的至少一个类别对应的大型语言模型的低秩适应
LoRA
；基于所述至少一个类别对应的
LoRA
对基础贴图生成模型进行调整，得到贴图生成模型，其中，一个类别对应一个
LoRA
；将所述动物的白膜的法向图输入至所述贴图生成模型，得到所述动物的纹理贴图；将所述纹理贴图贴合到所述白膜上，生成所述动物的三维模型
。2.
根据权利要求1所述的方法，其中，所述选取所述动物所属的至少一个类别对应的大型语言模型的低秩适应
LoRA
，包括：基于所述图像，确定所述动物属于各个类别的置信度；基于所述置信度，选取所述动物所属的至少一个类别对应的
LoRA。3.
根据权利要求2所述的方法，其中，所述基于所述图像，确定所述动物属于各个类别的置信度，包括：将所述图像输入至预先训练的分类模型，得到所述动物属于各个类别的置信度
。4.
根据权利要求2所述的方法，其中，所述基于所述置信度，选取所述动物所属的至少一个类别对应的
LoRA
，包括：若存在大于预设阈值的置信度，选取大于预设阈值的置信度的类别对应的
LoRA
；以及所述基于所述至少一个类别对应的
LoRA
对基础贴图生成模型进行调整，得到贴图生成模型，包括：基于大于预设阈值的置信度的类别对应的
LoRA
的额外权重更新所述基础贴图生成模型的权重，得到所述贴图生成模型
。5.
根据权利要求4所述的方法，其中，所述基于所述置信度，选取所述动物所属的至少一个类别对应的
LoRA
，包括：若不存在大于预设阈值的置信度，选取置信度排序在前
n
的类别对应的
LoRA
，其中，
n
为小于所述动物的类别总数的正整数；以及所述基于所述至少一个类别对应的
LoRA
对基础贴图生成模型进行调整，得到贴图生成模型，包括：将置信度排序在前
n
的类别对应的
LoRA
进行混合，生成混合
LoRA
；基于所述混合
LoRA
对所述基础贴图生成模型进行调整，得到所述贴图生成模型
。6.
根据权利要求5所述的方法，其中，所述将置信度排序在前
n
的类别对应的
LoRA
进行混合，生成混合
LoRA
，包括：基于排序在前
n
的置信度和置信度排序在前
n
的类别对应的
LoRA
的额外权重，生成所述混合
LoRA
的额外权重；以及所述基于所述混合
LoRA
对所述基础贴图生成模型进行调整，得到所述贴图生成模型，包括：基于所述混合
LoRA
的额外权重更新所述基础贴图生成模型的权重，得到所述贴图生成模型
。7.
根据权利要求1‑6中任一项所述的方法，其中，各种类别对应的
LoRA
是利用各种类别对应的样本图像集训练得到的
。
8.
一种三维模型生成装置，包括：获取模块，被配置成获取动物的图像；选取模块，被配置...

【专利技术属性】
技术研发人员：沈铮阳，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：