一种图层聚焦插画单视图3D重建方法及系统技术方案

本发明专利技术提供了一种图层聚焦插画单视图3D重建方法，该方法通过SAM对数据集中的原始插画单视图进行区域分割，得到包含原始插画单视图及其图层通道的区域文本对微调CLIP模型；然后对数据集T中的每张原始插画单视图提取非自然的轮廓线，语义信息与图层信息；根据单视图中角色体态选取基础素模初始化3D点云，并通过点云分割将人体点云分割成不同的部分，并依照非自然的轮廓线的位置信息对相应点云区域进行噪声生长与颜色扰动，再分别映射到潜空间当中，并采用LDM获得最终潜在表示；最后将最终潜在表示经过解码器获得最终3D表示，重建3D资产。本发明专利技术可根据给定的一张插画单视图，生成相对应的3D资产。

【技术实现步骤摘要】

本专利技术涉及图像处理方法及系统，具体涉及一种图层聚焦插画单视图3d重建方法及电子设备、存储介质、产品。

技术介绍

1、近年来在娱乐，遥感和商业领域，aigc的工作都已经成为热门话题。这一新潮且复杂的技术随着相关社区的建设和硬件产品的发展吸引了越来越多的目光与投资。作为其3d领域的一大方向，3d生成与重建的工作随着大规模模型的开发和3d表示方法的发展，这种复杂的工作变得简单化，甚至个人电脑就能部署模型推理出效果不错的3d资产。以下是几种现有流行的技术：

2、1.用3d数据(即3d扩散模型)训练一个新的扩散模型，直接按条件生成3d资产并保持强大的3d一致性，对应技术实例有get3d；

3、2.直接将2d扩散模型提升应用到3d生成，能够处理各种文本提示，并产生高度详细和复杂的几何和外观，对应技术实例有dreamface；

4、3.按照新视图生成思路获取足够多的多视图，应用稀疏视图重建方法或得分蒸馏采样(sds)优化，将这些多视图图像融合成3d形状，可以产生高质量的3d形状创建，对应技术实例有instant3d/dreamfu本文档来自技高网...

【技术保护点】

1.一种图层聚焦插画单视图3D重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述基于单视图的3D扩散模型包括非自然线条提取模块、初始点云生成模块、点云分割模块、点云-图层扩散模块和潜在-三平面模块；

3.根据权利要求2所述的方法，其特征在于，所述从原始插画单视图中提取第一插画单视图，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据第一插画单视图中的角色体态，选取相应的基础素模，以生成初始点云P，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据潜在表示z、标记c1和各特征区域图层对应的图层...

【技术特征摘要】

1.一种图层聚焦插画单视图3d重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述基于单视图的3d扩散模型包括非自然线条提取模块、初始点云生成模块、点云分割模块、点云-图层扩散模块和潜在-三平面模块；

3.根据权利要求2所述的方法，其特征在于，所述从原始插画单视图中提取第一插画单视图，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据第一插画单视图中的角色体态，选取相应的基础素模，以生成初始点云p，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据潜在表示z、标记c1和各特征区域图层对应的图层总...

【专利技术属性】
技术研发人员：欧阳建权，李柳阳，唐欢容，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：