基于目标引擎的贴图生成方法、装置、设备及存储介质制造方法及图纸

本公开提供了基于目标引擎的贴图生成方法、装置、设备及存储介质。本公开涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于人工智能生成内容等场景。具体方案：在延迟渲染管线的第一通道，调整待烘焙模型的材质，使待烘焙模型在世界空间展开成一个正对并铺满相机的平面；在缓冲区中存储待烘焙模型的顶点的世界空间坐标；在延迟渲染管线的第二通道，从缓冲区中确定世界空间坐标；基于像素位置和相机位置确定相机向量；根据相机向量和世界空间坐标进行光照计算，得到每个像素的光照结果；基于每个像素的光照结果生成待烘焙模型的贴图。根据本公开方案，能够在保证贴图质量的基础上，提高烘焙贴图的效率。烘焙贴图的效率。烘焙贴图的效率。

【技术实现步骤摘要】
基于目标引擎的贴图生成方法、装置、设备及存储介质


[0001]本公开涉及人工智能
，具体为计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于人工智能生成内容(AI Generated Content，AICG)等场景。

技术介绍

[0002]由于硬件条件的限制，导致在性能有限的终端上无法直接渲染细节丰富的高模。因此，通常使用贴图烘焙技术将高模的光影、粗糙度等数据存储到贴图中，用在低模上以提升模型的渲染效果，即在接近高模效果同时保持更好的性能。但是，烘焙单张贴图的时间成本较高，当面对生成大量贴图的需求时，需要消耗极高的时间成本。

技术实现思路

[0003]本公开提供了一种基于目标引擎的贴图生成方法、装置、设备及存储介质。
[0004]根据本公开的第一方面，提供了一种基于目标引擎的贴图生成方法，包括：
[0005]在延迟渲染管线的第一通道，调整待烘焙模型的材质，使待烘焙模型在世界空间展开成一个正对并铺满相机的平面；
[0006]在缓冲区中存储待烘焙模型的顶点的世界空间坐标；
[0007]在延迟渲染管线的第二通道，从缓冲区中确定世界空间坐标；
[0008]基于像素位置和相机位置确定相机向量；
[0009]根据相机向量和世界空间坐标进行光照计算，得到每个像素的光照结果；
[0010]基于每个像素的光照结果生成待烘焙模型的贴图。
[0011]根据本公开的第二方面，提供了一种基于目标引擎的贴图生成装置，包括：
[0012]调整模块，用于在延迟渲染管线的第一通道，调整待烘焙模型的材质，使待烘焙模型在世界空间展开成一个正对并铺满相机的平面；
[0013]存储模块，用于在缓冲区中存储待烘焙模型的顶点的世界空间坐标；
[0014]第一确定模块，用于在延迟渲染管线的第二通道，从缓冲区中确定世界空间坐标；
[0015]第二确定模块，用于基于像素位置和相机位置确定相机向量；
[0016]计算模块，用于根据相机向量和世界空间坐标进行光照计算，得到每个像素的光照结果；
[0017]第一生成模块，用于基于每个像素的光照结果生成待烘焙模型的贴图。
[0018]根据本公开的第三方面，提供了一种电子设备，包括：
[0019]至少一个处理器；
[0020]与至少一个处理器通信连接的存储器；
[0021]存储器存储有可以被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行本公开中任一实施例的方法。
[0022]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行根据本公开中任一实施例的方法。
[0023]根据本公开的第五方面，提供了一种计算机程序产品，包括存储在存储介质上的计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
[0024]根据本公开的方案，能够通过利用目标引擎的性能优势，在保证贴图质量的基础上，提高烘焙贴图的效率。
[0025]上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
[0026]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
[0027]图1是根据本公开实施例的基于目标引擎的贴图生成方法的流程示意图；
[0028]图2是根据本公开实施例的基于目标引擎的贴图烘焙流程示意图；
[0029]图3是根据本公开实施例的相机位置呈现的模型展开后的效果示意图；
[0030]图4是根据本公开实施例的存储世界空间坐标的示意图；
[0031]图5是根据本公开实施例的调整光照结果的示意图；
[0032]图6是根据本公开实施例的基于目标引擎的贴图生成装置的结构示意图；
[0033]图7是根据本公开实施例的基于目标引擎的贴图生成的场景示意图；
[0034]图8是用来实现本公开实施例的基于目标引擎的贴图生成方法的电子设备的结构示意图。
具体实施方式
[0035]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0036]本公开的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0037]相关技术中，为了解决烘焙贴图质量较低的问题。通常采用烘焙软件或建模软件进行烘焙贴图。具体地，通过次世代游戏制作工具(XNormal)、渲染器(ToolBag)等烘焙软件进行法线、环境光遮蔽等类型的贴图的生成，上述烘焙软件往往能够支持高质量的烘焙。通过玛雅(Maya)、四边形散布插件(3DMax)、三维建模软件(Blender)等建模软件进行烘焙，上述软件一般支持模型按纹理贴图坐标展开并渲染到纹理的功能，也可以获得效果不错的贴图。
[0038]但是，烘焙软件或建模软件普遍存在烘焙贴图耗时较长和效率较低的问题。例如，
使用了复杂材质的模型生成一张512
×
512分辨率的贴图可能需要几分钟，但是，一张4096
×
4096的贴图往往需要近一个小时的时间。因此，当面对生成大量贴图的需求时，需要消耗极高的时间成本。并且，在批量烘焙贴图时，烘焙出的贴图数据的质量较差。
[0039]本公开为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，提出了一种基于目标引擎的贴图生成方法。通过对目标引擎的延迟渲染管线进行修改和优化，使得目标引擎可以直接输出各种类型的模型烘焙贴图。同时，通过充分利用目标引擎的高画面表现力和实时渲染等性能优势，能够高效地生成高分辨率的贴图。
[0040]本公开实施例提供了一种基于目标引擎的贴图生成方法，图1是根据本公开实施例的基于目标引擎的贴图生成方法的流程示意图，该基于目标引擎的贴图生成方法可以应用于基于目标引擎的贴图生成装置。该基于目标引擎的贴图生成装置位于电子设备上。该电子设备包括但不限于固定设备和/或移动设备。例如，固定设备包括但不限于服务器，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标引擎的贴图生成方法，所述目标引擎包括延迟渲染管线，所述方法包括：在所述延迟渲染管线的第一通道，调整待烘焙模型的材质，使所述待烘焙模型在世界空间展开成一个正对并铺满相机的平面；在缓冲区中存储所述待烘焙模型的顶点的世界空间坐标；在所述延迟渲染管线的第二通道，从所述缓冲区中确定所述世界空间坐标；基于像素位置和相机位置确定相机向量；根据所述相机向量和所述世界空间坐标进行光照计算，得到每个像素的光照结果；基于每个像素的所述光照结果生成所述待烘焙模型的贴图。2.根据权利要求1所述的方法，其中，所述调整待烘焙模型的材质，包括：调整所述待烘焙模型的所述材质的第一参数的赋值，所述第一参数用于表征所述顶点的偏移值。3.根据权利要求1所述的方法，还包括：向材质的目标属性传入所述待烘焙模型的所述世界空间坐标；其中，所述在缓冲区中存储所述待烘焙模型的顶点的世界空间坐标，包括：在所述缓冲区的目标区域存储所述待烘焙模型的目标图，所述目标图是至少包括所述世界空间坐标的信息的图。4.根据权利要求1所述的方法，其中，所述基于每个像素的所述光照结果生成所述待烘焙模型的贴图，包括：根据所述缓冲区的几何信息确定每个像素的权重；基于每个像素的权重，调整每个像素的所述光照结果；基于调整后的每个像素的所述光照结果，生成所述待烘焙模型的贴图。5.根据权利要求4所述的方法，其中，所述权重包括第一权重，所述根据所述缓冲区的几何信息确定每个像素的权重，包括：读取所述缓冲区的法线信息；基于所述法线信息确定所述相机向量与法线的夹角；基于所述夹角的值确定每个像素的第一权重，所述第一权重用于所述目标引擎的皮肤后处理渲染。6.根据权利要求4所述的方法，其中，所述权重包括第二权重，所述根据所述缓冲区的几何信息确定每个像素的权重，包括：读取所述缓冲区的颜色信息，所述颜色信息包括每个像素的三通道像素值；确定目标像素与所述目标像素的相邻像素的三通道像素值的差值平均值；基于所述差值平均值与预设阈值的关系，确定所述目标像素的第二权重，所述第二权重用于所述目标引擎的色调后处理渲染。7.根据权利要求1所述的方法，还包括：利用所述目标引擎的动画序列工具生成图像序列；确定所述待烘焙模型的渲染参数；基于所述渲染参数生成所述图像序列对应的多个所述贴图。8.根据权利要求1所述的方法，还包括：
确定待拍摄的场景；基于所述场景确定相机参数；基于所述相机参数确定所述待烘焙模型。9.根据权利要求1至8任一项所述的方法，其中，所述目标引擎为虚幻引擎。10.一种基于目标引擎的贴图生成装置，所述目标引擎包括延迟渲染管线，所述装置包括：调整模块，用于在所述延迟渲染管线的第一通道，调整待烘焙模型的材质，使所述待烘焙模型在世界空间展开成一个正对并铺满相机的平面；存储模块，用于在缓冲区中存储所述待烘焙模型的顶点的世界空间坐标；第一确定模块，用于在所述延迟渲染管线的第二通道，从所述缓冲区中确定所述世界空间坐标；第二确定模块，用于基于像素位置和相机位置确...

【专利技术属性】
技术研发人员：王治铭，张岩，张滔滔，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：