深度渲染模型训练方法和装置、目标渲染方法和装置制造方法及图纸

本公开提供一种深度渲染模型训练方法和装置、目标渲染方法和装置，涉及人工智能领域。深度渲染模型训练方法包括：利用预设的控制参数对待渲染目标进行渲染，以生成样本图像帧；将控制参数输入机器学习模型；将待处理张量输入机器学习模型，以便利用机器学习模型根据控制参数对待处理张量进行渲染，以生成渲染图像帧；根据渲染图像帧和样本图像帧确定损失函数值；利用损失函数值对机器学习模型和待处理张量进行训练，以生成深度渲染模型和目标张量。目标渲染方法包括：获取与渲染目标相关联的控制参数；将控制参数输入深度渲染模型，以便利用深度渲染模型根据控制参数对目标张量进行渲染以生成图像帧。本公开能够有效降低渲染的时间成本。时间成本。时间成本。

【技术实现步骤摘要】
深度渲染模型训练方法和装置、目标渲染方法和装置


[0001]本公开涉及人工智能领域，特别涉及一种深度渲染模型训练方法和装置、目标渲染方法和装置。

技术介绍

[0002]CG(Computer Graphics，计算机图形学)是利用计算机和数学算法将三维物体转换为图像或视频的技术。随着计算机计算能力的提升，CG技术被广泛运用与电影、游戏、广告、交互系统等场景中。CG技术通常需要建模、设计材质、布局灯光、渲染等一系列操作。画面的最终质量也取决于各个环节的表现。
[0003]人物的CG模型设计通常较为复杂。想要表现出逼真的人物效果需要及其精细的建模、细腻的材质、复杂的毛发系统、强大的渲染引擎作为支持。电影工业级的渲染需要巨大算力完成每一帧的渲染工作。一帧图像或需要数十小时，甚至更多时间。在交互场景下，我们需要实时对人物进行控制，即使用控制信号驱动人物表情、手势、姿态等，而渲染器则需要实时产生高质量画面，形成交互视频。

技术实现思路

[0004]专利技术人注意到，利用CG技术可以建立高精度的人物模型，并且可以渲染非常逼真的影像，但随之而来的是渲染时间成本的增加，因此无法应用于实时性要求较高的场景。
[0005]据此，本公开提供一种深度渲染模型训练方案，在保证目标人物渲染效果的同时，可有效降低渲染的时间成本。
[0006]根据本公开实施例的第一方面，提供一种深度渲染模型训练方法，包括：利用预设的控制参数对待渲染目标进行渲染，以生成样本图像帧；将所述控制参数输入机器学习模型；将待处理张量输入所述机器学习模型，以便利用所述机器学习模型根据所述控制参数对所述待处理张量进行渲染，以生成渲染图像帧；根据所述渲染图像帧和样本图像帧确定损失函数值；利用所述损失函数值对所述机器学习模型和所述待处理张量进行训练，以生成深度渲染模型和目标张量。
[0007]在一些实施例中，所述机器学习模型包括M个机器学习子模型，M为正整数；所述利用所述机器学习模型根据所述控制参数对所述待处理张量进行渲染包括：将第i个特征张量输入第i个机器学习子模型，以便利用所述第i个机器学习子模型根据所述控制参数对所述第i个特征张量进行渲染，以输出第i+1个特征张量，1≤i≤M，第1个特征张量为所述待处理张量；将第M个机器学习子模型输出的第M+1个特征张量作为所述渲染图像帧。
[0008]在一些实施例中，每个机器学习子模型包括：融合模块、渲染模块、非线性操作模块和分辨率增强模块；所述利用所述第i个机器学习子模型根据所述控制参数对所述第i个特征张量进行渲染包括：在所述第i个机器学习子模型中，利用所述融合模块根据所述控制参数对所述第i个特征张量进行处理，以输出第1中间张量；利用所述渲染模块对所述第1中间张量进行处理，以输出第2中间张量；利用所述非线性操作模块对所述第2中间张量进行
处理，以输出第3中间张量；利用所述分辨率增强模块对所述第3中间张量进行处理，以输出所述第i+1个特征张量。
[0009]在一些实施例中，所述融合模块为归一化层模块；所述渲染模块为卷积层模块；所述非线性操作模块为激活层模块；所述分辨率增强模块为上采样层模块。
[0010]在一些实施例中，所述将所述控制参数输入机器学习模型包括：利用多层感知机对所述控制参数进行处理，以生成隐变量；将所述隐变量输入所述每个机器学习子模型中的融合模块。
[0011]在一些实施例中，所述机器学习模型还包括通道匹配模块；所述将第M个机器学习子模型输出的第M+1个特征张量作为所述渲染图像帧包括：将第M个机器学习子模型输出的第M+1个特征张量输入所述通道匹配模块，以便利用所述通道匹配模块对第M+1个特征张量进行通道匹配处理，以生成所述渲染图像帧。
[0012]在一些实施例中，所述通道匹配模块为卷积层模块。
[0013]在一些实施例中，所述控制参数包括目标的姿态、手势或表情中的至少一项。
[0014]在一些实施例中，所述损失函数值包括像素损失值、感知损失值、特征匹配损失值或对抗损失值中的至少一项。
[0015]根据本公开实施例的第二方面，提供一种深度渲染模型训练装置，包括：第一训练处理模块，被配置为利用预设的控制参数对待渲染目标进行渲染，以生成样本图像帧；第二训练处理模块，被配置为将所述控制参数输入机器学习模型；第三训练处理模块，被配置为将待处理张量输入所述机器学习模型，以便利用所述机器学习模型根据所述控制参数对所述待处理张量进行渲染，以生成渲染图像帧，根据所述渲染图像帧和样本图像帧确定损失函数值，利用所述损失函数值对所述机器学习模型和所述待处理张量进行训练，以生成深度渲染模型和目标张量。
[0016]在一些实施例中，所述机器学习模型包括M个机器学习子模型，M为正整数；所述第三训练处理模块被配置为将第i个特征张量输入第i个机器学习子模型，以便利用所述第i个机器学习子模型根据所述控制参数对所述第i个特征张量进行渲染，以输出第i+1个特征张量，1≤i≤M，第1个特征张量为所述待处理张量，将第M个机器学习子模型输出的第M+1个特征张量作为所述渲染图像帧。
[0017]在一些实施例中，每个机器学习子模型包括：融合模块、渲染模块、非线性操作模块和分辨率增强模块；所述第三训练处理模块被配置为在所述第i个机器学习子模型中，利用所述融合模块根据所述控制参数对所述第i个特征张量进行处理，以输出第1中间张量，利用所述渲染模块对所述第1中间张量进行处理，以输出第2中间张量，利用所述非线性操作模块对所述第2中间张量进行处理，以输出第3中间张量，利用所述分辨率增强模块对所述第3中间张量进行处理，以输出所述第i+1个特征张量。
[0018]在一些实施例中，所述融合模块为归一化层模块；所述渲染模块为卷积层模块；所述非线性操作模块为激活层模块；所述分辨率增强模块为上采样层模块。
[0019]在一些实施例中，第二训练处理模块被配置为利用多层感知机对所述控制参数进行处理，以生成隐变量，将所述隐变量输入所述每个机器学习子模型中的融合模块。
[0020]在一些实施例中，所述机器学习模型还包括通道匹配模块；所述第三训练处理模块被配置为将第M个机器学习子模型输出的第M+1个特征张量输入所述通道匹配模块，以便
利用所述通道匹配模块对第M+1个特征张量进行通道匹配处理，以生成所述渲染图像帧。
[0021]在一些实施例中，所述通道匹配模块为卷积层模块。
[0022]在一些实施例中，所述控制参数包括目标的姿态、手势或表情中的至少一项。
[0023]在一些实施例中，所述损失函数值包括像素损失值、感知损失值、特征匹配损失值或对抗损失值中的至少一项。
[0024]根据本公开实施例的第三方面，提供一种深度渲染模型训练装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的训练方法。
[0025]根据本公开实施例的第四方面，提供一种目标渲染方法，包括：获取与渲染目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度渲染模型训练方法，包括：利用预设的控制参数对待渲染目标进行渲染，以生成样本图像帧；将所述控制参数输入机器学习模型；将待处理张量输入所述机器学习模型，以便利用所述机器学习模型根据所述控制参数对所述待处理张量进行渲染，以生成渲染图像帧；根据所述渲染图像帧和样本图像帧确定损失函数值；利用所述损失函数值对所述机器学习模型和所述待处理张量进行训练，以生成深度渲染模型和目标张量。2.根据权利要求1所述的方法，其中，所述机器学习模型包括M个机器学习子模型，M为正整数；所述利用所述机器学习模型根据所述控制参数对所述待处理张量进行渲染包括：将第i个特征张量输入第i个机器学习子模型，以便利用所述第i个机器学习子模型根据所述控制参数对所述第i个特征张量进行渲染，以输出第i+1个特征张量，1≤i≤M，第1个特征张量为所述待处理张量；将第M个机器学习子模型输出的第M+1个特征张量作为所述渲染图像帧。3.根据权利要求2所述的方法，其中，每个机器学习子模型包括：融合模块、渲染模块、非线性操作模块和分辨率增强模块；所述利用所述第i个机器学习子模型根据所述控制参数对所述第i个特征张量进行渲染包括：在所述第i个机器学习子模型中，利用所述融合模块根据所述控制参数对所述第i个特征张量进行处理，以输出第1中间张量；利用所述渲染模块对所述第1中间张量进行处理，以输出第2中间张量；利用所述非线性操作模块对所述第2中间张量进行处理，以输出第3中间张量；利用所述分辨率增强模块对所述第3中间张量进行处理，以输出所述第i+1个特征张量。4.根据权利要求3所述的方法，其中：所述融合模块为归一化层模块；所述渲染模块为卷积层模块；所述非线性操作模块为激活层模块；所述分辨率增强模块为上采样层模块。5.根据权利要求3所述的方法，其中，所述将所述控制参数输入机器学习模型包括：利用多层感知机对所述控制参数进行处理，以生成隐变量；将所述隐变量输入所述每个机器学习子模型中的融合模块。6.根据权利要求2所述的方法，其中，所述机器学习模型还包括通道匹配模块；所述将第M个机器学习子模型输出的第M+1个特征张量作为所述渲染图像帧包括：将第M个机器学习子模型输出的第M+1个特征张量输入所述通道匹配模块，以便利用所述通道匹配模块对第M+1个特征张量进行通道匹配处理，以生成所述渲染图像帧。7.根据权利要求6所述的方法，其中，所述通道匹配模块为卷积层模块。
8.根据权利要求1所述的方法，其中，所述控制参数包括目标的姿态、手势或表情中的至少一项。9.根据权利要求1
‑
8中任一项所述的方法，其中，所述损失函数值包括像素损失值、感知损失值、特征匹配损失值或对抗损失值中的至少一项。10.一种深度渲染模型训练装置，包括：第一训练处理模块，被配置为利用预设的控制参数对待渲染目标进行渲染，以生成样本图像帧；第二训练处理模块，被配置为将所述控制参数输入机器学习模型；第三训练处理模块，被配置为将待处理张量输入所述机器学习模型，以便利用所述机器学习模型根据所述控制参数对所述待处理张量进行渲染，以生成渲染图像帧，根据所述渲染图像帧和样本图像帧确定损失函数值，利用所述损失函数值对所述机器学习模型和所述待处理张量进行训练，以生成深度渲染模型和目标张量。11.根据权利要求10所述的装置，其中，所述机器学习模型包括M个机器学习子...

【专利技术属性】
技术研发人员：申童，张炜，梅涛，
申请(专利权)人：北京京东尚科信息技术有限公司，
类型：发明
国别省市：