一种图像处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、设备及存储介质。其中方法包括：获取第一平面图像、第二平面图像及第二平面图像对应的内容描述信息，调用图像渲染模型在色彩维度下对第一平面图像和第二平面图像对应的内容描述信息进行渲染预测，得到第一预测图像，并调用图像渲染模型在内容维度下对第一平面图像和第二平面图像对应的内容描述信息进行渲染预测，得到第二预测图像，基于第二预测图像和第二平面图像之间的差异，以及第一预测图像与第二预测图像之间的差异，对图像渲染模型进行训练。可见，基于多个维度（颜色维度和内容维度）下的预测差异，可以对图像渲染模型进行更加充分的训练，从而提高图像渲染模型的预测准确度。度。度。

【技术实现步骤摘要】
一种图像处理方法、装置、设备及存储介质


[0001]本申请涉及计算机
，具体涉及一种图像处理方法、一种图像处理装置、一种计算机设备及一种计算机可读存储介质。

技术介绍

[0002]随着科技研究的进步，三维建模技术飞速发展，并被广泛应用在动画、游戏等领域。完成建模的三维对象可以按照不同需求（如不同的观测位置，不同的采集精度等）进行渲染。研究发现，为了提高三维对象的渲染效率，在对三维对象进行渲染时，可以调用图像渲染模型基于三维对象的平面图像进行渲染预测，得到三维对象的渲染图像。如何提高图像渲染模型的预测准确度，成为目前研究的热门问题。

技术实现思路

[0003]本申请实施例提供了一种图像处理方法、装置、设备及计算机可读存储介质，能够提高图像渲染模型的预测准确度。
[0004]一方面，本申请实施例提供了一种图像处理方法，包括：获取第一平面图像、第二平面图像及第二平面图像对应的内容描述信息；第一平面图像和第二平面图像是在同一观测位置对第一三维对象进行观测得到的图像；调用图像渲染模型在色彩维度下对第一平面图像和第二平面图像对应的内容描述信息进行渲染预测，得到第一预测图像；调用图像渲染模型在内容维度下对第一平面图像和第二平面图像对应的内容描述信息进行渲染预测，得到第二预测图像；基于第一预测图像和第二平面图像之间的差异，以及第一预测图像与第二预测图像之间的差异，对图像渲染模型进行训练；训练好的图像渲染模型用于预测任一三维对象的渲染图像。
[0005]一方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：获取单元，用于获取第一平面图像、第二平面图像及第二平面图像对应的内容描述信息；第一平面图像和第二平面图像是在同一观测位置对第一三维对象进行观测得到的图像；处理单元，用于调用图像渲染模型在色彩维度下对第一平面图像和第二平面图像对应的内容描述信息进行渲染预测，得到第一预测图像；以及用于调用图像渲染模型在内容维度下对第一平面图像和第二平面图像对应的内容描述信息进行渲染预测，得到第二预测图像；以及用于基于第一预测图像和第二平面图像之间的差异，以及第一预测图像与第二预测图像之间的差异，对图像渲染模型进行训练；训练好的图像渲染模型用于预测任一三维对象的渲染图像。
[0006]在一种实施方式中，第一预测图像由M个网格构成，每个网格包括至少一个像素
点，M为正整数；处理单元用于，调用图像渲染模型在色彩维度下对第一平面图像和第二平面图像对应的内容描述信息进行渲染预测，得到第一预测图像，具体用于：调用图像渲染模型在色彩维度下对第一平面图像和第二平面图像对应的内容描述信息进行渲染预测，得到每个网格中各个像素点的颜色；基于每个网格中各个像素点的颜色，确定M个网格的颜色；根据M个网格的颜色，生成第一预测图像。
[0007]在一种实施方式中，图像渲染模型包括特征提取网络和解码网络；第二预测图像由K个像素点构成，K为正整数；处理单元用于，调用图像渲染模型在内容维度下对第一平面图像和第二平面图像对应的内容描述信息进行渲染预测，得到第二预测图像，具体用于：调用特征提取网络在内容维度下基于第二平面图像对应的内容描述信息对第一平面图像进行特征提取，得到K个像素点的特征向量；通过K个像素点的特征向量构造特征图；调用解码网络对特征图进行解码处理，得到第二预测图像。
[0008]在一种实施方式中，第二平面图像对应的内容描述信息包括像素点i的位置信息，像素点i为K个像素点中的任一个像素点；像素点i的特征向量是特征提取网络在内容维度下基于像素点i的位置信息对第一平面图像进行特征提取得到的。
[0009]在一种实施方式中，像素点i的位置信息的获取过程包括：获取第一平面图像关联的维度指示信息；获取像素点i的坐标；对像素点i的坐标进行升维处理，得到像素点i的位置信息；像素点i的位置信息的维度与维度指示信息指示的维度匹配。
[0010]在一种实施方式中，第二平面图像包括第一三维对象的面部；第二平面图像对应的内容描述信息包括第一三维对象的状态信息，第一三维对象的状态信息包括以下至少一项：第一三维对象的姿势参数，第一三维对象的表情参数，第一三维对象的注视参数，以及第二平面图像关联的音频参数；其中，第一三维对象的姿势参数用于指示第一三维对象相对于观测位置的刚性运动；第一三维对象的表情参数用于指示第一三维对象的非刚性面部变形；第一三维对象的注视参数用于指示第一三维对象的眼球运动。
[0011]在一种实施方式中，第二平面图像对应的内容描述信息包括第二平面图像关联的音频参数；处理单元用于，获取第二平面图像对应的内容描述信息，具体用于：获取第二平面图像关联的音频流数据；对音频流数据进行数据转换，得到第二平面图像关联的音频信号；基于第二平面图像关联的音频信号，构造第二平面图像关联的音频特征；将第二平面图像关联的音频特征，确定为第二平面图像关联的音频参数。
[0012]在一种实施方式中，第一平面图像和第二平面图像均属于同一视频的平面图像集合，且第一平面图像和第二平面图像在视频中的呈现时刻不同；处理单元用于，基于第二平面图像关联的音频信号，构造第二平面图像关联的音频特征，具体用于：获取第二平面图像对应的观测图像集合，观测图像集合包括从至少两个不同观测
位置对第二平面图像中的第一三维对象进行观测得到的观测图像；将第二平面图像关联的音频信号与观测图像集合中各个观测图像的图像特征进行合并，得到第二平面图像关联的深度特征；调用卷积网络基于第二平面图像关联的深度特征，生成音频编码信息；获取音频编码信息对应的权重，并基于音频编码信息对应的权重和音频编码信息，计算第二平面图像关联的音频特征。
[0013]在一种实施方式中，处理单元用于，调用卷积网络基于第二平面图像关联的深度特征，生成音频编码信息，具体用于：调用卷积网络对第二平面图像关联的深度特征进行截取处理，得到深度特征片段；对深度特征片段进行编码处理，得到音频编码信息。
[0014]在一种实施方式中，处理单元用于，基于第一预测图像和第二平面图像之间的差异，以及第一预测图像与第二预测图像之间的差异，对图像渲染模型进行训练，具体用于：计算第二预测图像和第二平面图像之间的欧式距离，得到第一损失值；计算第一预测图像和第二预测图像之间的欧氏距离，得到第二损失值；对第一损失值和第二损失值进行求和处理，得到图像渲染模型的处理损失；基于图像渲染模型的处理损失，对图像渲染模型进行训练。
[0015]在一种实施方式中，处理单元还用于：获取待处理平面图像和渲染图像对应的内容描述信息，待处理平面图像中包括第二三维对象；调用训练好的图像渲染模型在内容维度下对待处理平面图像和渲染图像对应的内容描述信息进行渲染预测，得到渲染图像。
[0016]相应地，本申请提供了一种计算机设备，该计算机设备包括：存储器，存储器中存储有计算机程序；处理器，用于加载计算机程序实现上述图像处理方法。
[0017]相应地，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一平面图像、第二平面图像及所述第二平面图像对应的内容描述信息；所述第一平面图像和所述第二平面图像是在同一观测位置对第一三维对象进行观测得到的平面图像；调用图像渲染模型在色彩维度下对所述第一平面图像和所述第二平面图像对应的内容描述信息进行渲染预测，得到第一预测图像；调用所述图像渲染模型在内容维度下对所述第一平面图像和所述第二平面图像对应的内容描述信息进行渲染预测，得到第二预测图像；基于所述第二预测图像和所述第二平面图像之间的差异，以及所述第一预测图像与所述第二预测图像之间的差异，对所述图像渲染模型进行训练；训练好的图像渲染模型用于预测任一三维对象的渲染图像。2.如权利要求1所述的方法，其特征在于，所述第一预测图像由M个网格构成，每个网格包括至少一个像素点，M为正整数；所述调用图像渲染模型在色彩维度下对所述第一平面图像和所述第二平面图像对应的内容描述信息进行渲染预测，得到第一预测图像，包括：调用图像渲染模型在色彩维度下对所述第一平面图像和所述第二平面图像对应的内容描述信息进行渲染预测，得到每个网格中各个像素点的颜色；基于每个网格中各个像素点的颜色，确定所述M个网格的颜色；根据所述M个网格的颜色，生成第一预测图像。3.如权利要求1所述的方法，其特征在于，所述图像渲染模型包括特征提取网络和解码网络；所述第二预测图像由K个像素点构成，K为正整数；所述调用所述图像渲染模型在内容维度下对所述第一平面图像和所述第二平面图像对应的内容描述信息进行渲染预测，得到第二预测图像，包括：调用所述特征提取网络在内容维度下基于所述第二平面图像对应的内容描述信息对所述第一平面图像进行特征提取，得到所述K个像素点的特征向量；通过所述K个像素点的特征向量构造特征图；调用所述解码网络对所述特征图进行解码处理，得到第二预测图像。4.如权利要求3所述的方法，其特征在于，所述第二平面图像对应的内容描述信息包括像素点i的位置信息，所述像素点i为所述K个像素点中的任一个像素点；所述像素点i的特征向量是所述特征提取网络在内容维度下基于所述像素点i的位置信息对所述第一平面图像进行特征提取得到的。5.如权利要求4所述的方法，其特征在于，所述像素点i的位置信息的获取过程包括：获取所述第一平面图像关联的维度指示信息；获取像素点i的坐标；对所述像素点i的坐标进行升维处理，得到所述像素点i的位置信息；所述像素点i的位置信息的维度与所述维度指示信息指示的维度匹配。6.如权利要求1所述的方法，其特征在于，所述第二平面图像包括所述第一三维对象的面部；所述第二平面图像对应的内容描述信息包括所述第一三维对象的状态信息，所述第一三维对象的状态信息包括以下至少一项：所述第一三维对象的姿势参数，所述第一三维对象的表情参数，所述第一三维对象的注视参数，以及所述第二平面图像关联的音频参数；
其中，所述第一三维对象的姿势参数用于指示所述第一三维对象相对于观测位置的刚性运动；所述第一三维对象的表情参数用于指示所述第一三维对象的非刚性面部变形；所述第一三维对象的注视参数用于指示所述第一三维对象的眼球运动。7.如权利要求6所述的方法，其特征在于，所述第二平面图像对应的内容描述信息包括所述第二平面图像关联的音频参数；所述获取所述第二平面图像对应的内容描述信息，包括：获取所述第二平面图像关联的音频流数据；对所述音频流数据进行数据转换，得到所述第二平面图像关联的音频...

【专利技术属性】
技术研发人员：李文娟，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：