图像处理方法、装置、设备、存储介质及计算机程序产品制造方法及图纸

提供了一种图像处理方法、装置、设备、存储介质及计算机程序产品，其中，所述方法包括：获取包含预设对象的图像帧序列，以及与所述预设对象对应的对象模型；基于所述图像帧序列，确定所述对象模型表面的第一几何参数和第一反射参数；基于预设的第一光照图、所述第一几何参数和所述第一反射参数，对所述图像帧序列中至少一个第一图像帧中的所述预设对象进行渲染，得到重新打光后的至少一个第二图像帧。得到重新打光后的至少一个第二图像帧。得到重新打光后的至少一个第二图像帧。

【技术实现步骤摘要】
图像处理方法、装置、设备、存储介质及计算机程序产品


[0001]本申请涉及但不限于计算机视觉
，尤其涉及一种图像处理方法、装置、设备、存储介质及计算机程序产品。

技术介绍

[0002]对象的重新打光是电影游戏工业中实现逼真渲染的重要技术。然而，相关技术中往往是通过专业人员和昂贵的专业设备，对待进行重新打光的对象进行精细扫描与建模，以实现对象的重新打光，耗时且成本高。

技术实现思路

[0003]有鉴于此，本申请实施例至少提供一种图像处理方法、装置、设备、存储介质及计算机程序产品。
[0004]本申请实施例的技术方案是这样实现的：
[0005]一方面，本申请实施例提供一种图像处理方法，所述方法包括：
[0006]获取包含预设对象的图像帧序列，以及与所述预设对象对应的对象模型；
[0007]基于所述图像帧序列，确定所述对象模型表面的第一几何参数和第一反射参数；
[0008]基于预设的第一光照图、所述第一几何参数和所述第一反射参数，对所述图像帧序列中至少一个第一图像帧中的所述预设对象进行渲染，得到重新打光后的至少一个第二图像帧。
[0009]另一方面，本申请实施例提供一种图像处理装置，所述装置包括：
[0010]获取模块，用于获取包含预设对象的图像帧序列，以及与所述预设对象对应的对象模型；
[0011]确定模块，用于基于所述图像帧序列，确定所述对象模型表面的第一几何参数和第一反射参数；
[0012]渲染模块，用于基于预设的第一光照图、所述第一几何参数和所述第一反射参数，对所述图像帧序列中至少一个第一图像帧中的所述预设对象进行渲染，得到重新打光后的至少一个第二图像帧。
[0013]再一方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
[0014]又一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
[0015]又一方面，本申请实施例提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算机设备中运行时，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
[0016]又一方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存
储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。
[0017]本申请实施例中，通过获取包含预设对象的图像帧序列，以及与该预设对象对应的对象模型，并基于该图像帧序列，确定该对象模型表面的第一几何参数和第一反射参数，基于预设的第一光照图、该第一几何参数和该第一反射参数，对该图像帧序列中至少一个第一图像帧中的该预设对象进行渲染，得到重新打光后的至少一个第二图像帧。这样，由于对图像帧序列中至少一个第一图像帧中的预设对象进行重新打光的第一几何参数和第一反射参数，是从包含该预设对象的图像帧序列中确定的，如此，可以基于包含多种姿态的预设对象的图像帧序列，确定用于对该预设对象进行重新打光的第一几何参数和第一反射参数，从而可以实现对动态场景下多种姿态的预设对象的重新打光；并且，由于对象模型表面的第一几何参数和第一反射参数可以准确地体现对象模型的物理特性，从而可以提高重新打光的准确性，得到更加自然逼真的视觉效果；此外，相较于相关技术中通过专业人员和昂贵的专业设备，对预设对象进行精细扫描与建模，以实现对预设对象重新打光的方案，本申请实施例降低了对预设对象进行重新打光的成本、提高了重新打光的效率。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请的技术方案。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
[0020]图1为本申请实施例提供的一种图像处理方法的实现流程示意图；
[0021]图2为本申请实施例提供的一种图像处理方法的实现流程示意图；
[0022]图3A为本申请实施例提供的一种图像处理方法的实现流程示意图；
[0023]图3B为本申请实施例提供的一种对象模型表面的轮廓点处的光线示意图；
[0024]图4为本申请实施例提供的一种图像处理方法的实现流程示意图；
[0025]图5为本申请实施例提供的一种图像处理方法的实现流程示意图；
[0026]图6A为本申请实施例提供的一种图像处理方法的实现流程示意图；
[0027]图6B为本申请实施例提供的一种图像处理方法对人体进行重新打光的效果示意图；
[0028]图7为本申请实施例提供的一种图像处理装置的组成结构示意图；
[0029]图8为本申请实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
[0030]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本申请的技术方案进一步详细阐述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0031]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突
的情况下相互结合。
[0032]所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0033]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的，不是旨在限制本申请。
[0034]为了更好地理解本申请实施例提供的图像处理方法，下面先对相关技术中对对象进行重新打光的方案进行说明。
[0035]以人体的重新打光为例，相关技术中，人体的重新打光方案可以包括：1)使用大型扫描设备(Light
‑
Stage)对每一目标人体采集大量数据，该方案耗时且成本昂贵；2)采用二维人体重打光算法，通过从合成的训练数据中迁移学习或自我监督学习，实现原始二维图像中人体的重新打光，该方案由于无法获得三维的人体表示，进而无法实现自由姿态以及自由视角的渲染；3)通过三维神经渲染算法进行人体建模，以实现自由视角的人体重新打光，但是相关技术中的三维神经渲染算法无法正确建模动态人体，进而无法渲染逼真的光照和视图。
[0036]本申请实施例提供一种图像处理方法，可以实现对动态场景下多种姿态的预设对象的重新打光，并能降低对预设对象进行重新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取包含预设对象的图像帧序列，以及与所述预设对象对应的对象模型；基于所述图像帧序列，确定所述对象模型表面的第一几何参数和第一反射参数；基于预设的第一光照图、所述第一几何参数和所述第一反射参数，对所述图像帧序列中至少一个第一图像帧中的所述预设对象进行渲染，得到重新打光后的至少一个第二图像帧。2.根据权利要求1所述的方法，其特征在于，所述对象模型表面的第一几何参数包括在每一所述第一图像帧中所述对象模型表面的每一轮廓点的第一几何参数，所述对象模型表面的第一反射参数包括在每一所述第一图像帧中所述对象模型表面的每一轮廓点的第一反射参数；所述基于所述图像帧序列，确定所述对象模型表面的第一几何参数和第一反射参数，包括：确定所述对象模型的每一个顶点的特征表示；针对所述图像帧序列中的每一第一图像帧，确定每一所述顶点在所述第一图像帧中对应的坐标值，并基于每一所述顶点的特征表示和所述顶点在所述第一图像帧中对应的坐标值，确定在所述第一图像帧中所述对象模型表面的每一轮廓点、以及每一所述轮廓点对应的坐标值和特征表示；基于在每一所述第一图像帧中所述对象模型表面的每一轮廓点对应的坐标值和特征表示，确定每一所述轮廓点的第一几何参数和第一反射参数。3.根据权利要求2所述的方法，其特征在于，所述基于每一所述顶点的特征表示和所述顶点在所述第一图像帧中对应的坐标值，确定在所述第一图像帧中所述对象模型表面的每一轮廓点、以及每一所述轮廓点对应的坐标值和特征表示，包括：基于每一所述顶点在所述第一图像帧中对应的坐标值，确定在所述第一图像帧中所述对象模型表面的至少一个轮廓点以及每一所述轮廓点对应的坐标值；基于每一所述轮廓点对应的坐标值，确定每一所述轮廓点相邻的至少一个顶点；针对每一所述轮廓点，基于与所述轮廓点相邻的每一顶点的特征表示，确定所述轮廓点对应的特征表示。4.根据权利要求2或3所述的方法，其特征在于，所述基于在每一所述第一图像帧中所述对象模型表面的每一轮廓点对应的坐标值和特征表示，确定每一所述轮廓点的第一几何参数和第一反射参数，包括：利用预设的第一神经网络，基于每一所述第一图像帧中所述对象模型表面的每一轮廓点对应的坐标值和特征表示，确定每一所述轮廓点的第一几何参数和第一反射参数；基于每一所述第一图像帧中所述对象模型表面的每一轮廓点的第一几何参数和第一反射参数，确定损失值；基于所述损失值，对所述第一神经网络的网络参数、以及所述对象模型的每一个顶点的特征表示进行更新，并基于更新后的所述第一神经网络、以及每一所述顶点的更新后的特征表示，得到更新后的每一所述轮廓点的第一几何参数和第一反射参数。5.根据权利要求4所述的方法，其特征在于，所述损失值包括第一损失值；所述基于每一所述第一图像帧中所述对象模型表面的每一轮廓点的第一几何参数和
第一反射参数，确定损失值，包括：确定所述图像帧序列对应的第二光照图；针对每一所述第一图像帧，基于所述第一图像帧中所述对象模型表面的每一轮廓点的第一几何参数和第一反射参数，利用所述第二光照图，对所述第一图像帧中的所述预设对象进行渲染，得到重新打光后的第三图像帧；基于每一所述第一图像帧和每一所述第三图像帧，确定第一损失值。6.根据权利要求5所述的方法，其特征在于，所述对所述第一神经网络的网络参数、以及所述对象模型的每一个顶点的特征表示进行更新，包括：对所述第一神经网络的网络参数、所述对象模型的每一个顶点的特征表示、以及所述第二光照图进行更新；所述基于在每一所述第一图像帧中所述对象模型表面的每一轮廓点对应的坐标值和特征表示，确定每一所述轮廓点的第一几何参数和第一反射参数，还包括：针对每一所述第一图像帧，基于所述第一图像帧中所述对象模型表面的每一轮廓点的更新后的第一几何参数和更新后的第一反射参数，利用更新后的所述第二光照图，对所述第一图像帧中的所述预设对象进行渲染，得到更新后的重新打光的第三图像帧；基于每一所述第一图像帧和每一更新后的所述第三图像帧，确定更新后的所述第一损失值。7.根据权利要求5或6中任一项所述的方法，其特征在于，所述损失值还包括第二损失值；所述基于每一所述第一图像帧中所述对象模型表面的每一轮廓点的第一几何参数和第一反射参数，确定损失值，还包括：利用预设的第二神经网络，基于每一所述第一图像帧中所述对象模型表面的每一轮廓点对应的坐标值和特征表示，确定每一所述轮廓点的第二几何参数；基于每一所述轮廓点的第一几何参数和第二几何参数，确定第二损失值。8.根据权利要求7所述的方法，其特征在于，所述利用预设的第二神经网络，基于每一所述第一图像帧中所述对象模型表面的每一轮廓点对应的坐标值和特征表示，确定每一所述轮廓点的第二几何参数，包括：针对每一所述第一图像帧，基于所述第一图像帧中所述对象模型表面的每一轮廓点对应的坐标值，确定每一所述轮廓点对应的至少一个第一空间点；其中，每一所述轮廓点对应的第一空间点为所述图像帧序列对应的光源在所述轮廓点的入射光线上的空间点；基于每一所述顶点的特征表示和所述顶点在每一所述第一图像帧中对应的坐标值，确定每一所述第一空间点的特征表示；利用预设的第二神经网络，基于每一所述第一空间点的特征表示，确定每一所述第一空间点的体密度；基于每一所述轮廓点对应的至少一个第一空间点的体密度，确定每一所述轮廓点的第二几何参数；所述对所述第一神经网络的网络参数、以及所述对象模型的每一个顶点的特征表示进行更新，包括：对所述第一神经网络的网络参数、所述第二神经网络的网络参数、以及所述对象模型
的每一个顶点的特征表示进行更新。9.根据权利要求8所述的方法，其特征在于，所述基于每一所述轮廓点对应的至少一个第一空间点的体密度，确定每一所述轮廓点的第二几何参数，包括以下至少之一：在所述第二几何参数包括第二法线的情况下，基于每一所述轮廓点对应的至少一个第一空间点的体密度，确定每一所述轮廓点在每一所述第一图像帧中对应的体密度梯度，并基于每一所述轮廓点在每一所述第一图像帧中对应的体密度梯度，确定每一所述轮廓点的第二法线；在所述第二几何参数包括光线可见度的情况下，针对每一所述轮廓点，基于所述轮廓点对应的至少一个第一空间点的体密度，确定每一所述第一空间点的累积透射率，并基于每一所述第一空间点的累积透射率和体密度，确定所述轮廓点的第二光线可见度。10.根据权利要求8或9所述的方法，其特征在于，所述基于每一所述顶点的特征表示和所述顶点在所述第一图像帧中对应的坐标值，确定在所述第一图像帧中所述对象模型表面的每一轮廓点，包括：针对至少一条预设的相机光线中的每一相机光线，在所述相机光线上确定至少一个第二空间点；基于每一所述顶点的特征表示和所述顶点在所述第一图像帧中对应的坐标值，确定每一所述第二空间点的特征表示；利用预设的第二神经网络，基于每一所述第二空间点的特征表示，确定每一所述第二空间点在所述第一图像帧中对应的体密度；针对每一所述相机光线，基于所述相机光线上的每一所述第二空间点的体密度，确定所述对象模型表面的一个轮廓点。11.根据权利要求7至10中任一项所述的方法，其特征在于，所述第一神经网络包括第一预测网络和第二预测网络；所述利用预设的第一神经网络，基于每一所述第一图像帧中所述...

【专利技术属性】
技术研发人员：陈昭熹，蔡中昂，刘子纬，
申请(专利权)人：南洋理工大学，
类型：发明
国别省市：