绘制三维视图的方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例提供了一种绘制三维视图的方法、装置、电子设备及存储介质，该方法包括：获取多幅待处理图像以及所述待处理图像的拍摄属性信息；针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。本公开实施例实现了基于物体属性和相机信息，提高物体三维视图绘制的准确性。图绘制的准确性。图绘制的准确性。

【技术实现步骤摘要】
绘制三维视图的方法、装置、电子设备及存储介质


[0001]本公开实施例涉及计算机
，尤其涉及一种绘制三维视图的方法、装置、电子设备及存储介质。

技术介绍

[0002]图像绘制是图形学中比较重要的研究方向之一，传统的图像绘制方法一般是基于多视角技术进行虚拟视角的合成，通过获取物体的纹理图像和和深度图像，利用已有视角的纹理图像和深度图像来合成物体新的视角图像。
[0003]然而，在对物体进行绘制的过程中，存在绘制的图像与实际物体的图像不相符，导致绘制出的图像准确性不高，从而引起用户使用体验较差的技术问题。

技术实现思路

[0004]本公开实施例提供一种绘制三维视图的方法、装置、电子设备及存储介质，以实现了绘制出的视图与实际物体的视图较为统一，从而提高图像绘制准确性的技术效果。
[0005]第一方面，本公开实施例提供了一种绘制三维视图的方法，该方法包括：
[0006]获取多幅待处理图像以及所述待处理图像的拍摄属性信息；
[0007]针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；
[0008]针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；
[0009]根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
[0010]第二方面，本公开实施例还提供了一种绘制三维视图的装置，该装置包括：
[0011]拍摄属性信息获取模块，用于获取多幅待处理图像以及所述待处理图像的拍摄属性信息；
[0012]目标球谐光照获取模块，用于针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；
[0013]目标物体属性信息获取模块，用于针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；
[0014]目标三维视图确定模块，用于根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。
[0015]第三方面，本公开实施例还提供了一种电子设备，所述设备包括：
[0016]一个或多个处理器；
[0017]存储装置，用于存储一个或多个程序，
[0018]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的绘制三维视图的方法。
[0019]第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例任一所述的绘制三维视图的方法。
[0020]本公开实施例通过先获取多幅待处理图像以及待处理图像的拍摄属性信息，根据目标光照估计模型对待处理图像进行处理得到目标球谐光照信息，再根据目标物体属性确定模型对拍摄属性信息进行处理，得到目标物体的物体属性信息，最后基于各待处理图像的目标球谐光照以及物体属性信息，可以绘制出相应的目标图像，进而基于各目标图像绘制出相应的三维视图，解决了现有技术中绘制的图像与实际物体的图像不相符，导致绘制出的图像准确性不高，从而引起用户使用体验较差的技术问题，实现了在绘制图像的过程中，不仅考虑光源信息还考虑相机位置信息，从而确定出相应为光源位置以及目标物体的材质参数信息，进而基于上述信息准确的绘制出与目标物体相对应的三维视图，提高了视图绘制的准确性，在将较为准确的三维视图展示在显示界面上，可以提高用户体验的技术效果。
附图说明
[0021]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0022]图1为本公开实施例一所提供的一种绘制三维视图的方法的流程示意图；
[0023]图2为本公开实施例二所提供的一种绘制三维视图的方法的流程示意图；
[0024]图3为本公开实施例三所提供的一种绘制三维视图的方法的流程示意图；
[0025]图4为本公开实施例四所提供的一种绘制三维视图的方法的流程示意图；
[0026]图5为本公开实施例五所提供的一种绘制三维视图的装置的结构框图；
[0027]图6为本公开实施例六所提供的一种电子设备的结构示意图。
具体实施方式
[0028]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0029]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0030]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0031]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单
元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0032]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0033]实施例一
[0034]图1为本公开实施例一所提供的一种绘制三维视图的方法的流程示意图，本实施例可适用于绘制与目标物体相对应的三维视图的情形，该方法可以由绘制三维视图装置来执行，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，如移动终端、PC端或服务器等。
[0035]如图1，本实施例的方法包括：
[0036]S110、获取多幅待处理图像以及所述待处理图像的拍摄属性信息。
[0037]其中，待处理图像可以有一幅也可以有多幅。待处理图像的数量与绘制出的三维视图的准确性存在相应的关系。可选的，待处理图像的数量包括多幅。每幅待处理图像均可以是从某个特定的视角对特定的物体进行拍摄后得到的图像。同时，待处理图像可以反映目标物体在不同环境状态下的形状、纹理以及结构信息。可以将待处理图像中包括的物体作为目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种绘制三维视图的方法，其特征在于，包括：获取多幅待处理图像以及所述待处理图像的拍摄属性信息；针对各待处理图像，基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照；针对各待处理图像，基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息；根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，并基于各目标图像确定目标三维视图。2.根据权利要求1所述的方法，其特征在于，所述获取多幅待处理图像以及所述待处理图像的拍摄属性信息，包括：确定与所述待处理图像相对应的相机视角，并将所述相机视角作为所述待处理图像的拍摄属性信息。3.根据权利要求1所述的方法，其特征在于，所述基于预先训练得到的目标光照估计模型对当前待处理图像进行处理，得到与所述当前待处理图像相对应的目标球谐光照，包括：将所述当前待处理图像作为所述目标光照估计模型的输入参数，得到与所述当前待处理图像相对应的目标球谐光照。4.根据权利要求1所述的方法，其特征在于，所述目标物体属性信息至少包括体素位置信息、色彩信息以及材质参数信息，所述基于预先训练得到的目标物体属性确定模型对当前待处理图像的拍摄属性信息进行处理，得到与所述当前待处理图像相对应的目标物体属性信息，包括：将当前待处理图像的拍摄属性信息中的相机视角作为所述目标物体属性确定模型的输入参数，至少得到当前待处理图像中目标物体的体素位置信息、色彩信息以及材质参数信息。5.根据权利要求1所述的方法，其特征在于，所述根据各待处理图像的目标球谐光照和目标物体属性信息，确定与各待处理图像相对应的目标图像，包括：针对各待处理图像，根据与当前待处理图像相对应的目标物体属性信息中的体素位置信息，确定与每个体素位置信息相对应的目标法向信息；根据各待处理图像的目标球谐光照、目标法向信息、色彩信息以及材质参数信息，绘制相应待处理图像的目标图像。6.根据权利要求1所述的方法，其特征在于，所述基于各目标图像确定目标三维视图，包括：通过对各目标图像融合处理，得到与所述待处理图像中目标物体的目标三维视图。7.根据权利要求1所述的方法，其特征在于，还包括：训练得到所述目标光照估计模型；所述训练得到所述目标光照估计模型，包括：根据至少一个三维模型，确定各相机视角下的第一待训练图像，并基于所述第一待训练图像和相应的相机视角，得到训练样本集中的各第一训练样本；针对各第一训练样本，将当前第一训练样本中的第一待训练图像输入至待训练光照估计模型中，得到与所述当前第一训练样本相对应的实际球谐光照；
基于所述待训练光照估计模型中的第一预设损失函数对所述当前第一训练样本的实际球谐光照和相机视角进行损失处理，以根据得到的损失值对所述待训练光照估计模型中的模...

【专利技术属性】
技术研发人员：王光伟，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：