用于渲染增强现实场景的方法和装置制造方法及图纸

本申请实施例公开了用于渲染增强现实场景的方法和装置。该方法的一具体实施方式包括：获取包含目标场景的至少一个图像；将至少一个图像输入预先训练的光源参数预测模型中，得到目标场景中光源的光源参数，其中，光源参数预测模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系；基于所得到的光源参数，利用增强现实技术对将目标虚拟对象添加到目标场景后的增强现实场景进行渲染。该实施方式提高了虚拟对象与现实场景的融合度。

【技术实现步骤摘要】
用于渲染增强现实场景的方法和装置
本申请实施例涉及计算机
，具体涉及用于渲染增强现实场景的方法和装置。
技术介绍
增强现实(AugmentedReality，AR)技术主要是通过摄像头和传感器定位现实空间，将虚拟对象放置在三维空间中，之后对虚拟对象放置后的三维空间进行渲染的技术。现有的用于渲染AR场景中的光照效果的方法主要包括：通过自定义的光照信息对AR场景进行渲染；利用现实世界的光照图像，通过环境映射方式使虚拟对象更加真实。
技术实现思路
本申请实施例提出了用于渲染增强现实场景的方法和装置。第一方面，本申请实施例提供了一种用于渲染增强现实场景的方法，包括：获取包含目标场景的至少一个图像；将至少一个图像输入预先训练的光源参数预测模型中，得到目标场景中光源的光源参数，其中，光源参数预测模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系；基于所得到的光源参数，利用增强现实技术对将目标虚拟对象添加到目标场景后的增强现实场景进行渲染。在一些实施例中，光源参数预测模型包括光源类型识别模型和至少一个光源参数预测子模型，光源参数预测子模型与光源类型相对应，光源类型识别模型用于表征包含场景的至少一个图像与场景中光源的光源类型之间的对应关系，光源参数预测子模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系。在一些实施例中，将至少一个图像输入预先训练的光源参数预测模型中，得到目标场景中光源的光源参数，包括：将至少一个图像输入光源类型识别模型中，得到目标场景中光源的光源类型；将至少一个图像输入与所得到的光源类型相对应的光源参数预测子模型中，得到目标场景中光源的光源参数。在一些实施例中，光源参数预测子模型是通过如下步骤训练得到的：获取第一训练样本集合，其中，第一训练样本包括至少一个第一样本图像和用于表征至少一个第一样本图像所包含的场景中光源的光源参数的标注信息，至少一个第一样本图像所包含的场景中光源的光源类型为预设光源类型；将第一训练样本集合中的第一训练样本中的至少一个第一样本图像作为输入，将与输入的至少一个第一样本图像对应的标注信息作为期望输出，训练得到预设光源类型对应的光源参数预测子模型。在一些实施例中，至少一个第一样本图像是从样本视频中截取出的至少一个连续的画面帧，样本视频所包含的场景中光源的光源类型为预设光源类型。在一些实施例中，光源类型包括以下至少一项：室内日光、室内灯光、室外日光、室外灯光。在一些实施例中，光源参数预测模型是通过如下步骤训练得到的：获取第二训练样本集合，其中，第二训练样本包括至少一个第二样本图像和用于表征至少一个第二样本图像所包含的场景中光源的光源参数的标注信息；将第二训练样本集合中的第二训练样本中的至少一个第二样本图像作为输入，将与输入的至少一个第二样本图像对应的标注信息作为期望输出，训练得到光源参数预测模型。第二方面，本申请实施例提供了一种用于渲染增强现实场景的装置，包括：获取单元，被配置成获取包含目标场景的至少一个图像；输入单元，被配置成将至少一个图像输入预先训练的光源参数预测模型中，得到目标场景中光源的光源参数，其中，光源参数预测模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系；渲染单元，被配置成基于所得到的光源参数，利用增强现实技术对将目标虚拟对象添加到目标场景后的增强现实场景进行渲染。在一些实施例中，光源参数预测模型包括光源类型识别模型和至少一个光源参数预测子模型，光源参数预测子模型与光源类型相对应，光源类型识别模型用于表征包含场景的至少一个图像与场景中光源的光源类型之间的对应关系，光源参数预测子模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系。在一些实施例中，输入单元进一步用于按照如下方式将至少一个图像输入预先训练的光源参数预测模型中，得到目标场景中光源的光源参数：将至少一个图像输入光源类型识别模型中，得到目标场景中光源的光源类型；将至少一个图像输入与所得到的光源类型相对应的光源参数预测子模型中，得到目标场景中光源的光源参数。在一些实施例中，光源参数预测子模型是通过如下步骤训练得到的：获取第一训练样本集合，其中，第一训练样本包括至少一个第一样本图像和用于表征至少一个第一样本图像所包含的场景中光源的光源参数的标注信息，至少一个第一样本图像所包含的场景中光源的光源类型为预设光源类型；将第一训练样本集合中的第一训练样本中的至少一个第一样本图像作为输入，将与输入的至少一个第一样本图像对应的标注信息作为期望输出，训练得到预设光源类型对应的光源参数预测子模型。在一些实施例中，至少一个第一样本图像是从样本视频中截取出的至少一个连续的画面帧，样本视频所包含的场景中光源的光源类型为预设光源类型。在一些实施例中，光源类型包括以下至少一项：室内日光、室内灯光、室外日光、室外灯光。在一些实施例中，光源参数预测模型是通过如下步骤训练得到的：获取第二训练样本集合，其中，第二训练样本包括至少一个第二样本图像和用于表征至少一个第二样本图像所包含的场景中光源的光源参数的标注信息；将第二训练样本集合中的第二训练样本中的至少一个第二样本图像作为输入，将与输入的至少一个第二样本图像对应的标注信息作为期望输出，训练得到光源参数预测模型。第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如用于渲染增强现实场景的方法中任一实施例的方法。第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如用于渲染增强现实场景的方法中任一实施例的方法。本申请实施例提供的用于渲染增强现实场景的方法和装置，通过将获取到的包含目标场景的至少一个图像输入到预先训练的光源参数预测模型中得到上述目标场景中光源的光源参数。之后，可以基于所得到的光源参数，利用增强现实技术对将目标虚拟对象添加到上述目标场景后的增强现实场景进行渲染。从而可以准确地确定出目标场景中光源的光源参数，提高了虚拟对象与现实场景的融合度。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请的一个实施例可以应用于其中的示例性系统架构图；图2是根据本申请的用于渲染增强现实场景的方法的一个实施例的流程图；图3是根据本申请的用于渲染增强现实场景的方法的一个应用场景的示意图；图4是根据本申请的用于渲染增强现实场景的方法的又一个实施例的流程图；图5是根据本申请的用于渲染增强现实场景的装置的一个实施例的结构示意图；图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的用于渲染增强现实场景的方法或用于渲染增强现实场景的装置的示本文档来自技高网...

【技术保护点】
1.一种用于渲染增强现实场景的方法，包括：获取包含目标场景的至少一个图像；将所述至少一个图像输入预先训练的光源参数预测模型中，得到所述目标场景中光源的光源参数，其中，所述光源参数预测模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系；基于所得到的光源参数，利用增强现实技术对将目标虚拟对象添加到所述目标场景后的增强现实场景进行渲染。

【技术特征摘要】
1.一种用于渲染增强现实场景的方法，包括：获取包含目标场景的至少一个图像；将所述至少一个图像输入预先训练的光源参数预测模型中，得到所述目标场景中光源的光源参数，其中，所述光源参数预测模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系；基于所得到的光源参数，利用增强现实技术对将目标虚拟对象添加到所述目标场景后的增强现实场景进行渲染。2.根据权利要求1所述的方法，其中，所述光源参数预测模型包括光源类型识别模型和至少一个光源参数预测子模型，光源参数预测子模型与光源类型相对应，所述光源类型识别模型用于表征包含场景的至少一个图像与场景中光源的光源类型之间的对应关系，光源参数预测子模型用于表征包含场景的至少一个图像与场景中光源的光源参数之间的对应关系。3.根据权利要求2所述的方法，其中，所述将所述至少一个图像输入预先训练的光源参数预测模型中，得到所述目标场景中光源的光源参数，包括：将所述至少一个图像输入所述光源类型识别模型中，得到所述目标场景中光源的光源类型；将所述至少一个图像输入与所得到的光源类型相对应的光源参数预测子模型中，得到所述目标场景中光源的光源参数。4.根据权利要求3所述的方法，其中，光源参数预测子模型是通过如下步骤训练得到的：获取第一训练样本集合，其中，第一训练样本包括至少一个第一样本图像和用于表征至少一个第一样本图像所包含的场景中光源的光源参数的标注信息，至少一个第一样本图像所包含的场景中光源的光源类型为预设光源类型；将所述第一训练样本集合中的第一训练样本中的至少一个第一样本图像作为输入，将与输入的至少一个第一样本图像对应的标注信息作为期望输出，训练得到所述预设光源类型对应的光源参数预测子模型。5.根据权利要求4所述的方法，其中，所述至少一个第一样本图像是从样本视频中截取出的至少一个连续的画面帧，所述样本视频所包含的场景中光源的光源类型为所述预设光源类型。6.根据权利要求2所述的方法，其中，所述光源类型包括以下至少一项：室内日光、室内灯光、室外日光、室外灯光。7.根据权利要求1-6之一所述的方法，其中，所述光源参数预测模型是通过如下步骤训练得到的：获取第二训练样本集合，其中，第二训练样本包括至少一个第二样本图像和用于表征至少一个第二样本图像所包含的场景中光源的光源参数的标注信息；将所述第二训练样本集合中的第二训练样本中的至少一个第二样本图像作为输入，将与输入的至少一个第二样本图像对应的标注信息作为期望输出，训练得到光源参数预测模型。8.一种用于渲染增强现实场景的装置，包括：获取单元，被配置成获取包含目标场景的至少一个图像；输入单元，被配置成将所述至少一个图像输入预先训练的光源参数预测模型中，得到所述目标场景中光源的光源参数，其...

【专利技术属性】
技术研发人员：王博，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11