图像生成方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种图像生成方法、装置、设备、存储介质以及程序产品，图像处理、人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景。具体实现方案为：根据预设场景信息的场景面片，确定对齐位姿，场景面片是按照第一图像生成模式处理预设场景信息和预设相机位姿得到的，对齐位姿表征场景面片从第一图像生成模式转换至第二图像生成模式的调整位姿；按照第一图像生成模式处理对齐位姿和预设场景信息，得到与第二图像生成模式相匹配的场景图像；根据场景图像和虚拟形象图像，生成目标图像，虚拟形象图像是按照第二图像生成模式处理预设虚拟形象信息得到的。处理预设虚拟形象信息得到的。处理预设虚拟形象信息得到的。

【技术实现步骤摘要】
图像生成方法、装置、设备以及存储介质


[0001]本公开涉及图像处理、人工智能
，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于元宇宙、数字人等场景，具体涉及一种图像生成方法、装置、设备、存储介质以及程序产品。

技术介绍

[0002]随着人工智能技术的发展，可以利用人工智能技术进行数据处理，例如可以将相关的图像处理技术应用于增强现实、虚拟现实等。

技术实现思路

[0003]本公开提供了一种图像生成方法、装置、设备、存储介质以及程序产品。
[0004]根据本公开的一方面，提供了一种图像生成方法，包括：根据预设场景信息的场景面片，确定对齐位姿，场景面片是按照第一图像生成模式处理预设场景信息和预设相机位姿得到的，对齐位姿表征场景面片从第一图像生成模式转换至第二图像生成模式的调整位姿；按照第一图像生成模式处理对齐位姿和预设场景信息，得到与第二图像生成模式相匹配的场景图像；根据场景图像和虚拟形象图像，生成目标图像，虚拟形象图像是按照第二图像生成模式处理预设虚拟形象信息和预设相机位姿得到的。
[0005]根据本公开的另一方面，提供了一种图像生成装置，包括：对齐位姿确定模块，用于根据预设场景信息的场景面片，确定对齐位姿，其中，场景面片是按照第一图像生成模式处理预设场景信息和预设相机位姿得到的，对齐位姿表征了场景面片从第一图像生成模式转换至第二图像生成模式的调整位姿；场景图像第一确定模块，用于按照第一图像生成模式处理对齐位姿和预设场景信息，得到与第二图像生成模式相匹配的场景图像；以及目标图像生成模块，用于根据场景图像和虚拟形象图像，生成目标图像，其中，虚拟形象图像是按照第二图像生成模式处理预设虚拟形象信息和预设相机位姿得到的。
[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例的方法。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开实施例的方法。
[0008]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序存储于可读存储介质和电子设备其中至少之一上，计算机程序存储于可读存储介质和电子设备其中至少之一上，计算机程序在被处理器执行时实现本公开实施例的方法。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1示意性示出了根据本公开实施例的图像生成方法和装置的系统架构图；
[0012]图2示意性示出了根据本公开实施例的图像生成方法的流程图；
[0013]图3示意性示出了根据本公开另一实施例的图像生成方法的示意图；
[0014]图4示意性示出了根据本公开实施例的图像生成装置的框图；以及
[0015]图5示意性示出了可以实现本公开实施例的图像生成方法的电子设备的框图。
具体实施方式
[0016]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0017]在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0018]在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
[0019]在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
[0020]随着人工智能技术的发展，可以利用人工智能技术进行数据处理，例如可以将相关的图像处理技术应用于增强现实、虚拟现实等。
[0021]以虚拟形象场景为例，为了提高虚拟形象所在位置的真实性，提高用户的沉浸式感受，需要将虚拟形象“放置于”真实场景中，生成的图像或者视频显示真实场景背景和虚拟形象。
[0022]一些实施方式中，通过多视角合成的方法估计得到真实场景图像的面片，并将该面片与虚拟形象通过渲染引擎渲染，可以生成显示真实场景背景和虚拟形象的图像或者视频。这种方式的图像生成效率较低，且得到的图像质量较低。图像生成效率较低体现在图像生成的速度较慢，比较耗时，无法适应于实时性较高的场景。图像质量较低体现在多视角合成得到的真实场景图像的面片精度较低，且容易出现部分场景缺失的情况。
[0023]图1示意性示出了根据本公开一实施例的图像生成方法和装置的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
[0024]如图1所示，根据该实施例的系统架构100可以包括客户端101、102、103，网络104、第一服务器105和第二服务器106。网络104用以在客户端101、102、103、第一服务器105以及
第二服务器106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0025]用户可以使用客户端101、102、103通过网络104与第一服务器105、第二服务器106交互，以接收或发送消息等。客户端101、102、103上可以安装有各种通讯客户端应用，例如支持增强现实的相关应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0026]客户端101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。本公开实施例的客户端101、102、103例如可以运行应用程序。
[0027]第一服务器105、第二服务器106可以是提供各种服务的服务器，例如对用户利用客户端101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，包括：根据预设场景信息的场景面片，确定对齐位姿，其中，所述场景面片是按照第一图像生成模式处理所述预设场景信息和预设相机位姿得到的，所述对齐位姿表征了所述场景面片从所述第一图像生成模式转换至第二图像生成模式的调整位姿；按照所述第一图像生成模式处理所述对齐位姿和所述预设场景信息，得到与所述第二图像生成模式相匹配的场景图像；以及根据所述场景图像和虚拟形象图像，生成目标图像，其中，所述虚拟形象图像是按照所述第二图像生成模式处理预设虚拟形象信息和所述预设相机位姿得到的。2.根据权利要求1所述的方法，其中，所述根据预设场景信息的场景面片，确定对齐位姿包括：根据所述场景面片，将所述场景面片相对于所述第一图像生成模式和相对于所述第二图像生成模式两者之间的位姿差异确定为场景对齐位姿；根据所述第一图像生成模式和所述第二图像生成模式，确定矫正位姿；以及根据所述场景对齐位姿和所述矫正位姿，确定所述对齐位姿。3.根据权利要求2所述的方法，其中，所述根据所述第一图像生成模式和所述第二图像生成模式，确定矫正位姿包括以下中的至少一个：根据所述预设相机位姿相对于所述第一图像生成模式和相对于所述第二图像生成模式两者之间的位姿差异，确定所述矫正位姿中的相机对齐位姿；以及根据所述第一图像生成模式的坐标系与所述第二图像生成模式的坐标系之间的坐标系差异，确定所述矫正位姿中的坐标系对齐位姿。4.根据权利要求2所述的方法，其中，所述预设相机位姿包括由相机位姿序列表征的运镜位姿；所述根据预设场景信息的场景面片，确定对齐位姿还包括：根据所述运镜位姿相对于所述第一图像生成模式和相对于所述第二图像生成模式两者之间的位姿差异，确定运镜对齐位姿，其中，所述运镜对齐位姿用于确定所述对齐位姿。5.根据权利要求4所述的方法，其中，所述矫正位姿包括相机对齐位姿和坐标系对齐位姿；所述根据预设场景信息的场景面片，确定对齐位姿包括：将所述相机对齐位姿对应的矩阵、所述场景对齐位姿对应的矩阵、所述坐标系对齐位姿对应的矩阵和所述运镜对齐位姿对应的矩阵相乘，得到所述对齐位姿。6.根据权利要求1
‑
5中任一项所述的方法，还包括：按照所述第一图像生成模式处理所述预设相机位姿和所述预设场景信息，得到对应所述预设相机位姿的场景图像；以及根据对应所述预设相机位姿的场景图像，确定所述场景面片。7.根据权利要求1
‑
5中任一项所述的方法，还包括：响应于调整指令，对所述场景面片与虚拟形象之间的相对位置、比例中的至少一个进行调整。8.根据权利要求1
‑
5中任一项所述的方法，其中，所述第一图像生成模式是利用即时神经图形基元网络实现的，所述第二图像生成模式是利用渲染引擎实现的。9.根据权利要求8所述的方法，其中，所述即时神经图形基元网络利用场景图像样本和与所述场景图像样本对应的位姿训练得到的。
10.根据权利要求1所述的方法，其中，所述预设相机位姿包括由相机位姿序列表征的运镜位姿，所述相机位姿序列中的每个相机位姿对应一个目标图像；所述方法还包括：根据所述相机位姿序列的顺序，以及与所述每个相机位姿相对应的目标图像，确定目标视频。11.一种图像生成装置，包括：对齐位姿确定模块，用于根据预设场景信息的场景面片，确定对齐位姿，其中，所述场景面片是按照第一图像生成模式处理所述预设场景信息和预设相机位姿得到的，所述对齐位姿表征了所述场景面片从所述第一图像生成模式转换至第二图像生成模式的调整位姿；场景图像第一确定模块，用于按照所述第一图像生成模式处理所述对齐位姿和所述预设场景信息，得到与所述第二图像生成模式相匹配的场景图像；以及目标图像生成模块，用于根据所述场景图...

【专利技术属性】
技术研发人员：沈铮阳，刘星，赵晨，王凯文，张岩，刘经拓，丁二锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：