图像渲染方法和装置制造方法及图纸

本公开提供了图像渲染方法和装置，涉及图像处理增强现实和深度学习等人工智能领域。具体实现方案为：获取人脸图像；基于人脸图像进行人脸建模，生成原始模型；将人脸图像转换成分辨率提高预定倍数的目标图像；将原始模型放大预定倍数，生成目标模型；基于目标图像对目标模型进行渲染。该实施方式使得经渲染得到的图像更加清晰、自然。

【技术实现步骤摘要】
图像渲染方法和装置
本公开涉及图像处理增强现实和深度学习等人工智能领域，具体为图像渲染方法和装置。
技术介绍
相关技术中直接基于原始关键帧进行采样生成UVmap(UV坐标纹理贴图)的技术方案具有明显的缺点，需要强烈依赖高性能相机设备采集，并且需要人工进行图像后续处理。关键帧的摄影和选取在于动画制作者的艺术创造性，需要很强的专业知识。直接使用人脸UVmap进行纹理渲染，人脸局部细节会变模糊。这是由于采用插值渲染算法时，人脸网格三角片上三条边的线面积过大，渲染时候三条边上纹理的采样密度过高。这会使得一些细节部位，比如眼部以及鼻翼部分模糊和过度不自然。此外，相关技术方案是面向特定人像的，即便是对于不同的虚拟人像也需要重新去拍摄关键帧和相应的后续处理。相关技术方案只能使用高性能设备做补充以及作为后处理手段，无法满足实时性要求。
技术实现思路
本公开提供了一种图像渲染方法、装置、设备、存储介质以及计算机程序产品。根据本公开的第一方面，提供了一种图像渲染方法，包括：获取人脸图像；基于人脸图像进行人脸建模，生成原始模型；将人脸图像转换成分辨率提高预定倍数的目标图像；将原始模型放大预定倍数，生成目标模型；基于目标图像对目标模型进行渲染。根据本公开的第二方面，提供了一种图像渲染装置，包括：获取单元，被配置成获取人脸图像；重建单元，被配置成基于人脸图像进行人脸建模，生成原始模型；转换单元，被配置成将人脸图像转换成分辨率提高预定倍数的目标图像；放大单元，被配置成将原始模型放大预定倍数，生成目标模型；渲染单元，被配置成基于目标图像对目标模型进行渲染。根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面的方法。根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行第一方面的方法。根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现第一方面的方法。本公开的实施例提供的图像渲染方法和装置，将低清图片转换成高清图片，同时对建立的原始模型放大预定倍数得到目标模型。通过高清图片对目标模型进行渲染，可以使目标模型更加清晰自然，特别是眼部以及鼻翼等部位。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是本公开的一个实施例可以应用于其中的示例性系统架构图；图2是根据本公开的图像渲染方法的一个实施例的流程图；图3a-3c是根据本公开的图像渲染方法的一个应用场景的示意图；图4是根据本公开的图像渲染方法的又一个实施例的流程图；图5是根据本公开的图像渲染装置的一个实施例的结构示意图；图6是用来实现本公开实施例的图像渲染方法的电子设备的框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1示出了可以应用本公开的图像渲染方法或图像渲染装置的实施例的示例性系统架构100。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如人脸动画类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持播放动画的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(MovingPictureExpertsGroupAudioLayerIII，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExpertsGroupAudioLayerIV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。终端设备101、102、103还可安装有摄像头，用于采集人脸图像。再根据采集的人脸图像由终端设备或服务器进行图像渲染。服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的动画提供支持的动画服务器。动画服务器可以对接收到的人脸图像进行分析等处理，并将处理结果(例如渲染的人脸动画)反馈给终端设备。服务器105还可将中间过程的相关数据(例如，高清人脸图像、模型)返回给终端设备，使得终端设备可以离线进行图像渲染。需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。需要说明的是，本公开的实施例所提供的图像渲染方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，图像渲染装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。在此不做具体限定。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。继续参考图2，示出了根据本公开的图像渲染方法的一个实施例的流程200。该图像渲染方法，包括以下步骤：步骤201，获取人脸图像。在本实施例中，图像渲染方法的执行主体(例如终端设备或服务器)可接收图像渲染请求，该请求可包括人脸图像，人脸图像可以是一张图像，也可以是一段视频中的每一帧图像。步骤202，基于人脸图像进行人脸建模，生成原始模型。在本实施例中，可采用基于模型的人脸本文档来自技高网...

【技术保护点】
1.一种图像渲染方法，包括：/n获取人脸图像；/n基于所述人脸图像进行人脸建模，生成原始模型；/n将所述人脸图像转换成分辨率提高预定倍数的目标图像；/n将所述原始模型放大所述预定倍数，生成目标模型；/n基于所述目标图像对所述目标模型进行渲染。/n

【技术特征摘要】
1.一种图像渲染方法，包括：
获取人脸图像；
基于所述人脸图像进行人脸建模，生成原始模型；
将所述人脸图像转换成分辨率提高预定倍数的目标图像；
将所述原始模型放大所述预定倍数，生成目标模型；
基于所述目标图像对所述目标模型进行渲染。


2.根据权利要求1所述的方法，其中，所述将所述人脸图像转换成分辨率提高预定倍数的目标图像，包括：
通过超分辨率模型将所述人脸图像转换成分辨率提高预定倍数的目标图像。


3.根据权利要求1所述的方法，其中，所述将所述原始模型放大所述预定倍数，生成目标模型，包括：
将所述原始模型的点云之间的距离增加至预定倍数；
在距离增加至所述预定倍数的点云之间插入新的点云，以生成所述目标模型。


4.根据权利要求1所述的方法，其中，所述基于所述目标图像对所述目标模型进行渲染，包括：
从所述目标图像中提取颜色信息，生成纹理贴图；
将所述纹理贴图中每个点的颜色对应到所述目标模型的表面，在点与点之间的间隙位置进行图像光滑插值处理。


5.根据权利要求1所述的方法，其中，所述获取人脸图像，包括：
获取人脸视频帧集合；
从所述人脸视频帧集合中检测出人脸表情为中性的人脸视频帧作为所述人脸图像。


6.根据权利要求1-5中任一项所述的方法，其中，所述方法还包括：
将所述目标图像和所述目标模型存储到本地；
响应于接收到表情参数，根据所述表情参数调整所述目标模型的关键点，得到调整后的目标模型；
基于所述目标图像对所述调整后的目标模型进行渲染。


7.一种图像渲染装置，包括：
获取单元，被配置成获取人脸图像；
重建单元，被配置成基于所述人脸图像进行人脸建模，生成原始模型；
转换单元，被配置成将所述人脸图像转换成分辨率提高预定倍数的目标图像；
放大单元，被配置成将所述原始模型放大所述预定倍数，生成目标模型；
渲...

【专利技术属性】
技术研发人员：郭紫垣，赵亚飞，陈超，张世昌，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11