图像处理方法和装置制造方法及图纸

本公开提供了一种图像处理方法和装置，涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景。具体实现方案为：获取待重建二维人脸图像，根据预设语义基底对待重建二维人脸图像进行重建，得到重建后的三维人脸图像，其中，预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；样本类别表征样本人脸对象的语义特征，可以实现从语义特征的维度实现人脸图像的三维重建，以使得重建后的三维人脸图像可以可视化表征样本人脸对象的内容的含义和特点，从而提高重建后的三维人脸图像的准确性和可靠性，满足用户的可视化体验。满足用户的可视化体验。满足用户的可视化体验。

【技术实现步骤摘要】
图像处理方法和装置


[0001]本公开涉及人工智能
，具体为计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于元宇宙、数字人等场景，尤其涉及一种图像处理方法和装置。

技术介绍

[0002]随着人工智能技术地发展，三维人脸重建技术逐渐成为计算机视觉领域的热门技术。
[0003]在相关技术中，图像处理装置可以构建预设人脸模型，并基于三维人脸重建技术和预设人脸模型对待重建的二维人脸图像进行重建，得到三维人脸图像。

技术实现思路

[0004]本公开提供了一种用于提高重建可靠性的图像处理方法和装置。
[0005]根据本公开的第一方面，提供了一种图像处理方法，包括：
[0006]获取待重建二维人脸图像；
[0007]根据预设语义基底对所述待重建二维人脸图像进行重建，得到重建后的三维人脸图像；
[0008]其中，所述预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；所述样本类别表征所述样本人脸对象的语义特征。
[0009]根据本公开的第二方面，提供了一种图像处理方法，包括：
[0010]获取样本二维人脸图像；
[0011]对所述样本二维人脸图像的样本人脸对象进行分类处理，得到所述样本人脸对象的样本类别，所述样本类别表征所述样本人脸对象的语义特征；
[0012]根据所述样本类别对预设人脸模型进行调整，得到目标语义基底。
[0013]根据本公开的第三方面，提供了一种图像处理装置，包括：
[0014]获取单元，用于获取待重建二维人脸图像；
[0015]重建单元，用于根据预设语义基底对所述待重建二维人脸图像进行重建，得到重建后的三维人脸图像；
[0016]其中，所述预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；所述样本类别表征所述样本人脸对象的语义特征。
[0017]根据本公开的第四方面，提供了一种图像处理装置，包括：
[0018]获取单元，用于获取样本二维人脸图像；
[0019]分类单元，用于对所述样本二维人脸图像的样本人脸对象进行分类处理，得到所述样本人脸对象的样本类别，所述样本类别表征所述样本人脸对象的语义特征；
[0020]调整单元，用于根据所述样本类别对预设人脸模型进行调整，得到目标语义基底。
[0021]根据本公开的第五方面，提供了一种电子设备，包括：
[0022]至少一个处理器；以及
[0023]与所述至少一个处理器通信连接的存储器；其中，
[0024]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。
[0025]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面或第二方面所述的方法。
[0026]根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。
[0027]本公开提供的图像处理方法和装置，包括：获取待重建二维人脸图像，根据预设语义基底对待重建二维人脸图像进行重建，得到重建后的三维人脸图像，其中，预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；样本类别表征样本人脸对象的语义特征，通过结合预设语义基底对待重建二维人脸图像进行重建，得到重建后的三维人脸图像的技术特征，可以实现从语义特征的维度实现人脸图像的三维重建，以使得重建后的三维人脸图像可以可视化表征样本人脸对象的内容的含义和特点，从而提高重建后的三维人脸图像的准确性和可靠性，满足用户的可视化体验。
[0028]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0030]图1是根据本公开第一实施例的示意图；
[0031]图2是根据本公开第二实施例的示意图；
[0032]图3是本公开实施例的图像处理方法的原理示意图；
[0033]图4是根据本公开第三实施例的示意图；
[0034]图5是本公开第四实施例的图像处理方法的示意图；
[0035]图6是本公开实施例的图像处理方法的原理示意图；
[0036]图7为本公开第五实施例的图像处理装置的示意图；
[0037]图8是本公开第六实施例的图像处理装置的示意图；
[0038]图9是本公开第七实施例的图像处理装置的示意图；
[0039]图10是本公开第八实施例的图像处理装置的示意图；
[0040]图11是根据本公开第九实施例的示意图；
[0041]图12是用来实现本公开实施例的图像处理方法的电子设备的框图。
具体实施方式
[0042]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0043]为便于读者对本公开的理解，对本公开涉及的至少部分术语解释如下：
[0044]人工智能(Artificial Intelligence，AI)技术，是指研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术。
[0045]计算机视觉，是指使用计算机及相关设备对生物视觉的一种模拟，以通过对采集的图片或视频进行处理以获得相应场景的三维信息。
[0046]增强现实(Augmented Reality，AR)技术，是指将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维(three
‑
dimensional，3D)建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
[0047]虚拟现实技术(Virtual Reality，VR)，又称虚拟实境或灵境技术，其中，虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是以计算机技术为主，利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果，借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取待重建二维人脸图像；根据预设语义基底对所述待重建二维人脸图像进行重建，得到重建后的三维人脸图像；其中，所述预设语义基底是基于样本二维人脸图像的样本人脸对象对应的样本类别对预设人脸模型进行调整得到的；所述样本类别表征所述样本人脸对象的语义特征。2.根据权利要求1所述的方法，其中，所述根据预设语义基底对所述待重建二维人脸图像进行重建，得到重建后的三维人脸图像，包括：对所述待重建二维人脸图像的待重建人脸对象进行分类处理，得到所述待重建人脸对象对应的待重建类别，其中，所述待重建类别表征所述待重建人脸对象的语义特征；根据所述待重建类别和所述预设语义基底，对所述待重建二维人脸图像进行重建，得到所述重建后的三维人脸图像。3.根据权利要求2所述的方法，其中，所述预设语义基底中包括人脸对象的各类别各自对应的语义基底；所述根据所述待重建类别和所述预设语义基底，对所述待重建二维人脸图像进行重建，得到所述重建后的三维人脸图像，包括：从所述预设语义基底中，获取与所述待重建类别对应的目标语义基底，其中，所述人脸对象的各类别包括所述待重建类别；根据所述目标语义基底，对所述待重建二维人脸图像进行重建，得到所述重建后的三维人脸图像。4.根据权利要求3所述的方法，其中，所述根据所述目标语义基底，对所述待重建二维人脸图像进行重建，得到所述重建后的三维人脸图像，包括：根据所述预设语义基底和预设的形态基底，对所述待重建二维人脸图像进行重建，得到初始的三维人脸图像，其中，所述形态基底为对所述预设人脸模型进行形变得到的；根据所述目标语义基底对所述初始的三维人脸图像进行调整，得到所述重建后的三维人脸图像。5.根据权利要求4所述的方法，其中，根据所述目标语义基底对所述初始的三维人脸图像进行调整，得到所述重建后的三维人脸图像，包括：确定所述目标语义基底与所述预设人脸模型之间的差异信息；根据所述差异信息对所述初始的三维人脸图像进行调整，得到所述重建后的三维人脸图像。6.根据权利要求5所述的方法，其中，所述目标语义基底包括第一点云坐标，所述预设人脸模型包括第二点云坐标，所述初始的三维人脸图像包括第三点云坐标；所述确定所述目标语义基底与所述预设人脸模型之间的差异信息，包括：根据所述第一点云坐标和所述第二点云坐标，计算得到点云坐标差异，其中，所述差异信息包括所述点云坐标差异；以及，所述根据所述差异信息对所述初始的三维人脸图像进行调整，得到所述重建后的三维人脸图像，包括：根据所述点云坐标差异和所述第三点云坐标，计算得到点云坐标和值；其中，所述重建后的三维人脸图像的点云坐标为所述点云坐标和值。
7.根据权利要求2
‑
6中任一项所述的方法，其中，所述对所述待重建二维人脸图像的待重建人脸对象进行分类处理，得到所述待重建人脸对象对应的待重建类别，包括：将所述待重建人脸对象输入至预先训练的人脸对象分类模型，得到所述待重建类别；其中，所述人脸对象分类模型是基于所述样本二维人脸图像的样本人脸对象训练得到的。8.根据权利要求7所述的方法，其中，所述人脸对象分类模型包括多种不同目标对象的分类模型，所述待重建人脸对象中的一种目标对象对应所述人脸对象分类模型中的相同目标对象的分类模型。9.根据权利要求1
‑
8中任一项所述的方法，其中，所述样本二维人脸图像为初始二维人脸图像中相似度小于预设阈值的人脸图像；所述相似度是指初始二维人脸图像、以及与初始二维人脸图像对应的初始三维重建人脸图像之间的相似程度；初始三维重建人脸图像是基于预设的形态基底对初始二维人脸图像重建得到的，其中，所述形态基底为对所述预设人脸模型进行形变得到的。10.一种图像处理方法，包括：获取样本二维人脸图像；对所述样本二维人脸图像的样本人脸对象进行分类处理，得到所述样本人脸对象的样本类别，所述样本类别表征所述样本人脸对象的语义特征；根据所述样本类别对预设人脸模型进行调整，得到目标语义基底。11.根据权利要求10所述的方法，其中，所述获取样本二维人脸图像，包括：基于预设的形态基底对获取到的初始二维人脸图像进行重建，得到初始三维重建人脸图像，其中，所述形态基底为对所述预设人脸模型进行形变得到的；计算所述初始二维人脸图像和所述初始三维重建人脸图像之间的相似度；从所述初始二维人脸图像中，将相似度小于预设阈值的图像作为所述样本二维人脸图像。12.根据权利要求11所述的方法，其中，所述初始二维人脸图像和所述初始三维重建人脸图像中包括人脸对象；所述计算所述初始二维人脸图像和所述初始三维重建人脸图像之间的相似度，包括：针对人脸对象中的每一目标对象，计算所述初始二维人脸图像中的该目标对象、以及所述初始三维重建人脸图像中的该目标对象之间的相似度；以及，从所述初始二维人脸图像中，将相似度小于预设阈值的图像作为所述样本二维人脸图像，包括：若所述初始二维人脸图像与所述初始三维重建人脸图像中的任意目标对象的相似度小于所述预设阈值，则将所述初始二维人脸图像确定为所述样本二维人脸图像。13.根据权利要求12所述的方法，其中，所述对所述样本二维人脸图像的样本人脸对象进行分类处理，得到所述样本人脸对象的样本类别，包括：获取所述样本二维人脸图像中，相似度小于所述预设阈值的目标对象的语义特征；根据所述相似度小于所述预设阈值的目标对象的语义特征，确定相似度小于所述预设阈值的目标对象的样本类别。
14.根据权利要求10
‑
13中任一项所述的方法，其中，所述样本类别的种类为一种或多种；所述根据所述样本类别对预设人脸模型进行调整，得到目标语义基底，包括：针对每一种类的样本类别，根据该样本类别对所述预设人脸模型进行调整，得到该样本类别对应的语义基底；所述目标语义基底包括各种类的样本类别各自对应的语义基底。15.根据权利要求12
‑
14中任一项所述的方法，还包括：根据所述样本人脸对象进行训练，得到人脸对象分类模型；其中，所述人脸对象分类模型用于，对待重建二维人脸图像进行重建，得到重建后的三维人脸图像。16.根据权利要求15所述的方法，其中，所述根据所述样本人脸对象进行训练，得到人脸对象分类模型，包括：对相似度小于所述预设阈值的目标对象进行类别标注，得到标注类别；对相似度小于所述预设阈值的目标对象的类别进行预测，得到预测类别；根据所述标注类别和所述预测类别，训练得到所述人脸对象分类模型。17.根据权利要求16所述的方法，其中，所述人脸对象分类模型包括多种不同目标对象的分类模型，每种目标对象的分类模型是基于该种目标对象的标注类别和该种目标对象的预测类别训练得到的。18.一种图像处理装置，包括：获取单元，用于获取待重建二维人脸图像；重建单元，用于根据预设语义基底对所述待重建二维人脸图像进行重建，得到重建后的三维人脸图像；其中，所述预设语义基底是基于样本二维人脸图像的样本人脸对象对...

【专利技术属性】
技术研发人员：王迪，陈睿智，赵晨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：