语义识别方法和装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种语义识别方法和装置、电子设备及存储介质，其中方法包括：生成第一图像；对所述第一图像进行多种语义层次中每种语义层次上的语义识别处理，得到所述第一图像的多种预测语义；基于所述第一图像的多种预测语义，识别所述第一图像的目标语义，其中，所述目标语义被用于进行语义编辑处理，可以识别生成模型生成图像时的可编辑语义，在原有图像的基础上，获得更多不同层次的语义的图像。

Semantic recognition methods and devices, electronic equipment and storage media

The embodiment of the disclosure discloses a semantic recognition method and device, an electronic device and a storage medium, wherein the method comprises: generating a first image; performing semantic recognition processing on each semantic level of the first image in a plurality of semantic levels to obtain a plurality of prediction semantics of the first image; recognizing the first image based on the plurality of prediction semantics of the first image The target semantics can be used for semantic editing, recognize the editable semantics when generating the image of the model, and obtain more images with different levels of semantics on the basis of the original image.

【技术实现步骤摘要】
语义识别方法和装置、电子设备及存储介质
本公开涉及计算机视觉
，具体涉及一种语义识别方法和装置、电子设备及存储介质。
技术介绍
如今随着计算机视觉处理技术的发展，生成模型在图片合成、场景合成中已经取得了重大的突破，能够生成越来越高分辨率和保真度的图像的模型不断提出。在图片合成、场景合成中，提高生成模型的解释性也变得愈发重要。目前依靠生成模型的图像编辑和生成方法往往关注物体本身，只能编辑图像中的某些物体的种类和位置，生成的图像具有局限性。
技术实现思路
本公开实施例提供了一种语义识别方法和装置、电子设备及存储介质。本公开实施例第一方面提供一种语义识别方法，包括：生成第一图像；对所述第一图像进行多种语义层次中每种语义层次上的语义识别处理，得到所述第一图像的多种预测语义；基于所述第一图像的多种预测语义，识别所述第一图像的目标语义，其中，所述目标语义被用于进行语义编辑处理。通过上述步骤，经过多种语义层次上的语义识别，可以识别出第一图像的目标语义，其中，目标语义可以作为可编辑语义，能够支持对第一图像上的目标语义进行编辑操作。这样，可以在原有图像的基础上，通过对目标语义的语义编辑操作，可以有利于获得更多不同语义层次的语义的图像。在一种可选的实施方式中，所述方法还包括：对所述第一图像的目标语义进行语义编辑处理，得到经语义编辑后的第二图像。通过上述步骤可以对目标语义进行语义编辑操作，经语义编辑后的第二图像的语义可以是不同于第一图像的目标语义，从而有助于获得更多不同语义层次的语义的图像。在一种可选的实施方式中，所述生成第一图像，包括：获取生成模型的潜在空间中的潜在编码；利用生成模型和所述生成模型中的潜在编码，生成第一图像。通过上述步骤可以基于生成模型和潜在编码生成第一图像，以便于后续通过潜在编码与第一图像的关联关系，确定或者编辑第一图像的目标语义。在一种可选的实施方式中，所述获取生成模型的潜在空间中的潜在编码，包括：获取第三图像并提取所述第三图像的特征向量；将提取的特征向量映射到所述潜在空间上，作为所述生成模型的潜在空间中的潜在编码。通过上述步骤，在需要对第三图像进行语义编辑或转换的场景下，可以通过将第三图像的特征向量映射到潜在空间的方式获得潜在编码，这样，后续可以采用本方案，进行图像生成以及语义识别操作，以进行目标语义的确定和编辑。在一种可选的实施方式中，所述多种语义层次中的第一语义层次对应有第一语义判别模型；第一语义层次为所述多种语义层次中的任一种；所述对所述第一图像进行多种语义层次中每种语义层次上的语义识别处理，得到所述第一图像的多种预测语义，包括：利用所述第一语义判别模型，对所述第一图像进行第一语义层次上的语义识别处理，得到所述第一图像在所述第一语义层次上的预测语义。通过上述步骤，针对多种语义层次，可以分别利用每种语义层次对应的语义判别模型识别图像的预测语义。在一种可选的实施方式中，所述多种预测语义中的第一预测语义与生成模型的潜在空间中的潜在编码相对应，所述生成模型和所述潜在编码被用于生成所述第一图像，所述第一预测语义为所述多种预测语义中的任一种；所述基于所述第一图像的多种预测语义，识别所述第一图像的目标语义，包括：基于所述第一预测语义，对所述潜在编码进行调整，得到调整后的潜在编码；利用所述调整后的潜在编码和生成模型，生成第二图像并识别所述第二图像的第二预测语义；基于所述第一预测语义和所述第二预测语义之间的区别程度，确定所述第一预测语义的改变程度；在得到所述多种预测语义分别对应的改变程度之后，基于所述多种预测语义分别对应的改变程度，从所述多种预测语义中选择改变程度符合预设条件的所述目标语义。通过上述步骤可以基于潜在编码的调整分析前后生成图像的语义的改变程度，进而确定可编辑的目标语义。在一种可选的实施方式中，所述基于所述第一预测语义，对所述潜在编码进行调整，得到调整后的潜在编码，包括：识别所述第一预测语义在所述潜在空间上的语义边界；基于所述语义边界，对所述潜在编码进行调整，得到调整后的潜在编码。通过上述步骤可以基于语义边界来调整潜在编码，以进行潜在空间中语义边界的分析。在一种可选的实施方式中，所述基于所述第一预测语义和所述第二预测语义之间的区别程度，确定所述第一预测语义的改变程度，包括：获取所述第一预测语义的置信度和所述第二预测语义的置信度；基于所述第一预测语义的置信度和所述第二预测语义的置信度的差异度，确定所述第一预测语义的改变程度。通过上述步骤可以通过前后语义的置信度的差异度判断语义的改变程度。在一种可选的实施方式中，所述识别所述第一预测语义在所述潜在空间上的语义边界，包括：利用预先训练好的边界分类器，识别所述第一预测语义在所述潜在空间上的语义边界，其中，所述预先训练好的边界分类器是利用所述第一预测语义所属的第一语义层次的正样本和负样本训练得到。通过上述步骤可以使用训练好的边界分类器来识别语义边界，可以快速准确地确定特定语义的语义边界。在一种可选的实施方式中，所述第一语义层次的正样本包括：所述第一语义层次的样本中，按照语义强度由高到低排列的前N个样本；所述第一语义层次的负样本包括：所述第一语义层次的样本中，按照所述语义强度由高到低排列的后N个样本，其中，所述N为正整数。通过上述介绍的样本可以对边界分类器进行训练，以获得准确识别语义边界的边界分类器。在一种可选的实施方式中，所述基于所述语义边界，对所述潜在编码进行调整，得到调整后的潜在编码，包括：按照所述语义边界的法向量方向移动所述潜在编码，得到所述调整后的潜在编码。通过上述步骤可以精确地移动潜在编码在潜在空间中的位置，以调整潜在编码，进行语义边界的识别。本公开实施例第二方面提供一种语义识别装置，包括生成模块、语义识别模块、搜索模块和编辑模块，其中：所述生成模块，用于生成第一图像；所述语义识别模块，用于对所述第一图像进行多种语义层次中每种语义层次上的语义识别处理，得到所述第一图像的多种预测语义；所述搜索模块，用于基于所述第一图像的多种预测语义，识别所述第一图像的目标语义，其中，所述目标语义被所述编辑模块用于进行语义编辑处理。可选的，所述编辑模块用于对所述第一图像的目标语义进行语义编辑处理，得到经语义编辑后的第二图像。可选的，所述生成模块具体用于：获取生成模型的潜在空间中的潜在编码；利用生成模型和所述生成模型中的潜在编码，生成第一图像。可选的，所述生成模块具体用于：获取第三图像并提取所述第三图像的特征向量；将提取的特征向量映射到所述潜在空间上，作为所述生成模型的潜在空间中的潜在编码。可选的，所述多种语义层次中的第一语义层次对应有第一语义判别模型；第一语义层次为所述多种语义层次中的任一种；所述语义识别模块具体用于：利用所述第一语义判别模型，对所述第一图像进行第一语义层次上的语义识别处理，得到所述第一图像在所述第一语义层次上的预测语义。可本文档来自技高网...

【技术保护点】
1.一种语义识别方法，其特征在于，所述方法包括：/n生成第一图像；/n对所述第一图像进行多种语义层次中每种语义层次上的语义识别处理，得到所述第一图像的多种预测语义；/n基于所述第一图像的多种预测语义，识别所述第一图像的目标语义，其中，所述目标语义被用于进行语义编辑处理。/n

【技术特征摘要】
1.一种语义识别方法，其特征在于，所述方法包括：
生成第一图像；
对所述第一图像进行多种语义层次中每种语义层次上的语义识别处理，得到所述第一图像的多种预测语义；
基于所述第一图像的多种预测语义，识别所述第一图像的目标语义，其中，所述目标语义被用于进行语义编辑处理。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述第一图像的目标语义进行语义编辑处理，得到经语义编辑后的第二图像。


3.根据权利要求1或2所述的方法，其特征在于，所述生成第一图像，包括：
获取生成模型的潜在空间中的潜在编码；
利用生成模型和所述生成模型中的潜在编码，生成第一图像。


4.根据权利要求3所述的方法，其特征在于，所述获取生成模型的潜在空间中的潜在编码，包括：
获取第三图像并提取所述第三图像的特征向量；
将提取的特征向量映射到所述潜在空间上，作为所述生成模型的潜在空间中的潜在编码。


5.根据权利要求1至4任一所述的方法，其特征在于，所述多种语义层次中的第一语义层次对应有第一语义判别模型；第一语义层次为所述多种语义层次中的任一种；
所述对所述第一图像进行多种语义层次中每种语义层次上的语义识别处理，得到所述第一图像的多种预测语义，包括：
利用所述第一语义判别模型，对所述第一图像进行第一语义层次上的语义识别处理，得到所述第一图像在所述第一语义层次上的预测语义。


6.根据权利要求1至5任一所述的方法，其特征在于，所述多种预测语义中的第一预测语义与生成模型的潜在空间中的潜在编码相对应，所述生成模型和所述潜在编码被用于生成所述第一图像，所述第一预测语义为所述多种预测语义中的任一种；

【专利技术属性】
技术研发人员：杨策元，沈宇军，周博磊，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11