人脸信息处理方法、设备及计算机可读存储介质技术

本发明专利技术公开了一种人脸信息处理方法、设备及计算机可读存储介质，其中，方法包括：获取人脸合成文本，接着将所述人脸合成文本输入至预设模型，以获得人脸合成文本对应的目标人脸图像，其中，所述预设模型为训练好的基于Transformer的人脸信息处理模型。本发明专利技术能够根据人脸合成文本，通过预设模型输出目标人脸图像，使得人脸相关的任务由一个预设模型完成，提高了模型性能。提高了模型性能。提高了模型性能。

【技术实现步骤摘要】
人脸信息处理方法、设备及计算机可读存储介质


[0001]本专利技术涉及人脸信息处理
，尤其涉及一种人脸信息处理方法、设备及计算机可读存储介质。

技术介绍

[0002]人脸作为计算机视觉的一个重要领域，产生了大量的下游任务，例如人脸生成、年龄预测、表情分类、人脸属性等任务具有广泛的研究和应用价值。
[0003]在计算机视觉当中，人脸生成、年龄预测、表情分类、人脸属性等任务通常被当作单独的任务来建模，需要分别进行模型设计、数据收集、模型训练和部署。这种模式成本高，并且难以利用任务之间的关联来提升模型性能。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供一种人脸信息处理方法、设备及计算机可读存储介质，旨在解决现有计算机视觉中人脸相关的下游任务不能由一个模型统一训练完成的技术问题。
[0006]为实现上述目的，本专利技术提供一种人脸信息处理方法，所述人脸信息处理方法包括以下步骤：
[0007]获取人脸合成文本；
[0008]将所述人脸合成文本输入至预设模型，以获得人脸合成文本对应的目标人脸图像，其中，所述预设模型为训练好的基于Transformer的人脸信息处理模型。
[0009]进一步地，所述预设模型包括顺次连接的数据输入层、深度学习层以及数据输出层，所述数据输入层包括第一分词器，所述深度学习层包括Embedding层和Transformer模块，所述将所述人脸合成文本输入至预设模型，以获得人脸合成文本对应的目标人脸图像的步骤包括：
[0010]所述第一分词器将所述人脸合成文本转化为第一文本特征序列，将所述第一文本特征序列输入至深度学习层；
[0011]在所述Embedding层中确定所述第一文本特征序列对应的第一目标向量；
[0012]将所述第一目标向量输入Transformer模块，以获得所述Transformer模块输出的第一输出特征，并将所述第一输出特征输入至数据输出层，以获取目标人脸图像。
[0013]进一步地，所述在所述Embedding层中确定所述第一文本特征序列对应的第一目标向量的步骤包括：
[0014]在所述Embedding层中将所述第一文本特征序列转化为第一特征向量，对所述第一特征向量进行位置编码，以确定第一位置编码向量，对所述第一特征向量进行段落编码，以确定第一段落编码向量，对所述第一特征向量进行字符编码、以确定第一字符编码向量；
[0015]将所述第一位置编码向量、所述第一段落编码向量、所述第一字符编码向量以及所述第一特征向量相加，以确定第一目标向量。
[0016]进一步地，所述Transformer模块包括顺次连接的至少两层Transformer层，所述Transformer模块中的最后一层Transformer层包括softmax层，所述数据输出层包括VQ
‑
GAN模块，所述将所述第一目标向量输入Transformer模块，以获得所述Transformer模块输出的第一输出特征，并将所述第一输出特征输入至数据输出层，以获取目标人脸图像的步骤包括：
[0017]将所述第一目标向量输入所述Transformer模块；
[0018]通过所述softmax层获取各个第一候选向量的概率，在所述第一候选向量中获取所述概率靠前的预设数量的第一目标候选向量，并在所述第一目标候选向量中随机获取第二目标候选向量，获取所述第二目标候选向量对应的第一输出特征；
[0019]将所述第一输出特征输入至数据输出层，通过所述VQ
‑
GAN模块转换所述第一输出特征，以获取目标人脸图像。
[0020]进一步地，所述人脸信息处理方法还包括：
[0021]获取人脸图像以及人脸属性文本；
[0022]将所述人脸图像以及所述人脸属性文本输入至预设模型，以获得目标属性文本。
[0023]进一步地，所述预设模型包括顺次连接的数据输入层、深度学习层以及数据输出层，所述数据输入层包括第一分词器以及VQ
‑
GAN模块，所述深度学习层包括Embedding层和Transformer模块，所述将所述人脸图像以及所述人脸属性文本输入至预设模型，以获得人脸合成文本对应的目标人脸图像的步骤包括：
[0024]所述第一分词器将所述人脸属性文本转化为第二文本特征序列，所述VQ
‑
GAN模块将所述人脸图像转化为图像特征序列，连接所述第二文本特征序列以及所述图像特征序列，以确定目标特征序列；
[0025]在所述Embedding层中确定所述目标特征序列对应的第二目标向量；
[0026]将所述第二目标向量输入Transformer模块，以获得所述Transformer模块输出的第二输出特征，并将所述第二输出特征输入至数据输出层，以获取目标属性文本。
[0027]进一步地，所述在所述Embedding层中确定所述目标特征序列对应的第二目标向量的步骤包括：
[0028]在所述Embedding层中将所述目标特征序列转化为第二特征向量，对所述第二特征向量进行位置编码，以确定第二位置编码向量，对所述第二特征向量进行段落编码，以确定第二段落编码向量，对所述第二特征向量进行字符编码、以确定第二字符编码向量；
[0029]将所述第二位置编码向量、所述第二段落编码向量、所述第二字符编码向量以及所述第二特征向量相加，以确定第二目标向量。
[0030]进一步地，所述Transformer模块包括顺次连接的至少两层Transformer层，所述Transformer模块中的最后一层Transformer层包括softmax层，所述数据输出层包括第二分词器，所述将所述第二目标向量输入Transformer模块，以获得所述Transformer模块输出的第二输出特征，并将所述第二输出特征输入至数据输出层，以获取目标属性文本的步骤包括：
[0031]将所述第二目标向量输入所述Transformer模块；
[0032]通过所述softmax层获取各个第二候选向量的概率，在所述第二候选向量中获取所述概率最高的第三目标候选向量，获取所述第三目标候选向量对应的第二输出特征；
[0033]将所述第二输出特征输入至数据输出层；
[0034]所述第二分词器转换所述第二输出特征，以获取目标属性文本。
[0035]此外，为实现上述目的，本专利技术还提供一种人脸信息处理设备，所述人脸信息处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸信息处理程序，所述人脸信息处理程序被所述处理器执行时实现前述的人脸信息处理方法的步骤。
[0036]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸信息处理程序，所述人脸信息处理程序被处理器执行时实现前述的人脸信息处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸信息处理方法，其特征在于，所述人脸信息处理方法包括以下步骤：获取人脸合成文本；将所述人脸合成文本输入至预设模型，以获得人脸合成文本对应的目标人脸图像，其中，所述预设模型为训练好的基于Transformer的人脸信息处理模型。2.如权利要求1所述的人脸信息处理方法，其特征在于，所述预设模型包括顺次连接的数据输入层、深度学习层以及数据输出层，所述数据输入层包括第一分词器，所述深度学习层包括Embedding层和Transformer模块，所述将所述人脸合成文本输入至预设模型，以获得人脸合成文本对应的目标人脸图像的步骤包括：所述第一分词器将所述人脸合成文本转化为第一文本特征序列，将所述第一文本特征序列输入至深度学习层；在所述Embedding层中确定所述第一文本特征序列对应的第一目标向量；将所述第一目标向量输入Transformer模块，以获得所述Transformer模块输出的第一输出特征，并将所述第一输出特征输入至数据输出层，以获取目标人脸图像。3.如权利要求2所述的人脸信息处理方法，其特征在于，所述在所述Embedding层中确定所述第一文本特征序列对应的第一目标向量的步骤包括：在所述Embedding层中将所述第一文本特征序列转化为第一特征向量，对所述第一特征向量进行位置编码，以确定第一位置编码向量，对所述第一特征向量进行段落编码，以确定第一段落编码向量，对所述第一特征向量进行字符编码、以确定第一字符编码向量；将所述第一位置编码向量、所述第一段落编码向量、所述第一字符编码向量以及所述第一特征向量相加，以确定第一目标向量。4.如权利要求3所述的人脸信息处理方法，其特征在于，所述Transformer模块包括顺次连接的至少两层Transformer层，所述Transformer模块中的最后一层Transformer层包括softmax层，所述数据输出层包括VQ
‑
GAN模块，所述将所述第一目标向量输入Transformer模块，以获得所述Transformer模块输出的第一输出特征，并将所述第一输出特征输入至数据输出层，以获取目标人脸图像的步骤包括：将所述第一目标向量输入所述Transformer模块；通过所述softmax层获取各个第一候选向量的概率，在所述第一候选向量中获取所述概率靠前的预设数量的第一目标候选向量，并在所述第一目标候选向量中随机获取第二目标候选向量，获取所述第二目标候选向量对应的第一输出特征；将所述第一输出特征输入至数据输出层，通过所述VQ
‑
GAN模块转换所述第一输出特征，以获取目标人脸图像。5.如权利要求1至4任一项所述的人脸信息处理方法，其特征在于，所述人脸信息处理方法还包括：获取人脸图像以及人脸属性文本；将所述人脸图像以及所述人脸属性文本输入至预设模型，以获得目标属性文本。6.如权利要求5所述的人...

【专利技术属性】
技术研发人员：沈琳琳，李煜东，
申请(专利权)人：深圳大学，
类型：发明
国别省市：