一种数据处理方法、设备以及计算机可读存储介质技术

本申请实施例公开了一种数据处理方法、设备以及计算机可读存储介质，该方法包括：在Z个风格类别中，确定与情节文本相匹配的目标风格类别，生成与情节文本以及目标风格类别相关联的第一图像；在文本库中确定与情节文本相关联的关联文本，在图像库中获取关联文本对应的关联图像；生成与情节文本、目标风格类别以及关联图像相关联的第二图像，将第一图像及第二图像确定为至少两张待处理图像；确定情节文本与至少两张待处理图像分别对应的相似度，根据至少两个相似度，在至少两张待处理图像中确定目标图像。采用本申请，可以提高针对情节文本的表征准确度。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶、音视频等各种场景。景。景。

【技术实现步骤摘要】
一种数据处理方法、设备以及计算机可读存储介质


[0001]本申请涉及互联网
，尤其涉及一种数据处理方法、设备以及计算机可读存储介质。

技术介绍

[0002]随着多媒体技术的普及以及计算机互联网的发展，图像应用随处可见。其中，文生图是图像应用当下最火热的领域之一，简单来说，文生图就是通过描述语句，生成创意画作。
[0003]在现有技术中，计算机设备获取一段情节文本，如“泉水垂落，水滴敲打在山岩上，清越的声音打破了松间的寂静，也扣动松间小屋里未眠人的心”，然后将情节文本输入至图像生成器，通过图像生成器生成用于表征情节文本的新图像。明显地，现有技术中仅通过情节文本本身生成新图像，故新图像的风格类别是多样化的，例如“泉水垂落，水滴敲打在山岩上，清越的声音打破了松间的寂静，也扣动松间小屋里未眠人的心”，其相匹配的风格类别是武侠风格，但新生成的图像风格迥异，有动漫风格，有水墨风格，此时，新图像降低了针对情节文本的表征准确度。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、设备以及计算机可读存储介质，可以提高针对情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取情节文本，在Z个互不相同的风格类别中，确定与所述情节文本相匹配的目标风格类别，生成与所述情节文本以及所述目标风格类别相关联的第一图像；Z为大于1的正整数；在文本库中确定与所述情节文本相关联的关联文本，在图像库中获取所述关联文本对应的关联图像；所述文本库中的一个文本用于表征所述图像库中的一张图像；生成与所述情节文本、所述目标风格类别以及所述关联图像相关联的第二图像，将所述第一图像以及所述第二图像确定为至少两张待处理图像；确定所述情节文本与所述至少两张待处理图像分别对应的相似度，根据至少两个相似度，在所述至少两张待处理图像中确定目标图像；所述目标图像用于表征所述情节文本。2.根据权利要求1所述的方法，其特征在于，所述在Z个互不相同的风格类别中，确定与所述情节文本相匹配的目标风格类别，包括：获取Z个图像集；所述Z个图像集分别对应的风格类别互不相同；所述Z个图像集均属于所述图像库；所述Z个图像集包括图像集C
d
；d为正整数，且d小于或等于Z；所述图像集C
d
包括E张图像；E为正整数；将所述E张图像以及所述情节文本均输入至第一多模态模型，通过所述第一多模态模型中的图像子模型，对所述E张图像进行特征提取，得到所述E张图像对应的图像特征；对E个图像特征进行特征均值处理，得到所述图像集C
d
对应的图像集特征；通过所述第一多模态模型中的文本子模型，对所述情节文本进行特征提取，得到所述情节文本对应的文本特征；在所述第一多模态模型中，确定所述图像集C
d
对应的图像集特征以及所述情节文本对应的文本特征之间的特征相似度；在所述Z个图像集分别对应的特征相似度中，获取最大特征相似度，将所述最大特征相似度对应的图像集的风格类别，确定为与所述情节文本相匹配的目标风格类别。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定抽帧频率，根据所述抽帧频率，对视频进行抽帧处理，得到P张图像，将所述P张图像确定为所述图像库；P为大于1的正整数；则所述获取Z个图像集，包括：生成所述P张图像分别对应的图像特征；P个图像特征包括图像特征I
j
；j为正整数，且j小于或等于P；对所述P个图像特征进行聚类处理，得到F个聚类簇，确定所述F个聚类簇分别对应的聚类簇中心；F大于G*Z；G为大于1的正整数；确定所述图像特征I
j
与F个聚类簇中心分别对应的相似度，将所述图像特征I
j
对应的图像，关联至F个相似度中的最大相似度对应的聚类簇中心；将所述F个聚类簇中心分别关联的图像确定为F个候选图像集，根据所述F个候选图像集生成Z个图像集。4.根据权利要求3所述的方法，其特征在于，所述F个聚类簇中心包括聚类簇中心A
b
；b为正整数，且b小于或等于F；所述F个候选图像集包括所述聚类簇中心A
b
对应的候选图像集H
b
；所述根据所述F个候选图像集生成Z个图像集，包括：获取所述候选图像集H
b
中的图像与所述聚类簇中心A
b
之间的相似度，对所述候选图像
集H
b
中的图像与所述聚类簇中心A
b
之间的相似度进行排序，得到相似度排序序列；在所述相似度排序序列中，获取第一相似度；所述第一相似度大于第二相似度；所述第二相似度包括所述相似度排序序列中除了所述第一相似度之外的剩余相似度；在所述候选图像集H
b
中，获取所述第一相似度对应的图像，将获取到的图像确定为所述聚类簇中心A
b
对应的样本图像；根据Z个风格类别，对所述F个聚类簇中心分别对应的样本图像进行风格类别标注，确定每个样本图像分别对应的风格类别；将所述F个聚类簇中心分别对应的样本图像中，具有相同的风格类别的样本图像确定为一个图像集，生成所述Z个风格类别分别对应的图像集。5.根据权利要求1所述的方法，其特征在于，所述生成与所述情节文本以及所述目标风格类别相关联的第一图像，包括：获取第一随机噪声，将所述情节文本以及所述目标风格类别确定为文本输入数据，将所述第一随机噪声以及所述文本输入数据均输入至图像生成模型；通过所述图像生成模型，生成与所述第一随机噪声以及所述文本输入数据相关联的第一图像。6.根据权利要求5所述的方法，其特征在于，所述图像生成模型包括噪声编码子模型、噪声压缩子模型、噪声去噪子模型、文本编码子模型以及图像解码子模型；所述通过所述图像生成模型，生成与所述第一随机噪声以及所述文本输入数据相关联的第一图像，包括：通过所述噪声编码子模型，对所述第一随机噪声进行编码处理，得到噪声编码特征，将所述噪声编码特征输入至所述噪声压缩子模型；通过所述噪声压缩子模型，对所述噪声编码特征进行压缩处理，得到噪声潜在特征，将所述噪声潜在特征输入至所述噪声去噪子模型；通过所述文本编码子模型，对所述文本输入数据进行编码处理，得到文本编码特征，将所述文本编码特征输入至所述噪声去噪子模型；通过所述噪声去噪子模型，对所述噪声潜在特征以及所述文本编码特征进行去噪处理，得到图像编码特征，将所述图像编码特征输入至所述图像解码子模型；通过所述图像解码子模型，对所述图像编码特征进行解码处理，得到所述第一随机噪声对应的第一图像。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取包括P张图像的所述图像库；P为大于1的正整数；所述P张图像包括图像L
m
，m为正整数，且m小于或等于P；对所述图像L
m
进行标签识别处理，得到所述图像L
m
对应的标签，将所述图像L
m
对应的标签确定为用于表征所述图像L
m
的文本N
m
；生成所述文本N
m
对应的文本特征，将所述文本N
m
以及所述文本N
m
对应的文本特征进行关联存储，得到所述文本库。8.根据权利要求1所述的方法，其特征在于，所述图像库包括P张图像；P为大于1的正整数；所述文本库包括用于表征所述P张图像的P个文本，以及...

【专利技术属性】
技术研发人员：郭卉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：