图片处理方法、文本处理方法、相关设备及存储介质技术

本公开关于图片处理方法、文本处理方法、相关设备及存储介质，其中，图片处理方法包括：获取待处理图片，对待处理图片进行切片处理得到图片块序列；将图片块序列中的图片块输入自编码网络的编码器进行编码处理，得到每个图片块对应的嵌入向量；各图片块对应的嵌入向量构成图片向量序列；将图片向量序列输入图片生成文本模型，得到输出的所述待处理图片对应的描述文本。本公开简化了图片生成文本模型的模型结构，并提升了图片生成文本的准确性和稳定性。性。性。

【技术实现步骤摘要】
图片处理方法、文本处理方法、相关设备及存储介质


[0001]本公开涉及计算机
，尤其涉及图片处理方法、文本处理方法、相关设备及存储介质。

技术介绍

[0002]目前，在一些应用场景下，需要根据输入的文本信息自动生成符合该文本信息的图片，例如根据用户的描述文本来自动生成视频或者直播的封面等；而在另一些应用场景下，需要根据图片内容自动生成符合该图片的描述文本，例如根据商品图片自动生成相应的商品描述。
[0003]相关技术中，在需要文本生成图片的场景中一般采用生成对抗式网络模型来实现，但是生成对抗式网络模型仅能实现单向的从文本生成图片，因此在需要图片生成文本时还需要构建不同结构的网络模型，导致相关技术在文本生成图片和图片生成文本这两种应用场景下的模型结构设计复杂，并且模型的准确性和鲁棒性均较差。

技术实现思路

[0004]本公开提供图片处理方法、文本处理方法、相关设备及存储介质，以至少解决相关技术中在文本生成图片和图片生成文本这两种应用场景下的模型结构设计复杂，以及模型的准确性和鲁棒性均较差的问题。本公开的技术方案如下：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图片处理方法，其特征在于，包括：获取待处理图片，对所述待处理图片进行切片处理得到图片块序列；将所述图片块序列中的图片块输入自编码网络的编码器进行编码处理，得到每个所述图片块对应的嵌入向量；各所述图片块对应的嵌入向量构成图片向量序列；将所述图片向量序列输入图片生成文本模型，得到输出的所述待处理图片对应的描述文本。2.根据权利要求1所述的图片处理方法，其特征在于，所述图片生成文本模型的训练方法包括：获取第一样本图片文本对；所述第一样本图片文本对包括第一样本图片和所述第一样本图片的描述文本；对所述第一样本图片文本对中的第一样本图片进行切片处理，得到第一样本图片块序列；将所述第一样本图片块序列中的第一样本图片块输入所述自编码网络的编码器进行编码处理，得到每个所述第一样本图片块对应的嵌入向量；各所述第一样本图片块对应的嵌入向量构成第一样本图片向量序列；将所述第一样本图片向量序列输入第一预设神经网络进行文本预测，得到输出的预测文本；根据所述预测文本与所述描述文本之间的差异，对所述第一预设神经网络进行训练，得到所述图片生成文本模型。3.根据权利要求2所述的图片处理方法，其特征在于，所述方法还包括：获取第一原始样本图片文本对；所述第一原始样本图片文本对包括第一原始样本图片和所述第一原始样本图片的描述文本；对所述第一原始样本图片文本对中的第一原始样本图片进行图片增强处理，得到所述第一原始样本图片对应的多个第一增强样本图片；对所述第一原始样本图片文本对中所述第一原始样本图片的描述文本进行文本增强处理，得到多个第一增强样本文本；根据所述多个第一增强样本图片和所述多个第一增强样本文本，生成多个第一增强样本图片文本对；根据所述第一原始样本图片文本对和所述多个第一增强样本图片文本对，得到所述第一样本图片文本对。4.一种文本处理方法，其特征在于，包括：获取待处理文本；将所述待处理文本输入文本生成图片模型，得到输出的图片向量序列；所述图片向量序列包括多个嵌入向量，每个所述嵌入向量对应一个图片块；将所述图片向量序列输入自编码网络的解码器进行解码处理，得到输出的所述待处理文本对应的描述图片。5.根据权利要求4所述的文本处理方法，其特征在于，所述文本生成图片模型的训练方法还包括：获取第二样本图片文本对；所述第二样本图片文本对包括第二样本图片和所述第二样
本图片的描述文本；对所述第二样本图片文本对中的第二样本图片进行切片处理，得到第二样本图片块序列；将所述第二样本图片块序列中的第二样本图片块输入所述自编码网络的编码器进行编码处理，得到每个所述第二样本图片块对应的嵌入向量；...

【专利技术属性】
技术研发人员：张恒，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：