一种图片处理方法、装置和电子设备制造方法及图纸

本发明专利技术实施例提供了一种图片处理方法、装置和电子设备，其中，所述方法包括：获取待处理图片；依据预设模型对所述待处理图片进行处理，确定所述待处理图片对应的目标词向量，其中，所述预设模型基于先验信息进行训练，所述先验信息包含相关文本的相关度信息；依据所述目标词向量，生成与所述待处理图片的语境匹配的目标文本；其中，所述预设模型基于先验信息进行训练，所述先验信息包含相关文本的相关度信息，使得预设模型的预测能力较高，进而后续依据预设模型确定的与图片的语境匹配的文本，能够更好的满足用户需求，无需人工标注，从而可以提高表情包的制作效率。

【技术实现步骤摘要】
一种图片处理方法、装置和电子设备
本专利技术涉及数据处理
，特别是涉及一种图片处理方法、装置和电子设备。
技术介绍
随着终端技术和通信技术的不断发展，终端通信给人们的沟通带来了极大的便利，其中，人们不仅可以通过打电话进行通信，还可以通过各种聊天应用进行通信如音/视频聊天、语音聊天、文本聊天等等。在文本聊天的过程中，用户不仅可以输入纯文本，还可以输入颜文字、表情、表情包等活跃聊天氛围，增加聊天乐趣。其中，表情包可以包括图片和图文(其中的文本与图片的语境匹配)，相对于图片表情包而言，图文表情包表达更直接，也越来越受大众欢迎；因此为了满足用户需求，可以制作更多的图文表情包，以供用户使用。其中，制作图文表情包的关键之一在于为图片生成与其语境匹配的文本(如幽默文本等)；现有技术中，存在生成图像摘要(ImageCaption)的方案，但其本质就是看图说话，图片有什么说什么，如图1所示，生成的摘要为：“一个女孩和一条狗”，无法为图片生成与其语境匹配的文本。若用户需要生成图文表情包，则需要人工去为每张图片标注与其语境匹配的文本，制作表情包的效率低。
技术实现思路
本专利技术实施例提供一种图片处理方法，以提高表情包的制作效率。相应的，本专利技术实施例还提供了一种图片处理装置和一种电子设备，用以保证上述方法的实现及应用。为了解决上述问题，本专利技术实施例公开了一种图片处理方法，具体包括：获取待处理图片；依据预设模型对所述待处理图片进行处理，确定所述待处理图片对应的目标词向量，其中，所述预设模型基于先验信息进行训练，所述先验信息包含相关文本的相关度信息；依据所述目标词向量，生成与所述待处理图片的语境匹配的目标文本。可选地，所述预设模型为编码器-解码器模型，所述依据预设模型对所述待处理图片进行处理，确定所述待处理图片对应的目标词向量，包括：所述编码器对所述待处理图片进行特征提取，输出所述待处理图片对应的特征信息；所述解码器对所述特征信息进行处理，输出所述待处理图片对应的目标词向量。可选地，所述编码器的输入参数包括输入词向量和特征信息；所述解码器对所述特征信息进行处理，输出所述待处理图片对应的目标词向量，包括：对所述输入词向量进行初始化；将所述初始化后的输入词向量和待处理图片的特征信息进行级联，得到级联特征信息；所述解码器对所述级联特征信息进行处理，输出所述待处理图片对应的目标词向量。可选地，所述解码器为双向网络，所述解码器对所述级联特征信息进行处理，输出所述待处理图片对应的目标词向量，包括：所述解码器对所述级联特征信息进行正向运算，得到对应的正向词向量；以及所述解码器对所述级联特征信息进行反向运算，得到对应的反向词向量；将所述正向词向量和反向词向量中概率最大的，作为所述待处理图片对应的目标词向量。可选地，所述解码器包括多个单元；在正向运算过程中，每个单元输出概率最大的正向词向量；在反向运算过程中，每个单元输出概率最大的反向词向量。可选地，所述目标词向量包括多个；所述依据所述目标词向量，生成与所述待处理图片的语境匹配的目标文本，包括：将目标词向量转换为对应的文本，以及确定各目标词向量对应的输出顺序；依据各目标词向量的输出顺序将对应的文本进行拼接，生成所述待处理图片的语境匹配的目标文本。可选地，所述的方法还包括：将所述待处理图片和目标文本合成，生成对应的表情包。可选地，所述的方法还包括训练所述预设模型的步骤：收集语料并建立所述语料中文本之间的相关度信息，以及依据所述相关度信息确定先验信息；收集训练数据，所述训练数据包括训练文本和训练图片；预设模型预加载所述先验信息，采用所述训练数据进行训练。可选地，所述训练图片包括第一训练图片，所述训练文本包括第一训练文本，所述第一训练文本是所述第一训练图片对应语境匹配的文本，所述预设模型为编码器-解码器模型；所述预设模型预加载所述先验信息，采用所述训练数据进行训练，包括：所述编码器对所述第一训练图片进行特征提取，输出所述第一训练图片对应的第一训练特征信息；所述解码器预加载所述先验信息，基于所述先验信息对所述第一训练图片对应的第一训练特征信息和第一训练文本的参考词向量进行处理，输出第一训练词向量和对应的第一概率；依据所述第一训练词向量和对应的第一概率，对所述预设模型的权值进行调整。可选地，所述训练图片包括第二训练图片，所述预设模型为编码器-解码器模型；所述预设模型预加载所述先验信息，采用所述训练数据进行训练，包括：构造所述第二训练图片对应的参考词向量；所述编码器对所述第二训练图片进行特征提取，输出所述第二训练图片对应的第二训练特征信息；所述解码器预加载所述先验信息，基于所述先验信息对所述第二训练图片对应的第二训练特征信息和参考词向量进行处理，输出第二训练词向量和对应的第二概率；依据所述第二训练词向量和对应的第二概率，对所述预设模型的权值进行调整。可选地，所述训练文本包括第二训练文本，所述预设模型为编码器-解码器模型；所预设模型预加载所述先验信息，采用所述训练数据进行训练，包括：构造所述第二训练文本对应的第三训练图片；所述编码器对所述第三训练图片进行特征提取，输出所述第三训练图片对应的第三训练特征信息；所述解码器预加载所述先验信息，基于所述先验信息对所述第三训练特征信息和第三训练文本的参考词向量进行处理，输出第三训练词向量和对应的第三概率；依据所述第三参考词向量和对应的第三概率，对所述预设模型的权值进行调整。可选地，所述基于所述先验信息对所述第一训练图片对应的第一训练特征信息和第一训练文本的参考词向量进行处理，输出第一训练词向量和对应的第一概率，包括：将所述第一训练图片对应的第一训练特征信息和第一训练文本的参考词向量级联，得到对应的第一级联训练特征信息；基于所述先验信息对所述第一级联训练特征信息进行处理，输出第一训练词向量和对应的第一概率。本专利技术实施例还公开了一种图片处理装置，具体包括：图片获取模块，用于获取待处理图片；词向量确定模块，用于依据预设模型对所述待处理图片进行处理，确定所述待处理图片对应的目标词向量，其中，所述预设模型基于先验信息进行训练，所述先验信息包含相关文本的相关度信息；文本生成模块，用于依据所述目标词向量，生成与所述待处理图片的语境匹配的目标文本。可选地，所述预设模型为编码器-解码器模型，所述词向量确定模块，包括：特征提取子模块，用于调用所述编码器对所述待处理图片进行特征提取，输出所述待处理图片对应的特征信息；词向量处理子模块，用于调用所述解码器对所述特征信息进行处理，输出所述待处理图片对应的目标词向量。可选地，所述编码器的输入参数包括输入词向量和特征信息；所述词向量处理子模块，包括：初始化单元，用于对所述输入词向量进行初始化；级联单元，用于将所述初始化后的输入词向量和待处理图片的特征信息进行级联，得到级联特征信息；词向量输出单元，用于调用所述解码器对所述级联特征信息进行处理，输出所述待处理图片对应的目标词向量。可选地，所述解码器为双向网络，所述词向量输出单元，用于本文档来自技高网...

【技术保护点】
1.一种图片处理方法，其特征在于，包括：/n获取待处理图片；/n依据预设模型对所述待处理图片进行处理，确定所述待处理图片对应的目标词向量，其中，所述预设模型基于先验信息进行训练，所述先验信息包含相关文本的相关度信息；/n依据所述目标词向量，生成与所述待处理图片的语境匹配的目标文本。/n

【技术特征摘要】
1.一种图片处理方法，其特征在于，包括：
获取待处理图片；
依据预设模型对所述待处理图片进行处理，确定所述待处理图片对应的目标词向量，其中，所述预设模型基于先验信息进行训练，所述先验信息包含相关文本的相关度信息；
依据所述目标词向量，生成与所述待处理图片的语境匹配的目标文本。


2.根据权利要求1所述的方法，其特征在于，所述预设模型为编码器-解码器模型，
所述依据预设模型对所述待处理图片进行处理，确定所述待处理图片对应的目标词向量，包括：
所述编码器对所述待处理图片进行特征提取，输出所述待处理图片对应的特征信息；
所述解码器对所述特征信息进行处理，输出所述待处理图片对应的目标词向量。


3.根据权利要求2所述的方法，其特征在于，所述编码器的输入参数包括输入词向量和特征信息；
所述解码器对所述特征信息进行处理，输出所述待处理图片对应的目标词向量，包括：
对所述输入词向量进行初始化；
将所述初始化后的输入词向量和待处理图片的特征信息进行级联，得到级联特征信息；
所述解码器对所述级联特征信息进行处理，输出所述待处理图片对应的目标词向量。


4.根据权利要求3所述的方法，其特征在于，所述解码器为双向网络，所述解码器对所述级联特征信息进行处理，输出所述待处理图片对应的目标词向量，包括：
所述解码器对所述级联特征信息进行正向运算，得到对应的正向词向量；
以及所述解码器对所述级联特征信息进行反向运算，得到对应的反向词向量；
将所述正向词向量和反向词向量中概率最大的，作为所述待处理图片对应的目标词向量。


5.根据权利要求4所述的方法，其特征在于，所述解码器包括多个单元；
在正向运算过程中，每个单元输出概率最大...

【专利技术属性】
技术研发人员：胡先军，田凯，李斌，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：北京;11