古诗词生成方法、装置及存储介质制造方法及图纸

本公开涉及一种古诗词生成方法、装置及存储介质，解决的相关技术中图片古诗词转换时无法准确的捕捉图片中的信息，转换后的诗句过于死板，缺乏灵活性以及网络的构建成本过高的问题。本方法包括：取图片；提取所述图片中的目标对象的特征向量；将所述特征向量输入到文本生成模型中，得到所述文本生成模型输出的古诗词，其中，所述文本生成模型经过无监督文本语料预训练，并通过图片诗词样本训练得到的，所述图片诗词样本包括图片样本以及作为所述图片样本的标签的古诗词。

【技术实现步骤摘要】
古诗词生成方法、装置及存储介质
本公开涉及机器学习
，尤其涉及一种古诗词生成方法、装置及存储介质。
技术介绍
在机器学习
中，机器自动生成汉语古诗和图像描述，存在对主题词的选择要求较高，对很多普通使用者造成障碍，生成的句子之间缺乏连贯性，生成的目标诗句也过于死板，缺乏灵活性等问题。相关技术中采用利用深度卷积神经网络与长短期记忆网络建立多模态循环神经网络，使计算机可以自动将图片转化成能够描述图片的汉语古诗。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种古诗词生成方法、装置及存储介质。根据本公开实施例的第一方面，提供一种古诗词生成方法，包括：获取图片；提取所述图片中的目标对象的特征向量；将所述特征向量输入到文本生成模型中，得到所述文本生成模型输出的古诗词，其中，所述文本生成模型经过无监督文本语料预训练，并通过图片诗词样本训练得到的，所述图片诗词样本包括图片样本以及作为所述图片样本的标签的古诗词。可选的，所述文本生成模型的训练包括：获取所述无监督文本语料和图片诗词样本，所述无监督文本语料中包括古诗词；通过所述无监督文本语料对文本生成模型进行无监督的预训练；在所述预训练完成后，通过所述图片诗词样本对所述文本生成模型进行训练，直到所述文本生成模型收敛，得到训练完成的文本生成模型。可选的，所述图片诗词样本包括训练集以及验证集，所述通过所述图片诗词样本对所述文本生成模型进行微调，直到文本生成模型收敛，包括：通过所述训练集对所述文本生成模型训练预设次数，并通过所述验证集获取每一次训练后的文本生成模型的交叉熵；将最小的所述交叉熵对应的文本生成模型作为所述训练完成的文本生成模型。可选的，所述文本生成模型为GPT2模型，所述GPT2模型中的解码器为采用自注意力机制的解码器。可选的，所述提取所述图片中的目标对象的特征向量，包括：将所述图片输入到检测模型中，得到所述检测模型输出的所述图片中的目标对象的特征向量，其中，所述检测模型用于对所述图片中的目标对象进行检测，并提取所述目标对象的特征向量。可选的，所述检测模型为FasterMask-RCNN模型，所述FasterMask-RCNN模型提取所述目标对象的特征向量包括：根据均值池化的方式对多个所述目标对象提取特征向量。根据本公开实施例的第二方面，提供一种古诗词生成装置，包括：获取模块，被配置成获取图片；执行模块，被配置成提取所述图片中的目标对象的特征向量；控制模块，被配置成将所述特征向量输入到文本生成模型中，得到所述文本生成模型输出的古诗词，其中，所述文本生成模型经过无监督文本语料预训练，并通过图片诗词样本训练得到的，所述图片诗词样本包括图片样本以及作为所述图片样本的标签的古诗词。可选的，所述装置还包括训练模块，所述训练模块被配置成获取所述无监督文本语料和图片诗词样本，所述无监督文本语料中包括古诗词；通过所述无监督文本语料对文本生成模型进行无监督的预训练；在所述预训练完成后，通过所述图片诗词样本对所述文本生成模型进行训练，直到所述文本生成模型收敛，得到训练完成的文本生成模型。可选的，所述训练模块被配置成通过所述图片诗词样本的训练集对所述文本生成模型训练预设次数，并通过所述图片样本的验证集获取每一次训练后的文本生成模型的交叉熵；将最小的所述交叉熵对应的文本生成模型作为所述训练完成的文本生成模型。可选的，所述文本生成模型为GPT2模型，所述GPT2模型中的解码器为采用自注意力机制的解码器。可选的，所述执行模块被配置成将所述图片输入到检测模型中，得到所述检测模型输出的所述图片中的目标对象的特征向量，其中，所述检测模型用于对所述图片中的目标对象进行检测，并提取所述目标对象的特征向量。可选的，所述检测模型为FasterMask-RCNN模型，所述FasterMask-RCNN模型提取所述目标对象的特征向量包括：根据均值池化的方式对多个所述目标对象提取特征向量。根据本公开实施例的第三方面，提供一种古诗词生成装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：获取图片；提取所述图片中的目标对象的特征向量；将所述特征向量输入到文本生成模型中，得到所述文本生成模型输出的古诗词，其中，所述文本生成模型经过无监督文本语料预训练，并通过图片诗词样本训练得到的，所述图片诗词样本包括图片样本以及作为所述图片样本的标签的古诗词。根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的古诗词生成方法的步骤。本公开的实施例提供的技术方案可以包括以下有益效果：先提取图像中的目标对象的特征向量，将特征向量输入到文本生成模型中，使得文本生成模型可具有针对性的对目标对象进行图片和古诗词转换，提高转换效率，摆脱了主题词的限制，得到文本生成模型输出的古诗词。且文本生成模型经过无监督文本语料预训练，并通过图片诗词样本训练得到，使得文本生成模型输出的古诗词具有良好的连贯性和灵活性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1是根据一示例性实施例示出的一种古诗词生成方法的流程图。图2是根据一示例性实施例示出的使用古诗词生成方法的设备的示意图。图3是根据一示例性实施例示出的一种古诗词生成装置的框图。图4是根据一示例性实施例示出的一种古诗词生成装置的框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。需要说明的是，在本公开中，说明书和权利要求书以及附图中的术语“S110”、“S120”等用于区别步骤，而不必理解为按照特定的顺序或先后次序执行方法步骤。对于机器自动生成汉语古诗和图像描述，专利技术人发现相关技术中采用利用深度卷积神经网络与长短期记忆网络建立多模态循环神经网络，使计算机可以自动将图片转化成能够描述图片的汉语古诗，虽然摆脱了主题词的限制，但建立多模态虚幻神经网络采用的LSTM解码器，容易在图文转换过程中因为LSTM解码器出现的梯度消失的问题，使得多模态虚幻神经网络无法准确的捕捉图片中的信息，且LSTM解码器未采用大规模的语料进行与训练，导致多模态虚幻神经网络转换结果的诗句过于死板，缺乏灵活性，而需要获取大量的图片以及与本文档来自技高网...

【技术保护点】
1.一种古诗词生成方法，其特征在于，所述方法包括：/n获取图片；/n提取所述图片中的目标对象的特征向量；/n将所述特征向量输入到文本生成模型中，得到所述文本生成模型输出的古诗词，其中，所述文本生成模型经过无监督文本语料预训练，并通过图片诗词样本训练得到的，所述图片诗词样本包括图片样本以及作为所述图片样本的标签的古诗词。/n

【技术特征摘要】
1.一种古诗词生成方法，其特征在于，所述方法包括：
获取图片；
提取所述图片中的目标对象的特征向量；
将所述特征向量输入到文本生成模型中，得到所述文本生成模型输出的古诗词，其中，所述文本生成模型经过无监督文本语料预训练，并通过图片诗词样本训练得到的，所述图片诗词样本包括图片样本以及作为所述图片样本的标签的古诗词。


2.根据权利要求1所述的方法，其特征在于，所述文本生成模型的训练包括：
获取所述无监督文本语料和图片诗词样本，所述无监督文本语料中包括古诗词；
通过所述无监督文本语料对文本生成模型进行无监督的预训练；
在所述预训练完成后，通过所述图片诗词样本对所述文本生成模型进行训练，直到所述文本生成模型收敛，得到训练完成的文本生成模型。


3.根据权利要求2所述的方法，其特征在于，所述图片诗词样本包括训练集以及验证集，所述通过所述图片诗词样本对所述文本生成模型进行微调，直到文本生成模型收敛，包括：
通过所述训练集对所述文本生成模型训练预设次数，并通过所述验证集获取每一次训练后的文本生成模型的交叉熵；
将最小的所述交叉熵对应的文本生成模型作为所述训练完成的文本生成模型。


4.根据权利要求2或3所述的方法，其特征在于，所述文本生成模型为GPT2模型，所述GPT2模型中的解码器为采用自注意力机制的解码器。


5.根据权利要求1-3任一项所述的方法，其特征在于，所述提取所述图片中的目标对象的特征向量，包括：
将所述图片输入到检测模型中，得到所述检测模型输出的所述图片中的目标对象的特征向量，其中，所述检测模型用于对所述图片中的目标对象进行检测，并提取所述目标对象的特征向量。


6.根据权利要求5所述的方法，其特征在于，所述检测模型为FasterMask-RCNN模型，所述FasterMask-RCNN模型提取所述目标对象的特征向量包括：根据均值池化的方式对多个所述目标对象提取特征向量。


7.一种古诗词生成装置，其特征在于，所述装置包括：
获取模块，被配置成获取图片；
执行模块，被配置成提取所述图片中的目标对象的特征向量；
控制模块，被配置成将所述特征向量输入到文本生成模型中，得到所述文本生成模型输出的古诗词，其中，所述文本生成模型经过...

【专利技术属性】
技术研发人员：崔志，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11