基于LSTM模型的现代文到古诗的转换方法及装置制造方法及图纸

本发明专利技术公开了基于LSTM模型的现代文到古诗的转换方法，所述的LSTM模型包括用于将用户的输入词序列转化为一个激活状态的编码部件和根据激活状态调节目标序列的生成的解码部件；编码部件和解码部件都是通过LSTM实现。还公开了实现所述方法的装置。本发明专利技术的有益效果是：通过计算机自动将现代文转化成古诗，更符合大众使用习惯，可使普通使用者通过输入现代文生成诗词，比传统主题生成方法更便捷；通过将现代文中的逻辑性表达成古诗表达上的逻辑性，摆脱词语堆砌，形成合规且具有表义能力的古诗，可对古诗生成过程进行细致控制，使生成古诗具有逻辑线索。

Method and device for converting modern literature to ancient poetry based on LSTM model

The invention discloses a switching LSTM model to modern Chinese poetry method based on LSTM model, which includes the user input for the word sequence into an activated state encoding and decoding part components generate activation state regulation of the target sequence according to the encoding and decoding; component parts are realized by LSTM. Apparatus for implementing said method is also disclosed. The beneficial effect of the invention is: through the computer will automatically translate into modern Chinese poetry, more suitable for the public use habits, can make the general user input through the modern Chinese poetry generation, than the traditional theme generation method is more convenient; the logic of the modern expression of the ancient poetry into logical expression, get rid of words piled up, forming compliance with the semantic ability of poetry, poetry generation process of detailed control, the generation of poetry with logical clues.

【技术实现步骤摘要】

本专利技术涉及一种基于LSTM模型的现代文到古诗的转换方法及装置。
技术介绍
读史书使人明智，读诗书使人灵秀，诗词是中国千百年来的文化积淀和民族瑰宝，是语言的精华，是智慧的结晶，是思想的花朵，是人类最纯粹的精神家园。但随着语言的发展，当代人对诗词的了解越来越少，作诗的能力也远远比不上古人。幸运的是，随着大数据时代的到来，人工智能飞速发展，通过计算机古诗词的自动转换成为可能。例如，可以通给出一个目标主题，机器可以自动生成一首符合该主题的古诗。让机器做诗可以减少人类在写诗中寻词、造句上的困难，使诗人关注诗的主题、意境等更有价值的东西；同时，机器做的诗不受人类传统思维的束缚，创新性极强。这些创新性虽然并不完全合理，但却给诗人丰富的提示，进而激发诗人更多创作灵感，写出更具有奇思妙想的创新型作品。我们相信，古诗的自动生成可以极大激人们对古典文学的兴趣，对我国传统艺术的发展与继承有着重要的作用。然而，当前依主题指定方式为基础的自动做诗方法具有很大的局限性。一方面，这种方式对主题词的选择要求较高，只有主题词选的合理，生成的古诗才更合理。这对很多普通用户形成很大障碍，我们希望用户只用现代汉语描述出要生成古诗要表达的意境和内容，机器将这一描述浓缩成古诗，因而可极大提高古诗生成系统的适用性。另一方面，依当前主题词指定的方式，诗人只能在大泛围内给出做诗的内容，却不能精确控制做诗的流程。事实上，古诗不仅是词语的合规批凑，更重要的是诗人感情通过写景、叙事过程的递进式升华。当前以主题限定方式生成的古诗，不具有思维的连惯性和活跃性，无法形成合理的表义逻辑，无法形成完整递进的主题表达，因而生成的诗很多只是词语的堆砌，缺乏情感和逻辑性，应用有限。
技术实现思路
本专利技术的目的在于克服现有技术的缺点，提供一种基于LSTM模型的现代文到古诗的转换方法及装置。与传统主题词指定的做诗方法相比，现代文古诗生成要困难的多。一个显著的困难是，现代文的长度一般远大于古诗长度，如果要将现代文转化为古诗，需要提取出其中最有价值的语义信息，并将这些信息用精练的古代汉语表达出来。比如：“现在正是早春二月，春风吹拂，春草萌生，过不了多久，就会绿透江南岸边”可以对应诗词“春风又绿江南岸”，白话文中的“现在正是”，“过不了多久”，“就会”这些词都对表义没有太多帮助。我们需要提取出如“绿”，“江南”，“岸边”等表意比较明确的字，形成句子的意义。如何提取出句义，对合理的古诗生成具有重要意义。另一方面，一句现代汉语可能有多种转写形式，如何自然地生成多种表达方式的古诗，也是需要解决的问题。本专利技术的目的通过以下技术方案来实现：基于LSTM模型的现代文到古诗的转换方法，所述的LSTM模型包括用于将用户的输入词序列转化为一个固定维度的稠密向量（一个激活状态）的编码部件和根据激活状态调节目标序列的生成的解码部件。编码和解码部分都是通过LSTM实现。首先，系统将用户的现代文输入句子经过一个双向LSTM网络进行编码，其中每个句子表达成一个语义向量，形成一个语义向量组。这些语义向量作为用户意图的编码。在生成过程中，一个LSTM网络不断循环运行，生成文本的中的每一个字，在生成每一个字的时候，需要将该句所对应的语义向量作为参考输入，使得该句生成与用户要求的表义内容相符合。引入意图向量的目的是在生成过程中，更加关注输入序列中与输出最为相关的部分。比如：在“现在正是早春二月，春风吹拂，春草萌生，过不了多久，就会绿透江南岸边”中，相比与“现在是”、“就会”我们更加关注“二月”、“江南”等词。注意，在生成过程中，我们加入断句、押韵、平仄等文体规则，保证了生成的“字串”既能最大程度地符合用户意图的同时，遵循强制的诗词规则。编码部件：在编码过程中，我们使用了双向LSTM模型，单向LSTM模型某一时刻的输出只与当前时刻及以前时刻的输入信息有关，而双向LSTM某一时刻的输出还与之后的输入信息有关。前向的LSTM模型按照信息输入的顺序读取输入序列（），并计算出前向隐层状态（）。后向的LSTM模型按与信息输入相反的顺序读取序列（），并计算后向隐层状态（），将前向和后向状态连接在一起得到每个词的解释向量。通过这种方法，我们得到的既包含了该点前面的词的信息，也包含了该点后面的词的信息。解码部件：在decoder层中，我们定义条件概率为：是LSTM是i时刻的隐层状态。条件概率与每个单词的直接上下文向量有关。表示生成过程中的外部输入信息。取决于隐层状态序列（），每一个包括整个输入序列的信息，但更加关注第i个词周围的信息。权重为：其中：,W,U是训练过程中需要最优化的三个矩阵一致性保证在上面的生成过程中，每句现代文生成一个语义向量，用以生成一句古诗，因此这句诗都会围绕这句的主题；同时，后一句的生成结果依赖前一句生成的词，因此保证整首诗的连惯性。这意味着我们的生成方法有能力生成一首前后连惯，同时又符合现代文逻辑线索的古诗，保证一致性。所述的LSTM模型会依赖一个文体规则约束，生成的古诗必须符合该文本要求。通过更改这一文体规则，可以生成多种格式的古诗词。比如，在七言律诗中，这一文体规则要求每生成七个字后，必须生成一个结束符；同时，每句第七个字必须符合统一的韵律，每一句中的每个字需要符合一定的平仄要求。变换这一文体规则，可以得到不同韵律，不同体裁的古诗，基至可根据不同词牌（如虞美人、浪淘沙）设计文体规则，生成各种词牌的宋词。诗词多样性生成我们可以通过引入随机性，生成多种表达的不同古诗。比如，我们可以在输入的白话文中随机加入一些相近词，使生成的古诗具有多样性。这些随机性可通过“增加”、“删除”、“修改”等操作来实现。如“问题描述”中提到的例子：“现在正是早春二月，春风吹拂，春草萌生，过不了多久，就会绿透江南岸边”，可以通过删除“江南岸边”或者加上“鸟儿”，得到“草长莺飞二月天”。加入少量的随机化信息可以增加生成的诗词的多样性，且不会使最终生成的诗词离主题偏离过远训练在训练过程中，我们将解码部件得到的向量输入一个softmax回归层，得到可能结果的概率分布。选择softmax得到的实际概率分布与期望输出（one-hot形式）的交叉熵作为损失函数。损失函数为：y为期望输出，a为实际输出，w为单词，s为句子，n为批大小。为了加速训练，防止陷入局部最优，本专利技术采用最小批随机梯度下降算法（mini-batchSGD）作为优化算法：C’是损失函数的导数。并使用AdaDelta算法自适应调整学习速率。实现所述的基于LSTM模型的现代文到古诗的转换方法的装置，包括用于将用户的输入词序列转化为一个激活状态的编码模块和根据激活状态调节目标序列的生成的解码模块。本专利技术具有以下优点：本专利技术将神经网络与规则相结合，通过神经网络对现代汉语进行语义理解，再依规则系统生成符合语义的古诗。为保证生成古诗的多样性，我们采用两种引入随机性的办法，一是在对输入的现代文进行一些随机扰动，二是对文体规则进行更改。前者引入表达多样性，后者引入文体多样性（如五言诗、七言诗、多种韵律格式等）。通过计算机自动将现代文转化成古诗，更符合大众使用习惯，可使普通使用者通过输入现代文生成诗词，比传统主题生成方法更便捷。通过将现代文中的逻辑性表达成古诗表达上的逻辑性，摆脱词语堆砌，本文档来自技高网...

【技术保护点】
基于LSTM模型的现代文到古诗的转换方法，其特征在于：所述的LSTM模型包括用于将用户的输入词序列转化为一个激活状态的编码部件和根据激活状态调节目标序列的生成的解码部件；编码部件和解码部件都是通过LSTM实现。

【技术特征摘要】
1.基于LSTM模型的现代文到古诗的转换方法，其特征在于：所述的LSTM模型包括用于将用户的输入词序列转化为一个激活状态的编码部件和根据激活状态调节目标序列的生成的解码部件；编码部件和解码部件都是通过LSTM实现。2.根据权利要求1所述的基于LSTM模型的现代文到古诗的转换方法，其特征在于：所述的编码部件使用了双向LSTM模型，前向的LSTM模型按照信息输入的顺序读取输入序列（），并计算出前向隐层状态（），后向的LSTM模型按与信息输入相反的顺序读取序列（），并计算后向隐层状态（），将前向和后向状态连接在一起得到每个词的解释向量。3.根据权利要求1所述的基于LSTM模型的现代文到古诗的转换方法，其特征在于：所述的解码部件中，在decoder层中，定义条件概率为：，是LSTM是i时刻的隐层状态，为每个单词的直接上下文向量，表示生成过程中的外部输入信息，，权重为：，其中：。4.根据权利要求1所述的基于LSTM模型的现代文到古诗的转换方法，其特征在于：生成过...

【专利技术属性】
技术研发人员：王东，白紫薇，冯洋，杜新凯，游世学，
申请(专利权)人：清华大学，北京中科汇联科技股份有限公司，
类型：发明
国别省市：北京;11