基于强化学习的句子语义编码方法技术

本发明专利技术涉及人工智能、自然语言处理的技术领域，更具体地，涉及基于强化学习的句子语义编码方法。基于强化学习的句子语义编码方法，其中，包括以下步骤，本发明专利技术利用强化学习实现类似人类行为的阅读方式，本发明专利技术强化学习的功能是定位下一步阅读的文字。本发明专利技术的创新性在于引入强化学习网络，学习一个类似人类阅读行为的阅读策略。本发明专利技术认为人类在精读文章时，对文本的阅读、处理不是按照无序或者固定的顺序形式，而是加入了跳读、重温等阅读行为，因此将这些行为通过强化学习网络赋予LSTM，使得LSTM能够以更类似人类阅读行为的方式编码文本，将能够使模型具有更好的文本理解能力。

【技术实现步骤摘要】
基于强化学习的句子语义编码方法
本专利技术涉及人工智能、自然语言处理的
，更具体地，涉及基于强化学习的句子语义编码方法。
技术介绍
语义表示（SemanticRepresentation）是NLP中的基础任务，因此语句编码（SentenceEmbedding）也是NLP中非常重要的研究方向。当前对SentenceEmbedding的建模大体可以分为两种，无序模型与顺序模型。无序模型即不利用输入文本中符号的顺序信息，如Joulin等利用bag-of-words模型对文本进行分类，Kim.Y则提出了经典的基于CNN的文本分类架构，CNN最高层的pooling层抽取特征是无序的，因此认为CNN的建模方式也是无序的。在有序模型中，经典的做法是利用RNN网络如LSTM网络对序列进行顺序建模，如LiuP等提出基于多任务学习的用于文本分类的RNN架构，在此基础上，也有一些基于Attention机制的RNN网络用于文本分类，如YangZ等在提出了在word-level与sentence-level利用attention机制对输入文本进行分类重要性评估，并取得很好的效果。此外也有一些跳读模型用于文本建模中，如ZhangT等提出了通过利用跳读实现RNN只编码输入文本部分信息进行分类，作者认为输入文本中只有一些是与任务有关的重要词语，只编码这些输入对文本建模有好处，引入其他的文字会产生不必要的噪声。可以将以上的工作分为无序与顺序两类工作，这些工作在一些领域都取得了很好的表现。类比于人类的阅读方式，无序阅读就像从全局快速匹配、搜索关键词，只要看到某些关键词，就想象文章的主要内容；顺序阅读则是一字不差地依次阅读，这更像是一种课堂“早读”模式，这种阅读方式比较契合文本的序列结构，通常能够较好的利用文本中的序列顺序信息，同时也较好的理解文章，但由于没有重温读过的内容，也有遗忘的可能。通常情况下，无序模型编码比较快，但效果较差；顺序模型编码比较慢，但效果一般比无序方式要好。
技术实现思路
本专利技术为克服上述现有技术所述的至少一种缺陷，提供基于强化学习的句子语义编码方法，本专利技术希望学习一个类似人类阅读行为的LSTM编码文本方式，即LSTM有类似人类的跳读、重温的能力，从而能够对文本有更好的语义编码能力，得到的语义向量更能保留输入文本的大部分语义信息，以便用于NLP其他下游任务。本专利技术的技术方案是：基于强化学习的句子语义编码方法，其中，包括以下步骤，本专利技术利用强化学习实现类似人类行为的阅读方式，本专利技术强化学习的功能是定位下一步阅读的文字。下面是对Agent的一些介绍：（1）State：表示当前Agent的状态，其中的状态信息主要是Agent对于当前所处环境、自身状态的认知，例如当前Agent处于输入文本的哪个位置；当前Agent对文本的理解状态，即LSTM网络输出的hiddenstate；同时Agent定位下个阅读位置应该是在有全局理解文本的基础上，本专利技术也提供了一个全局文本语义向量Vcontext，我们不要求Vcontext包含输入文本的详细语义，只需模糊的认知，因此快速的CNN是比较好的选择。这个语义向量只是让Agent对文本有整体上的理解，避免未读先跳的情况。因此，Agent的状态输入包括hiddenstate、Vcontext以及当前所处的位置index，其中hiddenstate、Vcontext可以经过全连接网络得到更强的特征表达能力。之后我们也可以探索更好的状态表达，例如增加前若干步的阅读位置。（2）Action：Agent的行为，即定位下一个阅读的位置或者停止阅读，基于的信息是State。这里Action对应输入文本的一个位置或者停止阅读的信号，因此对于长度为512的文本，Action空间为0~512，其中0表示停止阅读，1~512表示对应的阅读位置。（3）Reward：以文本分类为例，没有得到最终的分类结果之前，reward为0，即停止编码得到最终的hiddenstate用于分类才会出现reward信号。正确分类reward为1，错误分类reward为0。（4）StateTransitionMatrix：状态转移，本专利技术的位置状态转移是确定性的，Agent下个位置就是Agent做出的选择，Vcontext在编码过程中保持不变，如果LSTM参数固定，那么hiddenstate也是可知的。因此本专利技术的状态转移比较简单。与现有技术相比，有益效果是：本专利技术的创新性在于引入强化学习网络，学习一个类似人类阅读行为的阅读策略。本专利技术认为人类在精读文章时，对文本的阅读、处理不是按照无序或者固定的顺序形式，而是加入了跳读、重温等阅读行为，因此将这些行为通过强化学习网络赋予LSTM，使得LSTM能够以更类似人类阅读行为的方式编码文本，将能够使模型具有更好的文本理解能力。附图说明图1是本专利技术下游任务以最后一个hiddenstate输出用于文本分类示意图。图2是本专利技术流程模块示意图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。基于强化学习的句子语义编码方法，其中，包括以下步骤，本专利技术利用强化学习实现类似人类行为的阅读方式，本专利技术强化学习的功能是定位下一步阅读的文字。下面是对Agent的一些介绍：（1）State：表示当前Agent的状态，其中的状态信息主要是Agent对于当前所处环境、自身状态的认知，例如当前Agent处于输入文本的哪个位置；当前Agent对文本的理解状态，即LSTM网络输出的hiddenstate；同时Agent定位下个阅读位置应该是在有全局理解文本的基础上，本专利技术也提供了一个全局文本语义向量Vcontext，我们不要求Vcontext包含输入文本的详细语义，只需模糊的认知，因此快速的CNN是比较好的选择。这个语义向量只是让Agent对文本有整体上的理解，避免未读先跳的情况。因此，Agent的状态输入包括hiddenstate、Vcontext以及当前所处的位置index，其中hiddenstate、Vcontext可以经过全连接网络得到更强的特征表达能力。之后我们也可以探索更好的状态表达，例如增加前若干步的阅读位置。（2）Action：Agent的行为，即定位下一个阅读的位置或者停止阅读，基于的信息是State。这里Action对应输入文本的一个位置或者停止阅读的信号，因此对于长度为512的文本，Action空间为0~512，其中0表示停止阅读，1~512表示对应的阅读位置。（3）Reward：以文本分类为例，没有得到最终的分类结果之前，reward为0，即停止编码得到最终的hiddenstate用于分类才会出现reward信号。正确分类reward为1，错误分类reward为0。（4）StateTransitionMatrix：状态转移，本专利技术的位置状态转移是确定性的，Agent下个位置就是Agent做出的选择，Vcontext在编码过程中保持不变，如果LSTM参数固定，那么hidde本文档来自技高网...

【技术保护点】
1.基于强化学习的句子语义编码方法，其特征在于，包括以下步骤：（1）State：表示当前Agent的状态，其中的状态信息主要是Agent对于当前所处环境、自身状态的认知；（2）Action：Agent的行为，即定位下一个阅读的位置或者停止阅读，基于的信息是State；（3）Reward：文本分类，没有得到最终的分类结果之前，reward为0，即停止编码得到最终的hidden state用于分类才会出现reward信号；正确分类reward为1，错误分类reward为0；（4）State Transition Matrix：状态转移，位置状态转移是确定性的，Agent下个位置就是Agent做出的选择，Vcontext在编码过程中保持不变。

【技术特征摘要】
1.基于强化学习的句子语义编码方法，其特征在于，包括以下步骤：（1）State：表示当前Agent的状态，其中的状态信息主要是Agent对于当前所处环境、自身状态的认知；（2）Action：Agent的行为，即定位下一个阅读的位置或者停止阅读，基于的信息是State；（3）Reward：文本分类，没有得到最终的分类结果之前，reward为0，即停止编码得到最终的hiddenstate用于分类才会出现reward信号；正确分类reward为1，错误分类reward为0；（4）StateTransitionMatrix：状态转移，位置状态转移是确定性的，Agent下个位置就是Agent做出的选择，Vcontext在编码过程...

【专利技术属性】
技术研发人员：许文深，潘嵘，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44