一种基于策略价值网络和树搜索增强的命名实体识别方法技术

本发表公开了一种基于策略价值网络的命名实体识别方法，属于信息处理领域。该方法首先将命名实体识别的标注过程建模成马尔科夫决策过程(MDP)，提出了一种新颖的基于强化学习的命名实体识别模型，称为MM‑NER。MM‑NER是第一个将将蒙特卡洛树搜索(MCTS)增强型MDP模型应用于命名实体识别(序列标记任务)的工作。它基于MDP状态定义设计了一个策略价值网络来获得标签概率和标注序列准确度评估，并利用MCTS进行模拟，进而搜索出一个更具全局意识的标注序列。在推断过程，直接使用策略价值网络可以保证识别效果与树搜索策略基本一致，并大大降低时间复杂度。本发明专利技术在CoNLL2003命名实体识别数据集上的实验结果，证明了拥有K步探索决策机制的MM‑NER的有效性。

A Named Entity Recognition Method Based on Strategic Value Network and Tree Search Enhancement

【技术实现步骤摘要】
一种基于策略价值网络和树搜索增强的命名实体识别方法
本专利技术涉及信息处理领域，特别涉及一种基于策略价值网络和树搜索增强的命名实体识别方法。
技术介绍
命名实体识别应用非常广泛，主要方法可以分为基于统计的方法和基于神经网络的方法。前者例如最大熵马尔科夫模型(MEMM)和条件随机场(CRF)，这类方法大多需要耗费大量的人力去构建手工特征。后者是目前的主流方法，代表模型有双向长短期记忆网络(BLSTM)。为了进一步建模输出标签序列的全局性，解决标签偏置的问题，双向长短期记忆网络加条件随机场的模型(BLSTM+CRF)取得了较好的效果。近年来，深度学习的发展大大增强了强化学习的表达能力，并且已经在游戏、围棋等方面取得了甚至超越人类的水平。本文将命名实体识别的标注过程建模为马尔科夫决策过程，提出了一种基于策略价值网络和树搜索增强的命名实体识别方法，称之为MM-NER。
技术实现思路
为了解决现有的技术问题，本专利技术提供了一种基于策略价值网络和树搜索增强的命名实体识别方法，方案如下。第一部分：对马尔科夫决策过程进行建模。第二部分：设计策略价值网络。步骤一：利用词向量将当前状态下的上下文进行表示，本文档来自技高网...

【技术保护点】
1.一种基于策略价值网络和树搜索增强的命名实体识别方法，其特征在于，所述方法包含以下结构和步骤：(1.1)对马尔科夫决策过程进行建模；(1.2)设计策略价值网络；(1.3)在马尔科夫决策过程建模和策略价值网络的基础上，进行蒙特卡洛树搜索。

【技术特征摘要】
1.一种基于策略价值网络和树搜索增强的命名实体识别方法，其特征在于，所述方法包含以下结构和步骤：(1.1)对马尔科夫决策过程进行建模；(1.2)设计策略价值网络；(1.3)在马尔科夫决策过程建模和策略价值网络的基础上，进行蒙特卡洛树搜索。2.如权利要求1所述的方法，其特征在于，所述步骤(1.2)具体包括：(2.1)将当前状态下的上下文进行词向量表示后依次输入门控循环单元和全连接层得到状态的语义表示。(2.2)将(2.1)的语义表示进行SoftMax操作，得到策略分布；(2.3)将(2.1)的语义和当前动作的独热编码在进行点乘操作后经过sigmoid函数得到当前状态下标注的期望评估值。3.如权利要求1所述的方法，其特征在于，所述步骤(1.3)具体包括：(3.1)选择：从当前根节点开始，依次选择最优的子节点，直到达到...

【专利技术属性】
技术研发人员：高升，劳雅迪，李思，徐雅静，陈光，徐君，胡旻卉，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11