【技术实现步骤摘要】
基于混合隐马尔可夫模型的原子事件标签的提取方法
本专利技术涉及原子事件标签的提取方法，尤其涉及基于混合隐马尔可夫模型的原子事件标签的提取方法。
技术介绍
事件标签提取是信息提取的子域，研究如何在结构上将自然语言文本表达为事件，该事件通常具有结构“[谁]对[谁][时间][地点]做了[什么]”。随着互联网的发展，事件标签提取在自然语言处理(NLP)中成为了研究热点。目前为止，事件标签提取在许多领域中得到了广泛的应用，例如文本蕴涵识别，社会网络分析，信息检索，股市预测和社区问题解答。传统的事件标签提取方法通过机器学习方法或事件模板从文本中挖掘事件，只能解决某些领域，类型或主题中的事件提取问题。现有的事件标签提取方案，还存在以下缺点：由于只考虑到词性而没有考虑到单词的相应位置，提取准确度低；由于没有考虑到前后隐藏状态之间的关系，这会影响状态转移概率矩阵和词性标签的观察分布概率矩阵的计算，最后使得提取准确度低；没有纠错手段。
技术实现思路
本专利技术提出基于混合隐马尔可夫模型的原子事件标签的提取方法，用于解决提取准确度不高、提取错误的问题。基于混合隐马尔可夫模型的原子事件标签的...
【技术保护点】
1.基于混合隐马尔可夫模型的原子事件标签的提取方法，其特征在于，包括以下步骤：预处理：获取训练语料库中的原子事件标签；将语料库中的所有语句分割为单词，对每个单词添加词性标签；对每个单词在每个语句中的相应位置添加相应位置标签；对于训练语料库，将原子事件标签、词性标签和相应位置标签映射到一个隐藏状态序列中；对于测试语料库，将词性标签和相应位置标签映射到一个观测状态序列中；模型训练：根据隐藏状态序列中的前后隐藏状态以及观测状态序列，建立二阶HMM模型；提取阶段：基于二阶HMM模型，利用Viterbi算法计算得到测试语料库中的最优观测状态序列，根据最优观测状态序列提取词性标签、相应...
【技术特征摘要】
1.基于混合隐马尔可夫模型的原子事件标签的提取方法，其特征在于，包括以下步骤：预处理：获取训练语料库中的原子事件标签；将语料库中的所有语句分割为单词，对每个单词添加词性标签；对每个单词在每个语句中的相应位置添加相应位置标签；对于训练语料库，将原子事件标签、词性标签和相应位置标签映射到一个隐藏状态序列中；对于测试语料库，将词性标签和相应位置标签映射到一个观测状态序列中；模型训练：根据隐藏状态序列中的前后隐藏状态以及观测状态序列，建立二阶HMM模型；提取阶段：基于二阶HMM模型，利用Viterbi算法计算得到测试语料库中的最优观测状态序列，根据最优观测状态序列提取词性标签、相应位置标签所对应的原子事件标签。2.根据权利要求1所述的基于混合隐马尔可夫模型的原子事件标签的提取方法，其特征在于，所述根据隐藏状态序列中的前后隐藏状态以及观测状态序列，建立二阶HMM模型包括以下步骤：在一个句子中，定义隐藏状态序列S＝{s1,s2,…,si,…sT}，(1≤i≤T)，其中，si为隐藏状态，T是隐藏状态序列的长度；定义词性标签序列PO＝{po1,po2,…,poi,…poQ}，(1≤i≤Q)，其中，poi是词性标签，Q是词性标签序列的长度；定义相应位置标签序列RO＝{ro1,ro2,…,roi,…roL}，(1≤i≤L)，其中roi是相应位置标签，L是相应位置标签序列的长度；计算初始状态分布概率πi并转换为初始状态分布概率矩阵π：其中，c(si)为从隐藏状态si开始的所有隐藏序列的总和，∑j∈[0,N]c(sj)为从任意隐藏状态开始的隐藏序列的总和；计算状态转移概率aijk并转换为状态转移概率矩阵a：其中，c(si,sj,sk)为t-2时刻隐藏状态si、t-1时刻隐藏状态sj和t时刻目的隐藏状态sk的状态转移次数之和，∑...
【专利技术属性】
技术研发人员：叶伟静，张文杰，梅峰，卢新岱，姚一杨，戴波，王彦波，
申请(专利权)人：国网浙江省电力有限公司，国网浙江省电力有限公司信息通信分公司，
类型：发明
国别省市：浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。