一种融合多种要素分析的实体表示方法技术

本发明专利技术涉及信息处理技术领域，具体地涉及一种融合多种要素分析的实体表示方法，该方法将词的表示映射到一张二维表中，二维表中每一列共享语素向量，每一行共享上下文向量，建立二元混合共享向量模型；所述二元混合共享向量模型构建中，采用RNN(Recursive Nural Network)语言模型训练词量；将词从位置和语素两个维度描述，每一个神经元被分解为融合语素的复合语义表示模型，本发明专利技术能够降低上下文语序和窗口带来的干扰，增加特征携带信息的语义描述性，并且大大的减小系统开销。

【技术实现步骤摘要】
一种融合多种要素分析的实体表示方法
本专利技术涉及信息处理
，具体地涉及一种融合多种要素分析的实体表示方法。
技术介绍
一直以来，表示学习都是自然语言处理的最根本任务，从最初的u-gram和bi-gram语言模型到BOW(Bagofwords)的稀疏表示，再到word2vect的稠密表示。深度学习的风靡推动了表示学习的发展，也取得了丰硕的成果。Sequence-to-sequencemodels也因此成为自然语言处理的主流，被广泛应用于机器翻译、文本摘要、语音识别、图像识别以及人机对话等领域。Sequence-to-Sequencemodels中，一般包含一个由两个RNNs(Recurrentneuralnetworks)模型和一个注意力机制组成的encoder-decoder结构。随着RNN趋于主流，其缺陷也日益彰显出来：文本语料越大时，词向量的规模也呈指数增长的趋势。这是因为，RNN中的每个词首先被映射为一个one-hot向量，这个向量规模型等于语料库中单词的个数，再将这个one-hot向量映射为词向量矩阵，接下来预测下一个单词的概率本文档来自技高网...

【技术保护点】
1.一种融合多种要素分析的实体表示方法，其特征在于：包括以下步骤：/n(1)将语素信息融入实体表示中，即将词的表示映射到一张二维表中，二维表中每一列共享语素向量，每一行共享上下文向量，建立二元混合共享向量模型；/n(2)所述二元混合共享向量模型构建中，采用RNN语言模型训练词量；将词从位置和语素两个维度描述，每一个神经元被分解为融合语素的复合语义表示模型。/n

【技术特征摘要】
1.一种融合多种要素分析的实体表示方法，其特征在于：包括以下步骤：
(1)将语素信息融入实体表示中，即将词的表示映射到一张二维表中，二维表中每一列共享语素向量，每一行共享上下文向量，建立二元混合共享向量模型；
(2)所述二元混合共享向量模型构建中，采用RNN语言模型训练词量；将词从位置和语素两个维度描述，每一个神经元被分解为融合语素的复合语义表示模型。


2.根据权利要求1所述的融合多种要素分析的实体表示方法，其特征在于：所述二元混合共享向量模型如图3所示。


3.根据权利要求1所述的融合多种要素分析的实体表示方法，其特征在于：所述融合语素的复合语义表示模型如图4所示，其中，列向量行向量隐藏层状态向量行、列向量分别来自于输入矩阵Xc,隐层向量


4.根据权利要求3所述的融合多种要素分析的实体表示方法，其特征在于：的公式分别为：

其中，为超参数，f为非线性激励函数。


5.根据权利要求3...

【专利技术属性】
技术研发人员：杨玉珍，黄复贤，唐小婕，
申请(专利权)人：菏泽学院，
类型：发明
国别省市：山东;37