基于物理距离和语义距离的双向LSTM模型的构建方法技术

本发明专利技术属于计算机技术领域，具体涉及基于物理距离和语义距离的双向LSTM模型的构建方法，包括以下步骤：a、进行数据预处理；b、对LSTM模型中的单词进行向量化处理并对其物理特征和语义特征进行设置；c、构建双向LSTM模型。与现有技术相比，本发明专利技术可以有效地在LSTM网络的输入上增加物理特征和语义特征，在特征选择上，不仅仅使用词向量作为特征，更实将位置特征添加进来，将模型的训练集从句子级别细化到了实体对级别；模型构建上，也考虑到了语义上的句法以来，既充分考虑到了两个实体之间的最直接语义特征，降低上下文长度，又考虑到了非最短路径上的词语对分类结果的影响，有效提高了准确率。

Construction method of bidirectional LSTM model based on physical distance and semantic distance

【技术实现步骤摘要】
基于物理距离和语义距离的双向LSTM模型的构建方法
本专利技术属于计算机
，具体涉及基于物理距离和语义距离的双向LSTM模型的构建方法。
技术介绍
长短期记忆人工神经网络(long-ShortTermMemory,LSTM)是一种递归神经网络(RNN)的特殊类型，RNN是包含循环的网络，每个神经元把当前结果输出到下一单元。RNN允许信息的持久化，对于那些需要序列连续输入的数据有更好的表现，在语音识别，语言建模，翻译，图片描述等问题上已经取得大量成功应用。LSTM通过在特殊记忆单元中保持一个常数误差流(Constanterrorflow)的方法，解决了RNN中长期以来的问题，并在局部防止了梯度爆发与消失(Explodingandvanishinggradients)的问题，LSTM适合处理预测时间序列中间隔和延迟非常长的数据。作为线性模型，LSTM可以作为复杂的非线性单元用于构造更大型深度神经网络。目前，有对出现对LSTM模型的研究，如张冲.基于Attention-BasedLSTM模型的文本分类技术的研究[D].南京：南京大学，2本文档来自技高网...

【技术保护点】
1.基于物理距离和语义距离的双向LSTM模型的构建方法，其特征在于，包括以下步骤：/na、对构成LSTM模型的数据进行预处理；/nb、对LSTM模型中的单词进行向量化处理并对其物理特征和语义特征进行设置；/nc、根据物理距离和语义距离的注意力机制构建双向LSTM模型。/n

【技术特征摘要】
1.基于物理距离和语义距离的双向LSTM模型的构建方法，其特征在于，包括以下步骤：
a、对构成LSTM模型的数据进行预处理；
b、对LSTM模型中的单词进行向量化处理并对其物理特征和语义特征进行设置；
c、根据物理距离和语义距离的注意力机制构建双向LSTM模型。


2.根据权利要求1中所述的基于物理距离和语义距离的双向LSTM模型的构建方法，其特征在于：所述步骤a具体包括以下步骤：
a1、泛化，将核心词替换为其上位词；
a2、英文分词和语法句法解析，利用CoreNLP工具进行词性标注、命名实体识别和句法依赖分析。


3.根据权利要求2中所述的基于物理距离和语义距离的双向LSTM模型的构建方法，其特征在于：所述步骤a1中使用上位词进行泛化时需保证特定关系的语义层级高于上位词泛化程度的语义层级。


4.根据权利要求2中所述的基于物理距离和语义距离的双向LSTM模型的构建方法，其特征在于：所述步骤a2中还包括对真正的实体词进行合并，同时修改词语的偏移量和合并后实体词的依赖关系。


5.根据权利要求1中所述的基于物理距离和语义距离的双向LSTM模型的构建方法，其特征在于，所述步骤b具体包括以下步骤：
b1、将词进行向量化处理，使得可以从不同的维度来描述一个单词；
b2、设置物理特征，将指定的两个实体标记为e1和e2，指定词wi距离两个实...

【专利技术属性】
技术研发人员：韩伟红，王志超，陈雷霆，曹厚华，卢子勇，
申请(专利权)人：电子科技大学广东电子信息工程研究院，
类型：发明
国别省市：广东;44