应用于句子嵌入的文本表示方法和装置制造方法及图纸

本发明专利技术公开了一种应用于句子嵌入的文本表示方法和装置，其中的方法包括：确定父节点词和与此父节点词对应的孩子节点词集合，基于所有孩子节点状态的隐交互状态获得父节点词的隐交互状态；获得与父节点词对应的父节点词序列，并根据父节点词的隐藏状态获得隐藏状态序列；基于隐藏状态序列获得各父节点词与其它父节点词的交互表示序列，生成句子嵌入。本发明专利技术的方法和装置，提出了通过两层次交互表示实现句子的嵌入，两层次交互表示分别为局部交互表示和全局交互表示，并结合这两种表示生成混合交互表示，能够提高句子嵌入和效率和精度，在精度方面明显优于Tree‑LSTM等模型。

A Text Representation Method and Device Applied to Sentence Embedding

The invention discloses a text representation method and device for sentence embedding. The method includes: determining the parent node word and the child node word set corresponding to the parent node word, obtaining the hidden interaction state of the parent node word based on the hidden interaction state of all the child node state, obtaining the sequence of the parent node word corresponding to the parent node word, and according to the hidden state of the parent node word. The hidden state sequence is obtained, and the interactive representation sequence of each parent word and other parent word is obtained based on the hidden state sequence to generate sentence embedding. The method and device of the present invention propose to realize sentence embedding by two-level interactive representation, which are local interactive representation and global interactive representation respectively. Combining these two representations, hybrid interactive representation can improve sentence embedding and efficiency and accuracy, and is obviously superior to Tree_LSTM and other models in accuracy.

【技术实现步骤摘要】
应用于句子嵌入的文本表示方法和装置
本专利技术涉及人工智能
，尤其涉及一种应用于句子嵌入的文本表示方法和装置以及存储介质。
技术介绍
句子嵌入将文本空间映射为实值向量或矩阵，这在文本的机器理解方面发挥了十分重要的作用，其应用包含了情感分类，问答系统和文本摘要。关于句子嵌入的工作可以归为以下三类，即统计性，序列化和结构化嵌入。统计性嵌入模型是根据统计指标进行估计的，例如，共现词的频率、共现词对频率，以及在不同文本中词的权重(在TF-IDF模型中)。序列化嵌入模型主要依赖于神经网络结构来学习文本表示，基于单层隐藏层，一种卷积神经网络或者递归神经网络(RNN)。结构化嵌入模型考虑了句法结构来反映文本的语义，例如，递归神经网络和树结构的长短记忆网络(Tree-LSTM)。目前的句子嵌入模型在文本分类任务上取得了不错的效果。然而，在现有的嵌入模型中，句子嵌入的生成过程通常遵循着一种称之为单向作用。也就是说，为先前文本生成的表示作为背景来决定接下来文本的表示，受限于单向作用会造成部分语义缺失。
技术实现思路
有鉴于此，本专利技术要解决的一个技术问题是提供一种应用于句子嵌入的文本表示方法和装置以本文档来自技高网...

【技术保护点】
1.一种应用于句子嵌入的文本表示方法，其特征在于，包括：获得需要处理的文件，从所述文件中提取句子；其中，所述文件包括：文本文件、网页文件；获得与句子中的n个词对应的n个父节点词；确定所述父节点词和与此父节点词对应的孩子节点词集合C(p)，对所述C(p)中的每个孩子节点词分别设置隐藏状态hk和记忆单元ck，其中k∈{1,2,...,|C(p)|}，|C(p)|为所述C(p)中孩子节点词的数量；基于所述C(p)中的所有孩子节点状态的隐交互状态获得所述父节点词的隐交互状态

【技术特征摘要】
1.一种应用于句子嵌入的文本表示方法，其特征在于，包括：获得需要处理的文件，从所述文件中提取句子；其中，所述文件包括：文本文件、网页文件；获得与句子中的n个词对应的n个父节点词；确定所述父节点词和与此父节点词对应的孩子节点词集合C(p)，对所述C(p)中的每个孩子节点词分别设置隐藏状态hk和记忆单元ck，其中k∈{1,2,...,|C(p)|}，|C(p)|为所述C(p)中孩子节点词的数量；基于所述C(p)中的所有孩子节点状态的隐交互状态获得所述父节点词的隐交互状态将所述和所述父节点词输入LSTM模型，获得所述父节点词的记忆单元和隐藏状态；获得与n个父节点词对应的父节点词序列{x1,x2,...,xn}，并根据所述父节点词的隐藏状态获得与所述{x1,x2,...,xn}对应的隐藏状态序列{h1,h2,...,hn}；基于{h1,h2,...,hn}获得{x1,x2,...,xn}中的各父节点词与其它父节点词的交互表示序列{r1,r2,...,rn}，并基于所述{r1,r2,...,rn}生成句子嵌入。2.如权利要求1所述的方法，其特征在于，所述获得所述父节点词的记忆单元和隐藏状态包括：将父节点词xp表示为隐向量其中，W(h)和bh分别是权重矩阵和偏置量；连接父节点词xp和父节点词xp对应的第k个孩子节点词，获得其中，αk是和hk的连接表示，Wα是连接矩阵；计算父节点词xp的第k个孩子节点的词权重获得父节点词xp的隐交互状态将所述和所述父节点词xp输入LSTM模型，获得所述父节点词xp的记忆单元和隐藏状态。3.如权利要求2所述的方法，其特征在于，所述将所述和所述父节点词xp输入LSTM模型，获得所述父节点词xp的记忆单元和隐藏状态包括：使用隐交互状态和父节点词xp作为LSTM模型的输入得到：fkp＝σ(U(f)xp+W(f)hk+b(f))；其中，ip，op和fkp分别是输入门，输出门和遗忘门；up是xp的候选隐藏状态；xp的对应矩阵为U(i)，U(o)，U(u)和U(f)，或者hk的对应权重矩阵为W(i)，W(o)，W(u)和W(f))，偏置量为b(i)，b(o)，b(u)和b(f)；获得父节点词xp的记忆单元为：获得父节点词xp的隐藏状态为：hP＝oP⊙tanh(cP)。4.如权利要求3所述的方法，其特征在于，所述基于所述{r1,r2,...,rn}生成句子嵌入包括:获得{x1,x2,...,xn}中的词xg和其它的词之间的连接表示序列为{αg1,αg2,...,αgn}；计算{x1,x2,...,xn}中的词xk与词xg交互的权重：获得{x1,x2,...,xn}中的xg的交互表示为：枚举{x1,x2,...,xn}中的所有词，并且获得{x1,x2,...,xn}的交互表示序列{r1,r2,...,rn}，生成句子嵌入s＝max{r1,r2,...,rn}。5.如权利要求4所示的方法，其特征在于，还包括：获得与句子嵌入s对应的预...

【专利技术属性】
技术研发人员：蔡飞，陈洪辉，刘俊先，罗爱民，舒振，陈涛，罗雪山，邓正，潘鹏亨，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南,43