一种基于全文注意力机制的商品名称识别方法技术

本发明专利技术公开了一种基于全文注意力机制的商品名称识别方法，包括：建立加入全文注意力机制的深度神经网络模型，在深度神经网络模型中加入全文注意力层，在全文注意力层当中，将全文的信息用词嵌入向量的方法来表示；接着，对于要标注的每一个词语，计算它们和全文注意力层词向量的相似性，从而让词语获得对全文的“注意力权重”，即让词语关注到文档的上下文信息，利用注意力权重和，计算出每一个词语的额外特征，用以进行商品名称的识别。本发明专利技术方法能够有效的从不规则的文本中提取出商品名，并解决了同一种商品在上下文识别不一致的问题，提高了识别的准确率。

【技术实现步骤摘要】
一种基于全文注意力机制的商品名称识别方法
本专利技术涉及自然语言处理
，特别涉及一种基于全文注意力机制的商品名称识别方法。
技术介绍
命名实体识别是信息抽取的一项子任务，旨在识别出文本中的专有名词，并对它们进行分类。传统的命名实体任务有：人名、地名、机构名等。这是自然语言处理领域中一个相当重要的基础任务，比如：搜索引擎、问答系统、推荐系统、翻译系统等。而近年来，随着电子商务的不断发展，针对电商领域的命名实体识别任务也开始为人们所关注，人们迫切需要从海量的、不规则的文本中提取出商品的名称，并将其用于智能客服、广告推荐等领域。对于这个问题，经典的研究主要是基于归纳商品字典、完善正则表达式、界定规、构造隐马尔科夫模型、构造最大熵模型和构造条件随机场模型等方法，这些方法的缺点在于，它们无法对词语潜在的语义进行建模，只能通过增加外部特征来达到提升效果的目的。而近几年来，随着深度学习的不断发展，很多学者开始利用深层神经网络来对文本建模，这些模型能够捕获到文本潜在的语义信息，大大减少了人工提取特征的工作量，具体到商品名称识别，目前较好的模型有BI-LSTM+CRF模型，CNN+CRF模型，这本文档来自技高网...

【技术保护点】
1.一种基于全文注意力机制的商品名称识别方法，其特征在于，包括：建立加入全文注意力机制的深度神经网络模型，在深度神经网络模型中加入全文注意力层，在全文注意力层当中，将全文的信息用词嵌入向量的方法来表示；接着，对于要标注的每一个词语，计算它们和全文注意力层词向量的相似性，从而让词语获得对全文的“注意力权重”，即让词语关注到文档的上下文信息，利用注意力权重和，计算出每一个词语的额外特征，用以进行商品名称的识别。

【技术特征摘要】
1.一种基于全文注意力机制的商品名称识别方法，其特征在于，包括：建立加入全文注意力机制的深度神经网络模型，在深度神经网络模型中加入全文注意力层，在全文注意力层当中，将全文的信息用词嵌入向量的方法来表示；接着，对于要标注的每一个词语，计算它们和全文注意力层词向量的相似性，从而让词语获得对全文的“注意力权重”，即让词语关注到文档的上下文信息，利用注意力权重和，计算出每一个词语的额外特征，用以进行商品名称的识别。2.根据权利要求1所述的基于全文注意力机制的商品名称识别方法，其特征在于，加入全文注意力机制的深度神经网络模型包括：输入层、编码层、全文注意力层、输出层、提取层；第一层是输入层，首先利用预训练好的词向量，将全文分词后的结果映射为向量矩阵，并将额外的词性信息编码为one-hot特征，拼接在向量矩阵后，形成模型的输入；第二层是编码层，针对文章中的每一个句子，使用双向循环神经网络来进行编码；第三层是全文注意力层，由于第二层已经对文中的每一个句子进行了建模，全文注意力层的任务是为每一个词语引入全文的信息，得到蕴含更多信息的编码；第四层是输出层，考虑相邻标签之间的关系，加入标签转移得分，和全文注意力层输出的分数相结合，预测全局最优的标注序列；最后一层是提取层，根据上一层输出的标注序列，提取出自定义商品名标注，并将其背后的文本拼接起来，从而识别、得到商品名。3.根据权利要求1所述的基于全文注意力机制的商品名称识别方法，其特征在于，输入层将词语序列转换成词语的特征向量，以传递给编码层处理，这一层的特征向量是由两种特征向量拼接而成，包括预训练词向量和词性特征向量；其中，预训练词向量...

【专利技术属性】
技术研发人员：苏锦钿，李鹏飞，周炀，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44