一种商品名称分类的模型构建方法及装置制造方法及图纸

本发明专利技术涉及网络模型领域，具体提供了一种商品名称分类的模型构建方法，具有如下步骤：S1、开源Wikipedia和Books Corpus语料收集，税务商品名称语料收集；S2、对开源Wikipedia和BooksCorpus语料进行数据集操作；S3、引入BERT网络进行并进行模块化编程；S4、组合各编程模块，构建完整End

【技术实现步骤摘要】
一种商品名称分类的模型构建方法及装置


[0001]本专利技术涉及网络模型领域，具体提供一种商品名称分类的模型构建方法及装置。

技术介绍

[0002]如何更好地对自然语言文本(特指简体中文)进行表征,在NLP(Natural Language Processing)技术近20年的发展中，成为不可逃避的问题。近些年来,NLP领域技术的发展可笼统的概括为某些形式的语言建模，继BOW(Bag of Words)、TextRank(PageRank网页搜索随机算法思想)、BM25(TF
‑
IDF演进的多词语与文本关联程度度量算法)等统计语言模型之后，自2001年Bengio提出NNLM(Neural Network Language Models)神经语言模型，到如今经历Multi
‑
mask Learning(多任务学习)、Word Embeddings(词嵌入)、Neural networks for NLP(NLP神经网络)、生成任务的Sequence
‑
to
‑r/>sequenc本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种商品名称分类的模型构建方法，其特征在于，具有如下步骤：S1、开源Wikipedia和Books Corpus语料收集，税务商品名称语料收集；S2、对开源Wikipedia和Books Corpus语料进行数据集操作；S3、引入BERT网络进行并进行模块化编程；S4、组合各编程模块，构建完整End
‑
to
‑
End的流水线；S5、使用预处理后的开源数据，对调整后的网络进行预训练；S6、对网络进行微调，得到最终的税务领域商品名称分类迁移学习的模型。2.根据权利要求1所述的一种商品名称分类的模型构建方法，其特征在于，在步骤S2中，依据预训练的单句预测、句子对预测、SQuAD、Cloze、结构化预测序列标注CWS共5类任务，对开源Wikipedia和Books Corpus语料进行分词、词嵌入和打标制定数据集操作；依据Fine
‑
tun商品名称分类Specific
‑
task，对税务商品名称数据进行信息抽取、分词、词嵌入操作。3.根据权利要求2所述的一种商品名称分类的模型构建方法，其特征在于，在步骤S3中，引入BERT作为主干网络，针对网络设计3大类优化模块，包括N
‑
Gram结构显示和隐式的粗细粒度知识引入、Retrospective Feed Mechanism和Enhanced Recurrence Mechanism算法的构建、Multi
‑
headed和Scaledot
‑
product Self
‑
attention的超参数改进，并进行模块化编程实现。4.根据权利要求3所述的一种商品名称分类的模型构建方法，其特征在于，引入word粒度和word pair粒度知识，通过显式的n
‑
gram掩蔽方法，对BERT的MLM中被忽略的粗粒度语义知识进行增强，构成要素包括...

【专利技术属性】
技术研发人员：王宗增，杨培强，程林，
申请(专利权)人：浪潮软件科技有限公司，
类型：发明
国别省市：