基于分类模型的文本分类方法及装置，以及模型训练方法制造方法及图纸

本公开是关于一种基于分类模型的文本分类方法及装置以及模型训练方法。其中基于分类模型的文本分类方法，分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，方法包括：输入文本，文本包括语句，语句包括词，形成每个语句的词向量表示；通过词编码器层的第一双向编码网络，得到每个语句的词级特征向量；通过词拼接层得到每个语句的语句向量，形成文本的语句向量表示；通过语句编码器层的第二双向编码网络，得到文本的句级特征向量；通过语句拼接层，得到文本的文本向量；通过输出层，得到文本的类别置信度。通过将词级特征和语句级特征进行组合并且应用多头注意力机制，提高了特征准确性，保证了结果可靠性，改善了用户体验。

Text classification method and device based on classification model, and model training method

【技术实现步骤摘要】
基于分类模型的文本分类方法及装置，以及模型训练方法
本公开涉及智能语义识别领域，尤其涉及基于分类模型的文本分类方法及装置，以及分类模型的模型训练方法。
技术介绍
随着语音识别技术的发展，通过用户语音提供指令的人工智能产品逐渐增多。由于语言的复杂性，许多单实体信息含有多种含义，譬如“黄鹤楼”有可能是景点、小区，也有可能是香烟名称，“书香园”有可能是个小区、宾馆或者小学。针对这种问题，目前一些技术是通过建立知识图谱，然后利用实体词及其上下文信息构造相关词袋或语义特征，通过词典或检索排序获取该实体的候选实体词，然后利用该实体及其上下文判断与候选实体的相似度，通过相似度打分排序，得到相似度最高的目标实体。但是实际语音交互应用中，往往用户输入的文本很短，实体词缺少上下文信息，多歧义实体词缺乏泛在环境知识，同时上述技术依赖于开放的百科类数据，这类数据缺乏相应的垂域知识，不满足实际应用时对数据的需求，导致语音交互过程中识别准确率低。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种基于分类模型的文本分类方法及装置，以及分类模型的模型训练方法。根据本公开实施例的第一方面，提供一种基于分类模型的文本分类方法，分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，方法包括：输入文本，文本包括至少一个语句，每个语句包括至少一个词，对每个词进行向量化得到词向量，形成每个语句的词向量表示；通过词编码器层的第一双向编码网络，分别对每个语句的词向量表示进行正向特征提取和反向特征提取，得到每个语句的词级特征向量；通过词拼接层，分别对每个语句的词级特征向量进行拼接，得到每个语句的语句向量，形成文本的语句向量表示；通过语句编码器层的第二双向编码网络，分别对文本中的语句向量表示进行正向特征提取和反向特征提取，得到文本的句级特征向量；通过语句拼接层，对文本的句级特征向量进行拼接，得到文本的文本向量；通过输出层，基于文本向量，得到文本的类别置信度。在一实施例中，通过词拼接层，分别对每个语句的词级特征向量进行拼接，得到每个语句的语句向量，形成文本的语句向量表示，包括：基于每个语句对应的词级特征向量，利用多头注意力机制施加词向量权重，得到语句调整词特征权重后的多个单头语句向量表示；将多个单头语句向量表示进行拼接，得到文本的语句向量表示。在一实施例中，通过语句拼接层，对文本的句级特征向量进行拼接，得到文本的文本向量，包括：基于文本的句级特征向量，利用多头注意力机制施加语句向量权重，得到文本调整句特征权重后的多个单头文本向量；将多个单头文本向量拼接，得到文本的文本向量。在一实施例中，第一双向编码网络和/或第二双向编码网络包括：正向长短期记忆网络和反向长短期记忆网络。在一实施例中，通过输出层，基于文本向量，得到文本的类别置信度，包括：基于文本向量，通过全连接层和归一化函数，得到文本的类别置信度。根据本公开实施例的第二方面，提供一种分类模型的模型训练方法，其中分类模型用于第一方面的文本分类方法进行文本分类，方法包括：通过搜索，获取搜索信息；将搜索信息进行结构化解析，得到多个训练文本，形成训练文本集；对每个训练文本进行分类，得到与每个训练文本对应的标准分类标识；将训练文本集输入分类模型，并通过标准分类标识对分类模型输出的分类结果进行监督，根据监督结果调整分类模型的参数。在一实施例中，通过搜索，获取搜索信息包括：通过搜索引擎进行搜索，获取搜索信息，其中搜索信息包括搜索的结果中的标题信息和描述信息。根据本公开实施例的第三方面，提供一种基于分类模型的文本分类装置，分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，装置包括：获取单元，用于输入文本，文本包括至少一个语句，每个语句包括至少一个词，对每个词进行向量化得到词向量，形成每个语句的词向量表示；词编码单元，用于通过词编码器层的第一双向编码网络，分别对每个语句的词向量表示进行正向特征提取和反向特征提取，得到每个语句的词级特征向量；词拼接单元，用于通过词拼接层，分别对每个语句的词级特征向量进行拼接，得到每个语句的语句向量，形成文本的语句向量表示；语句编码单元，用于通过语句编码器层的第二双向编码网络，分别对文本中的语句向量表示进行正向特征提取和反向特征提取，得到文本的句级特征向量；语句拼接单元，用于通过语句拼接层，对文本的句级特征向量进行拼接，得到文本的文本向量；类别判别单元，用于通过输出层，基于文本向量，得到文本的类别置信度。在一实施例中，词拼接单元包括：语句注意力识别单元，用于基于每个语句对应的词级特征向量，利用多头注意力机制施加词向量权重，得到语句调整词特征权重后的多个单头语句向量表示；语句向量拼接单元，用于将多个单头语句向量表示进行拼接，得到文本的语句向量表示。在一实施例中，语句拼接单元包括：文本注意力识别单元，用于基于文本的句级特征向量，利用多头注意力机制施加语句向量权重，得到文本调整句特征权重后的多个单头文本向量；文本向量拼接单元，用于将多个单头文本向量拼接，得到文本的文本向量。在一实施例中，第一双向编码网络和/或第二双向编码网络包括：正向长短期记忆网络和反向长短期记忆网络。在一实施例中，类别判别单元还用于：基于文本向量，通过全连接层和归一化函数，得到文本的类别置信度。根据本公开实施例的第四方面，提供一种分类模型的模型训练装置，其中分类模型用于第一方面的文本分类方法进行文本分类，装置包括：搜索单元，用于通过搜索，获取搜索信息；结构化单元，用于将搜索信息进行结构化解析，得到多个训练文本，形成训练文本集；标识单元，用于对每个训练文本进行分类，得到与每个训练文本对应的标准分类标识；训练反馈单元，用于将训练文本集输入分类模型，并通过标准分类标识对分类模型输出的分类结果进行监督，根据监督结果调整分类模型的参数。在一实施例中，搜索单元还用于：通过搜索引擎进行搜索，获取搜索信息，其中搜索信息包括搜索的结果中的标题信息和描述信息。根据本公开实施例的第五方面，提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的基于分类模型的文本分类方法或第二方面的分类模型的模型训练方法。根据本公开实施例的第六方面，提供一种计算机可读存储介质，存储有指令，指令被处理器执行时，执行第一方面的基于分类模型的文本分类方法或第二方面的分类模型的模型训练方法。本公开的实施例提供的技术方案可以包括以下有益效果：通过正反向的特征提取，提高获取的特征的准确性，多头注意力机制能够有效提高获取结果的可靠性，同时，通过引入搜索引擎数据，方便的扩充了训练文本，提高了模型训练效果和效率，使得模型能够对各领域的文本分类都能进行准确识别。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本发本文档来自技高网...

【技术保护点】
1.一种基于分类模型的文本分类方法，其特征在于，所述分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，所述方法包括：/n输入文本，所述文本包括至少一个语句，每个语句包括至少一个词，对每个所述词进行向量化得到词向量，形成每个所述语句的词向量表示；/n通过所述词编码器层的第一双向编码网络，分别对每个所述语句的所述词向量表示进行正向特征提取和反向特征提取，得到每个所述语句的词级特征向量；/n通过所述词拼接层，分别对每个所述语句的所述词级特征向量进行拼接，得到每个所述语句的语句向量，形成所述文本的语句向量表示；/n通过所述语句编码器层的第二双向编码网络，分别对所述文本中的所述语句向量表示进行正向特征提取和反向特征提取，得到所述文本的句级特征向量；/n通过所述语句拼接层，对所述文本的所述句级特征向量进行拼接，得到所述文本的文本向量；/n通过所述输出层，基于所述文本向量，得到所述文本的类别置信度。/n

【技术特征摘要】
1.一种基于分类模型的文本分类方法，其特征在于，所述分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，所述方法包括：
输入文本，所述文本包括至少一个语句，每个语句包括至少一个词，对每个所述词进行向量化得到词向量，形成每个所述语句的词向量表示；
通过所述词编码器层的第一双向编码网络，分别对每个所述语句的所述词向量表示进行正向特征提取和反向特征提取，得到每个所述语句的词级特征向量；
通过所述词拼接层，分别对每个所述语句的所述词级特征向量进行拼接，得到每个所述语句的语句向量，形成所述文本的语句向量表示；
通过所述语句编码器层的第二双向编码网络，分别对所述文本中的所述语句向量表示进行正向特征提取和反向特征提取，得到所述文本的句级特征向量；
通过所述语句拼接层，对所述文本的所述句级特征向量进行拼接，得到所述文本的文本向量；
通过所述输出层，基于所述文本向量，得到所述文本的类别置信度。


2.根据权利要求1所述的基于分类模型的文本分类方法，其特征在于，所述通过所述词拼接层，分别对每个所述语句的所述词级特征向量进行拼接，得到每个所述语句的语句向量，形成所述文本的语句向量表示，包括：
基于每个所述语句对应的所述词级特征向量，利用多头注意力机制施加词向量权重，得到所述语句调整词特征权重后的多个单头语句向量表示；
将多个所述单头语句向量表示进行拼接，得到所述文本的所述语句向量表示。


3.根据权利要求1所述的基于分类模型的文本分类方法，其特征在于，所述通过所述语句拼接层，对所述文本的所述句级特征向量进行拼接，得到所述文本的文本向量，包括：
基于所述文本的所述句级特征向量，利用多头注意力机制施加语句向量权重，得到所述文本调整句特征权重后的多个单头文本向量；
将多个所述单头文本向量拼接，得到所述文本的所述文本向量。


4.根据权利要求1所述的基于分类模型的文本分类方法，其特征在于，所述第一双向编码网络和/或所述第二双向编码网络包括：正向长短期记忆网络和反向长短期记忆网络。


5.根据权利要求1所述的基于分类模型的文本分类方法，其特征在于，所述通过所述输出层，基于所述文本向量，得到所述文本的类别置信度，包括：
基于所述文本向量，通过全连接层和归一化函数，得到所述文本的所述类别置信度。


6.一种分类模型的模型训练方法，其中所述分类模型用于如权利要求1-5任一项所述的文本分类方法进行文本分类，其特征在于，所述方法包括：
通过搜索，获取搜索信息；
将所述搜索信息进行结构化解析，得到多个训练文本，形成训练文本集；
对每个所述训练文本进行分类，得到与每个所述训练文本对应的标准分类标识；
将所述训练文本集输入所述分类模型，并通过所述标准分类标识对所述分类模型输出的分类结果进行监督，根据监督结果调整所述分类模型的参数。


7.根据权利要求6所述的分类模型的模型训练方法，其特征在于，所述通过搜索，获取搜索信息包括：通过搜索引擎进行搜索，获取所述搜索信息，其中所述搜索信息包括所述搜索的结果中的标题信息和描述信息。


8.一种基于分类模型的文本分类装置，其特征在于，所述分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，所述装置包括：
获取单元，用于输入文本，所述文本包括至少一个语句，每个语句包括至少一个词，对每个所述词...

【专利技术属性】
技术研发人员：牛海波，
申请(专利权)人：北京小米智能科技有限公司，
类型：发明
国别省市：北京;11