一种基于Bert的意图确定方法及装置制造方法及图纸

本发明专利技术公开了一种基于Bert的意图确定方法，应用于目标Bert模型，所述目标Bert模型是将Bert模型中的全连接隐藏层替换为非全连接隐藏层，包括：确定输入语句中的mask向量，将所述mask向量作为预测目标；基于所述非全连接隐藏层，获得所述预测目标对应的目标向量；对所述目标向量进行多意图识别，确定所述输入语句的目标意图。上述的确定方法中，所述目标Bert模型中将Bert模型中的全连接隐藏层替换为非全连接隐藏层，全连接隐藏层会令计算量成倍的增加，而非全连接隐藏层降低了模型的结构复杂度，需要更少的计算时间，因此，减少了基于Bert模型进行意图预测的时间开销。

A method and device of intent determination based on Bert

【技术实现步骤摘要】
一种基于Bert的意图确定方法及装置
本专利技术涉及语音识别
，尤其涉及一种基于Bert的意图确定方法及装置。
技术介绍
Bert模型(BidirectionalEncoderRepresentationsfromTransformers)是一种新型的语言模型。通过联合调节所有层中的双向Transformer来训练预训练深度双向表示。Bert算法的核心内容采用了24层transformer特征提取神经网络，采用MaskLM和上下文预测的联合训练，同时google采用33亿的训练语料，在取得了优异算法性能的同时，其模型训练和使用时时间开销是非常巨大的。因此，在基于Bert模型进行意图预测过程中，其模型训练和使用时时间开销是非常巨大的。需要16个tpu集群训练3天，一块普通的GPU训练需要3个月之久，然而工程人员在使用过程中需要根据具体的NLP任务的数据对Bert模型进行fine-tuning，由此带来的计算成本也是非常巨大的。
技术实现思路
有鉴于此，本专利技术提供了一种基于Bert的意图确定方法及装置，本文档来自技高网...

【技术保护点】
1.一种基于Bert的意图确定方法，其特征在于，应用于目标Bert模型，所述目标Bert模型是将Bert模型中的全连接隐藏层替换为非全连接隐藏层，包括：/n确定输入语句中的mask向量，将所述mask向量作为预测目标；/n基于所述非全连接隐藏层，获得所述预测目标对应的目标向量；/n对所述目标向量进行多意图识别，确定所述输入语句的目标意图。/n

【技术特征摘要】
1.一种基于Bert的意图确定方法，其特征在于，应用于目标Bert模型，所述目标Bert模型是将Bert模型中的全连接隐藏层替换为非全连接隐藏层，包括：
确定输入语句中的mask向量，将所述mask向量作为预测目标；
基于所述非全连接隐藏层，获得所述预测目标对应的目标向量；
对所述目标向量进行多意图识别，确定所述输入语句的目标意图。


2.根据权利要求1所述的方法，其特征在于，基于所述非全连接隐藏层，获得所述预测目标对应的目标向量，包括：
获取所述预测目标基于所述非全连接隐藏层输出的各个向量；
提取所述各个向量的特征值，依据预设的步长对各个特征值进行分段；
在每一个分段内将其中的最大特征值对应的向量作为该分段的目标向量。


3.根据权利要求1所述的方法，其特征在于，确定输入语句中的mask向量，将所述mask向量作为预测目标，包括：
对所述输入语句进行分词处理；
将分析结果依据词表映射为token向量；
在所述token向量中随机选取预设的覆盖率的mask向量，将所述mask向量作为预测目标。


4.根据权利要求1所述的方法，其特征在于，对所述目标向量进行多意图识别，确定所述输入语句的目标意图，包括：
将所述目标向量进行状态运算后得到待分析目标向量；
获取与所述待分析目标向量对应的各个备选意图，将所述待分析目标向量传递给Softmax预测函数对所述各个备选意图进行预测，得到所述各个备选意图的概率值；
在各个概率值中选取最高值对应的备选意图作为所述输入语句的目标意图。


5.根据...

【专利技术属性】
技术研发人员：周思丞，苏少炜，陈孝良，常乐，
申请(专利权)人：北京声智科技有限公司，
类型：发明
国别省市：北京;11