【技术实现步骤摘要】
本专利技术涉及自然语言处理领域，尤其涉及一种多轮对话产品分类方法、装置及存储介质。
技术介绍
1、文本分类是自然语言处理中最基本和最重要的任务之一，是一项基于文本序列进行数据挖掘的技术。早期的文本分类任务多局限于keyword匹配等基于规则或统计学习的方法。近年来，随着bert、roberta、xlnet以及ernie等预训练语言模型的迅速崛起，学术界与产业界开始利用海量的互联网文本数据对这些模型进行预训练，学习通用的语言表示和先验知识。再通过微调的方式进一步获取与特定任务相关的知识。大量研究已经证实，这种预训练+微调的两阶段方法非常有效。
2、对于本文对应的多轮长对话文本产品分类任务，对话语句非常多，而且并非每一个对话语句所含的语义信息都同样地与产品分类相关。其次，由于主流的bert模型由于绝对编码的限制，最多能处理512个token，而多轮长对话文本x的长度几乎全超过了这个限制，若使用截断法强行将输入保留为512，将很大程度丢失原文的信息，目前尚缺少一种技术方案解决该问题。
技术实现思路>
1、本文档来自技高网...
【技术保护点】
1.一种多轮对话产品分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种多轮对话产品分类方法，其特征在于，所述模型采用无监督的方式进行训练，其中训练数据采用以下方式进行标注：
3.根据权利要求1所述的一种多轮对话产品分类方法，其特征在于，所述多轮对话产品分类方法还包括对多轮长对话文本进行预处理的步骤：
4.根据权利要求1所述的一种多轮对话产品分类方法，其特征在于，所述结合字符向量、片段向量，以及针对多轮长对话文本设计的分层位置编码向量进行建模，并通过编码器提取序列特征向量，记为Encoder(X)，包括：
...
【技术特征摘要】
1.一种多轮对话产品分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种多轮对话产品分类方法，其特征在于，所述模型采用无监督的方式进行训练，其中训练数据采用以下方式进行标注：
3.根据权利要求1所述的一种多轮对话产品分类方法，其特征在于，所述多轮对话产品分类方法还包括对多轮长对话文本进行预处理的步骤：
4.根据权利要求1所述的一种多轮对话产品分类方法，其特征在于，所述结合字符向量、片段向量，以及针对多轮长对话文本设计的分层位置编码向量进行建模，并通过编码器提取序列特征向量，记为encoder(x)，包括：
5.根据权利要求1所述的一种多轮对话产品分类方法，其特征在于，所述通过注意力机制获取用户产品信息clsproduct对于句向量clstext的注意力权重，对句向量clst...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。