一种训练分类模型的方法及系统技术方案

本说明书实施例公开了一种训练分类模型的方法及系统。所述方法包括：获取至少一个问题对，将所述至少一个问题对输入初始分类模型，确定所述至少一个问题对中每一个的初始分类结果；基于所述初始分类结果，确定所述至少一个问题对中每一个的匹配模型，将所述至少一个问题对输入对应的所述匹配模型，确定所述至少一个问题对的第一匹配结果；基于所述第一匹配结果以及所述至少一个问题对标定的第二匹配结果，得到反馈值；根据所述反馈值调整所述初始分类模型，得到目标分类模型。

A method and system of training classification model

【技术实现步骤摘要】
一种训练分类模型的方法及系统
本说明书实施例涉及数据处理领域，特别涉及一种训练分类模型的方法、系统。
技术介绍
随着计算机技术的发展，自动问答系统在生活中越来越普遍，为人们的生活带来了多种便利。例如通过识别用户输入的文字和/或语音问题，自动回复与该问题对应的答案，从而解决用户的疑问和需求。传统的问答系统中通常是采用规则分类方式来对问题对进行分类，或者基于大量人工标记的训练样本训练的分类模型对问题对进行分类。如何有效提高对问题对分类的效率和通用性成为目前需要解决的技术问题。
技术实现思路
本说明书的一个方面提供一种训练分类模型的方法，所述方法包括：获取至少一个问题对，将所述至少一个问题对输入初始分类模型，确定所述至少一个问题对中每一个的初始分类结果；基于所述初始分类结果，确定所述至少一个问题对中每一个的匹配模型，将所述至少一个问题对输入对应的所述匹配模型，确定所述至少一个问题对的第一匹配结果；基于所述第一匹配结果以及所述至少一个问题对标定的第二匹配结果，得到反馈值；根据所述反馈值调整所述初始分类模型，得到目标分类模型。本说明书的另一个方面提供一种对目标问题对进行分类的方法，所述方法包括：采用所述的目标分类模型对目标问题对进行分类，得到所述目标问题对的目标分类结果。本说明书的另一个方面提供一种训练分类模型的系统，所述系统包括训练模块，用于获取至少一个问题对，将所述至少一个问题对输入初始分类模型，确定所述至少一个问题对中每一个的初始分类结果；基于所述初始分类结果，确定所述至少一个问题对中每一个的匹配模型，将所述至少一个问题对输入对应的所述匹配模型，确定所述至少一个问题对的第一匹配结果；基于所述第一匹配结果以及所述至少一个问题对标定的第二匹配结果，得到反馈值；根据所述反馈值调整所述初始分类模型，得到目标分类模型。本说明书实施例的另一个方面提供一种训练分类模型装置，包括至少一个存储介质和至少一个处理器；所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现对分类模型进行训练的方法。附图说明本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书的一些实施例所示的示例性问题对的示意图；图2是根据本说明书的一些实施例所示的示例性训练分类模型系统的模块图；图3是根据本说明书的一些实施例所示的训练分类模型方法的示例性流程图；以及图4是根据本说明书的一些实施例所示的获取反馈值方法的示例性流程图；以及图5是根据本说明书的一些实施例所示的训练匹配模型的示例性流程图。具体实施方式为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。图1是根据本说明书的一些实施例所示的示例性问题对的示意图。如图1所示，问题对可以是指由问题以及与该问题相关的文本组成的文本对。在一些实施例中，问题对可以是问题以及对应该问题的回答，其中，回答可以是对问题的解答，也可以是针对问题的另一种提问。例如，“这个医保犹豫期是多久”以及对应其的回答“10天”，该回答属于对问题的解答。又例如，“为什么我支付的钱被扣了”以及对应的回答“是钱少了吗”，该回答属于对问题的另一种提问。在一些实施例中，问题对可以是两个表述相似的问题。例如，“好医保值得信任吗”以及其相似表述“好医保可靠吗”。在一些实施例中，所述问题对可以是用户在各个行业中产生的问题对，包括但不限于金融行业、保险行业、互联网行业、汽车行业、餐饮行业、电信行业、能源行业、娱乐行业、体育行业、物流行业、医疗行业、安全行业等。在一些实施例中，可以对问题对进行分类。在一些实施例中，可以基于问题对中问题的类别进行分类。例如，“好医保是什么”，该问题属于定义类。在一些实施例中，可以基于关键词对问题对进行分类。例如，基于“好医保是什么”中关键词“是什么”确定类别为定义类。在一些实施例中，还可以基于其他方法确定分类，本实施例不做限制。在一些实施例中，可以对问题进行匹配。匹配可以是指问题对中两个句子的内容是否能够相互对应。对于问题回答型问题对，匹配可以是回答是否解决了问题中的疑问，也可以是回答表述的内容是否与问题相似或者一致。例如，问题对“好医保是什么”“好医保是一款综合类保险”，回答给出了“好医保”的定义，问题对属于匹配。又例如，问题对“为什么我支付的钱被扣了”“是钱少了吗”两个句子都说的是用户钱变少的内容，问题对属于匹配。对于相似表述型问题对，匹配可以是两个句子表述的内容是否相似或者一致。例如，“好医保值得信任吗”和“好医保可靠吗”两个句子表述内容一致，问题对属于匹配。在一些是实施例中，可以用数字表示匹配与不匹配。如图1所示，用1表示匹配，0表示不匹配。在一些实施例中，可以基于问题对中句子的文本相似性确定问题对是否匹配。在一些实施例中，还可以基于其他方法进行，本实施例不做限制。图2是根据本说明书的一些实施例所示的示例性训练分类模型系统的模块图。该系统可以用于互联网服务的线上服务平台。在一些实施例中，该系统可以用于包含智能答复系统的线上服务平台。例如，电商平台、线上咨询平台、公共服务平台等。如图2所示，该系统可以包括分类模型训练模块210和匹配模型训练模块220。匹配模型训练模块220可以用于对问题对匹配模型的训练。具体的，首先匹配模型训练模块220获取多个样本对，所述样本对为问题对。其次，匹配模型训练模块220可以对所述多个样本对进行分类，确定所述多个样本对的至少一个分类结果。在一些实施例中，匹配模型训练模块220可以基于规则对样本对分类。在一些实施例中，匹配模型训练模块220可以基于分类模型对样本对分类。再者，匹配模型训练本文档来自技高网...

【技术保护点】
1.一种训练分类模型的方法，包括：/n获取至少一个问题对，将所述至少一个问题对输入初始分类模型，确定所述至少一个问题对中每一个的初始分类结果；/n基于所述初始分类结果，确定所述至少一个问题对中每一个的匹配模型，将所述至少一个问题对输入对应的所述匹配模型，确定所述至少一个问题对的第一匹配结果；/n基于所述第一匹配结果以及所述至少一个问题对标定的第二匹配结果，得到反馈值；/n根据所述反馈值调整所述初始分类模型，得到目标分类模型。/n

【技术特征摘要】
1.一种训练分类模型的方法，包括：
获取至少一个问题对，将所述至少一个问题对输入初始分类模型，确定所述至少一个问题对中每一个的初始分类结果；
基于所述初始分类结果，确定所述至少一个问题对中每一个的匹配模型，将所述至少一个问题对输入对应的所述匹配模型，确定所述至少一个问题对的第一匹配结果；
基于所述第一匹配结果以及所述至少一个问题对标定的第二匹配结果，得到反馈值；
根据所述反馈值调整所述初始分类模型，得到目标分类模型。


2.如权利要求1所述的方法，所述基于所述第一匹配结果以及所述至少一个问题对标定的第二匹配结果，得到反馈值包括：
判断所述至少一个问题对中每一个的所述第一匹配结果和所述至少一个问题对中每一个的所述第二匹配结果是否一致；
基于所述判断结果，计算所述匹配模型的准确值；
将所述准确值确定为所述反馈值。


3.如权利要求2所述的方法，所述准确值为所述匹配模型的F-1分数，所述F-1分数是综合准确率和召回率的模型综合评价指标。


4.如权利要求1所述的方法，所述根据所述反馈值调整所述初始分类模型，得到目标分类模型包括：
基于所述初始分类模型的第一损失函数和所述反馈值，调整所述初始分类模型的参数，当调整后的中间分类模型当前的损失函数第二损失函数满足第一预设条件，确定当前中间分类模型为所述目标分类模型。


5.如权利要求1所述的方法，所述匹配模型通过以下训练方式获得：
获取多个样本对，所述样本对为问题对；
对所述多个样本对进行分类，确定所述多个样本对的至少一个分类结果；
根据所述至少一个分类结果，将所述多个样本对分别输入至少一个初始匹配模型进行训练，获得与所述至少一个分类结果对应的至少一个所述匹配模型。


6.如权利要求1所述的方法，将输入所述匹配模型的所述问题对进行向量表示。


7.如权利要求6所述的方法，通过编码器对所述问题对进行向量表示。


8.如权利要求7所述的方法，与所述初始分类结果对应的不同的所述匹配模型共用一个编码器。


9.如权利要求1所述的方法，所述匹配模型包括：BERT、EMIS、CNN或LSTM。


10.一种对目标问题对进行分类的方法，包括：
采用如权利要求1所述的目标分类模型对目标问题对进行分类，得到所述目标问题对的目标分类结果。


11.一种训练分类模型的系统...

【专利技术属性】
技术研发人员：陈晓军，崔恒斌，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33