分类模型解释方法、文本生成模型的训练方法及相关设备技术

本申请公开了一种分类模型解释方法、文本生成模型的训练方法及相关设备，该分类模型解释方法包括：基于目标分类模型执行的分类任务中包含的多个子任务，将目标分类模型划分为多个功能模块；基于多个子任务之间的执行顺序依次调用多个功能模块对测试文本集合中的测试文本执行子任务，得到测试文本所属的预测类别；通过目标功能模块对应的文本生成模型，基于目标功能模块对测试文本执行子任务所得的第一执行结果以及测试文本所属的预测类别，对目标功能模块进行解析，得到目标功能模块的解释文本，本申请有利于准确获知每个功能模块的表现对目标分类模型输出的分类结果产生了何种影响，从而实现有效地、有针对性地对目标分类模型进行细粒度解释。类模型进行细粒度解释。类模型进行细粒度解释。

【技术实现步骤摘要】
分类模型解释方法、文本生成模型的训练方法及相关设备


[0001]本申请涉及自然语言处理
，尤其涉及一种分类模型解释方法、文本生成模型的训练方法及相关设备。

技术介绍

[0002]目前自然语言处理(Natural Language Processing)研究与分类模型集中于深度学习，相比于数据集手机、模型结构优化、模型性能提升(比如模型小型化等)，分类模型的可解释性(即分类模型的分类结果有何依据)需求正在逐渐凸显。如果在此领域进步，将会减少算法人员与业务方的沟通成本，也会帮助算法人员更好的分析分类模型的错例，更好地优化分类模型。
[0003]因此，当前亟需一种能够有效解释分类模型的方案，从而有利于更有针对性地对分类模型进行优化。

技术实现思路

[0004]本申请实施例的目的提供一种分类模型解释方法、文本生成模型的训练方法及相关设备，用于有效解释分类模型，从而有利于更有针对性地对分类模型进行优化。
[0005]为了实现上述目的，本申请实施例采用下述技术方案：
[0006]第一方面，本申请实施例提供一种分类模型解释方法，包括：基于目标分类模型执行的分类任务中包含的多个子任务，将所述目标分类模型划分为多个功能模块，每个功能模块对应一个子任务；基于所述多个子任务之间的执行顺序，依次调用所述多个功能模块，以对测试文本集合中的测试文本执行被调用的功能模块对应的子任务，得到所述测试文本在所述分类任务下所属的预测类别；获取目标功能模块对所述测试文本执行子任务所得的第一执行结果，所述目标功能模块为所述多个功能模块中当前被调用的功能模块；通过所述目标功能模块对应的文本生成模型，基于所述第一执行结果和所述测试文本所属的预测类别，对所述目标功能模块进行解析，得到所述目标功能模块的解释文本，所述解释文本用于描述所述测试文本的第一执行结果与所述测试文本所属的预测类别之间的关联关系。
[0007]通过本申请实施例提供的分类模型解释方法，在目标分类模型的测试阶段，基于目标分类模型执行的分类任务中包含的多个子任务，将目标分类模型划分为多个功能模块，每个功能模块对应一个子任务；接着，基于多个子任务之间的执行顺序，依次调用多个功能模块对测试文本在该分类任务下所属的预测类别，并获取当前被调用的功能模块对测试文本执行相应的子任务所得的第一执行结果；进一步，通过当前被调用的功能模块对应的文本生成模型，利用文本生成技术，基于第一执行结果和测试文本所属的预测类别，对该功能模块进行解析，以解析得到第一执行结果与测试文本在分类任务下所属的预测类别之间的关联关系，并用解释文本来描述这种关联关系，得到该功能模块的解释文本，由此通过目标分类模型中多个功能模块各自的解释文本，即可直观、准确地获知目标分类模型中每个功能模块执行子任务所得的执行结果与最终预测出的文本类别之间的关联关系，也即每
个功能模块的表现对目标分类模型输出的分类结果产生了何种影响，从而实现有效地、有针对性地对目标分类模型进行细粒度解释。
[0008]第二方面，本申请实施例提供一种文本生成模型的训练方法，包括：基于目标分类模型执行的分类任务包含的多个子任务，将所述目标分类模型划分为多个功能模块，每个功能模块对应一个子任务；基于所述多个子任务之间的执行顺序，依次调用所述多个功能模块，以对训练文本集合中的训练文本执行被调用的功能模块对应的子任务，得到所述训练文本在所述分类任务下所属的预测类别；获取目标功能模块对所述训练文本执行对应的子任务所得的第二执行结果，所述目标功能模块为所述多个功能模块中当前被调用的功能模块；基于所述第二执行结果、所述训练文本在所述目标功能模块对应的参考执行结果以及所述训练文本所属的预测类别，对所述目标功能模块进行解析，得到所述目标功能模块对应的样本解释文本，所述样本解释文本用于描述所述第二执行结果与所述训练文本在所述分类任务下所属的预测类别之间的关联关系；以所述第二执行结果作为训练样本，以所述样本解释文本作为所述训练样本对应的标签，对待训练的文本生成模型进行训练，得到所述目标功能模块对应的文本生成模型。
[0009]通过本申请实施例提供的文本生成模型的训练方法，在目标分类模型的训练阶段，基于目标分类模型执行的分类任务中包含的多个子任务，将目标分类模型划分为多个功能模块，每个功能模块对应一个子任务；接着，基于多个子任务之间的执行顺序，依次调用多个功能模块对训练文本在该分类任务下所属的预测类别，并获取当前被调用的功能模块对训练文本执行相应的子任务所得的第二执行结果；进一步，基于第二执行结果、训练文本在当前被调用的功能模块对应的参考执行结果以及训练文本所属的预测类别，对该功能模块进行解析，以解析得到第二执行结果与训练文本在分类任务下所属的预测类别之间的关联关系，并用解释文本来描述这种关联关系，得到该功能模块的样本解释文本；最后，以第二执行结果作为训练样本，以样本解释文本作为训练样本对应的标签，对待训练的文本生成模型进行训练，使得该功能模块的样本解释文本能够为文本生成模型提供监督信号，有利于文本生成模型在目标分类模型的训练过程中从该监督信号中，学习和总结该功能模块执行子任务所得的第二执行结果与训练文本在分类任务下所属的预测类别之间的关联关系，进而使得训练出的文本生成模型具备对这种关联关系进行总结而得到相应的解释文本的能力，由此实现在训练目标分类模型的过程中，同时训练出能够用于总结目标分类模型中各功能模块的表现的文本生成模型，以便用于生成对应的功能模块的解释文本，实现有效地、有针对性地对目标分类模型进行细粒度解释。
[0010]第三方面，本申请实施例提供一种分类模型解释装置，包括：第一划分单元，用于基于目标分类模型执行的分类任务中包含的多个子任务，将所述目标分类模型划分为多个功能模块，每个功能模块对应一个子任务；第一调用单元，用于基于所述多个子任务之间的执行顺序，依次调用所述多个功能模块，以对测试文本集合中的测试文本执行被调用的功能模块对应的子任务，得到所述测试文本集合中的测试文本在所述分类任务下所属的预测类别；第一获取单元，用于获取目标功能模块对所述测试文本集合中的测试文本执行子任务所得的第一执行结果，所述目标功能模块为所述多个功能模块中当前被调用的功能模块；第一解析单元，用于通过所述目标功能模块对应的文本生成模型，基于所述第一执行结果和所述测试文本所属的预测类别，对所述目标功能模块进行解析，得到所述目标功能模
块的解释文本，所述解释文本用于描述所述测试文本的第一执行结果与所述测试文本所属的预测类别之间的关联关系。
[0011]第四方面，本申请实施例提供一种文本生成模型的训练装置，包括：第二划分单元，用于基于目标分类模型执行的分类任务包含的多个子任务，将所述目标分类模型划分为多个功能模块，每个功能模块对应一个子任务；第二调用单元，用于基于所述多个子任务之间的执行顺序，依次调用所述多个功能模块，以对训练文本集合中的训练文本执行被调用的功能模块对应的子任务，得到所述训练文本在所述分类任务下所属的预测类别；第二获取单元，用于获取目标功能模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分类模型解释方法，其特征在于，包括：基于目标分类模型执行的分类任务中包含的多个子任务，将所述目标分类模型划分为多个功能模块，每个功能模块对应一个子任务；基于所述多个子任务之间的执行顺序，依次调用所述多个功能模块，以对测试文本集合中的测试文本执行被调用的功能模块对应的子任务，得到所述测试文本集合中的测试文本在所述分类任务下所属的预测类别；获取目标功能模块对所述测试文本集合中的测试文本执行子任务所得的第一执行结果，所述目标功能模块为所述多个功能模块中当前被调用的功能模块；通过所述目标功能模块对应的文本生成模型，基于所述第一执行结果和所述测试文本所属的预测类别，对所述目标功能模块进行解析，得到所述目标功能模块的解释文本，所述解释文本用于描述所述测试文本的第一执行结果与所述测试文本所属的预测类别之间的关联关系。2.根据权利要求1所述的方法，其特征在于，所述通过所述目标功能模块对应的文本生成模型，基于所述第一执行结果和所述测试文本所属的预测类别对所述目标功能模块进行解析，得到所述目标功能模块的解释文本，包括：通过所述目标功能模块对应的文本生成模型，基于所述测试文本的第一执行结果以及所述测试文本在所述目标功能模块对应的参考执行结果，对所述目标功能模块进行解析，得到所述测试文本的第一执行结果对所述测试文本所属的预测类别的影响信息；通过所述目标功能模块对应的文本生成模型，构建所述影响信息与所述测试文本所属的预测类别之间的对应关系，并生成用于描述所述对应关系的文本，作为所述目标功能模块的解释文本。3.根据权利要求1所述的方法，其特征在于，在得到所述目标功能模块的解释文本之后，所述方法还包括：将所述第一执行结果与所述测试文本集合中的测试文本在所述目标功能模块下对应的参考执行结果进行比对，得到比对结果；从所述测试文本集合中选取比对结果满足第一预设异常条件的至少一个测试文本作为所述目标功能模块对应的目标文本；构建所述目标文本与所述目标功能模块的解释文本之间的对应关系，并生成用于描述所述对应关系的关联文本。4.根据权利要求3所述的方法，其特征在于，所述目标功能模块为分类模块，所述分类模块对第一测试文本执行的子任务为对所述第一测试文本进行文本分类，所述第一执行结果包括第一测试类别，所述第一测试类别为第一测试文本在所述分类任务下所属的预测类别，所述第一测试文本为所述测试文本集合中的任一个测试文本；所述将所述第一执行结果与所述测试文本集合中的测试文本在所述目标功能模块下对应的参考执行结果进行比对，包括：从所述测试文本集合中选取与所述第一测试文本之间的相似度超过预设相似度阈值的测试文本作为参考测试文本，以及将第二预测类别确定为所述第一测试文本在所述目标功能模块下对应的参考执行结果，所述第二预测类别为所述参考测试文本在所述分类任务下所属的预测类别；
将所述第一预测类别和所述第二预测类别进行比对，得到所述比对结果；所述从所述测试文本集合中选取比对结果满足第一预设异常条件的至少一个测试文本作为所述目标功能模块对应的目标文本，包括：若所述第一预测类别与所述第二预测类别不同，则将所述第一测试文本和所述参考测试文本作为所述目标文本。5.一种文本生成模型的训练方法，其特征在于，包括：基于目标分类模型执行的分类任务包含的多个子任务，将所述目标分类模型划分为多个功能模块，每个功能模块对应一个子任务；基于所述多个子任务之间的执行顺序，依次调用所述多个功能模块，以对训练文本集合中的训练文本执行被调用的功能模块对应的子任务，得到所述训练文本在所述分类任务下所属的预测类别；获取目标功能模块对所述训练文本执行对应的子任务所得的第二执行结果，所述目标功能模块为所述多个功能模块中当前被调用的功能模块；基于所述第二执行结果、所述训练文本在所述目标功能模块对应的参考执行结果以及所述训练文本所属的预测类别，对所述目标功能模块进行解析，得到所述目标功能模块对应的样本解释文本，所述样本解释文本用于描述所述第二执行结果与所述训练文本在所述分类任务下所属的预测类别之间的关联关系；以所述第二执行结果作为训练样本，以所述样本解释文本作为所述训练样本对应的标签，对待训练的文本生成模型进行训练，得到所述目标功能模块对应的文本生成模型。6.根据权利要求5所述的方法，其特征在于，所述目标功能模块为预处理模块，所述目标功能模块对所述训练文本执行的子任务为对所述训练文本进行预处理，所述第二执行结果包括所述训练文本对应的预处理文本；所述基于所述第二执行结果、所述训练文本在所述目标功能模块对应的参考执行结果以及所述训练文本所属的预测类别，对所述目标功能模块进行解析，得到所述目标功能模块对应的样本解释文本，包括：将所述训练文本与其对应的预处理文本进行比对，得到比对结果；对所述比对结果进行解析，得到所述预处理模块对所述训练文本进行的预处理方式；构建所述预处理方式、所述预处理文本以及所述训练文本所属的预测类别之间的对应关系，并生成用于描述所述对应关系的文本，作为所述预处理模块对应的样本解释文本。7.根据权利要求5所述的方法，其特征在于，所述目标功能模块为分词模块，所述目标功能模块对所述训练文本执行的子任务为对所述训练文本进行分词处理，所述第二执行结果包括所述训练文本包含的词语集合，所述参考执行结果包括所述训练文本包含的参考词语集合；所述基于所述第二执行结果、所述训练文本在所述目标功能模块对应的参考执行结果以及所述训练文本所属的预测类别，对所述目标功能模块进行解析，得到所述目标功能模块对应的样本解释文本，包括：将所述词语集合中的每个词语与该词语在所述参考词语集合中对应的参考词语进行匹配；基于所述词语集合中每个词语与该词语在所述参考词语集合中对应的参考词语之间
的匹配结果，从所述词语集合中选取满足第二预设异常条件的目标词语，以及从所述参考词语集合中选取所述目标词语对应的参考词语，其中，所述第二预设异常条件包括所述目标词语与其在所述参考词语集合中对应的参考词语不匹配；构建所述目标词语、所述目标词语在所述参考词语集合中对应的参考词语以及所述训练文本所属的预测类别之间的对应关系，并生成用于描述所述对应关系的文本，作为所述分词模块对应的样本解释文本。8.根据权利要求5所述的方法，其特征在于...

【专利技术属性】
技术研发人员：白安琪，蒋宁，夏粉，吴海英，肖冰，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：