基于特征编码器的训练方法及装置、分类方法及装置制造方法及图纸

本说明书实施例提供了一种基于特征编码器的训练方法及装置、分类方法及装置。在该方法中，获取当前训练样本，将当前训练样本以及用于分类的多个文本类别分别输入特征编码器，输出各个当前训练样本对应的样本特征向量以及多个文本类别对应的分类矩阵；基于输出的样本特征向量以及分类矩阵得到当前训练样本针对各个文本类别的预测值；以及在不满足循环结束条件时，根据所得到的预测值和当前训练样本的真实分类类别对特征编码器的编码器参数进行调整，调整后的特征编码器作为下一次循环的特征编码器。

【技术实现步骤摘要】
基于特征编码器的训练方法及装置、分类方法及装置
本说明书实施例涉及机器学习
，具体地，涉及基于特征编码器的训练方法及装置、分类方法及装置。
技术介绍
分类模型是一种常见的机器学习模型，并且广泛应用于各个领域中。分类模型可以分为基于规则的分类模型和基于概率统计的分类模型。在基于规则的分类模型中，使用若干规则来区分各个类别，规则可以是通过领域专家来定义或者通过机器学习来获得，比如，决策树是一种基于机器学习的分类模型。基于概率统计的分类模型是预测待分类对象针对每个指定类别的概率，然后输出概率最大的类别以作为该待分类对象的预测类别。比如，softmax分类是一种常见的基于概率统计的分类。
技术实现思路
鉴于上述，本说明书实施例提供了一种基于特征编码器的训练方法及装置、分类方法及装置。在训练的技术方案中，通过使用特征编码器来得到文本类别对应的分类矩阵，从而仅需对特征编码器的参数进行训练，避免训练整个分类矩阵，通常情况下分类矩阵对应的分类类别较多导致分类矩阵所需训练的参数多，特征编码器的训练参数少于分类矩阵的训练参数，通过本说明书实施例的方案提高了训练效率。尤其是在分类矩阵较大的情况下，对硬件设备的要求也很高，而通过本说明书实施例的训练方案，降低了执行训练的硬件设备的要求。根据本说明书实施例的一个方面，提供了一种用于对输出分类矩阵的特征编码器进行训练的方法，包括：执行下述循环训练过程，直至满足循环结束条件：获取用于当前循环的当前训练样本；将所述当前训练样本以及用于分类的多个文本类别分别输入待训练的特征编码器，输出各个当前训练样本对应的样本特征向量以及所述多个文本类别对应的分类矩阵，其中，所述分类矩阵由输入所述特征编码器的各个文本类别对应的类别特征向量构成；基于输出的样本特征向量以及分类矩阵得到所述当前训练样本针对各个文本类别的预测值；以及在不满足所述循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数进行调整，调整后的特征编码器作为下一次循环的特征编码器。可选地，在上述方面的一个示例中，还包括：针对每个当前训练样本，从文本类别库中确定与该当前训练样本匹配的指定数量的文本类别；以及将所述当前训练样本以及用于分类的多个文本类别分别输入待训练的特征编码器，输出各个当前训练样本对应的样本特征向量以及所述多个文本类别对应的分类矩阵包括：将所述当前训练样本以及所确定的文本类别分别输入待训练的特征编码器，得到各个当前训练样本对应的样本特征向量以及所确定的文本类别对应的分类矩阵。可选地，在上述方面的一个示例中，针对每个当前训练样本，从文本类别库中确定与该当前训练样本匹配的指定数量的文本类别包括：针对每个当前训练样本，使用召回算法从文本类别库中确定与该当前训练样本匹配的指定数量的文本类别。可选地，在上述方面的一个示例中，基于输出的样本特征向量以及分类矩阵得到所述当前训练样本针对各个文本类别的预测值包括：基于输出的样本特征向量、分类矩阵以及所确定的文本类别对应的偏置矩阵得到所述当前训练样本针对所确定的各个文本类别的预测值；以及在不满足所述循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数进行调整包括：在不满足所述循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数以及所述偏置矩阵进行调整。可选地，在上述方面的一个示例中，训练使用的所有训练样本对应的真实分类类别包括所述文本类别库中的全部或者大部分类别。可选地，在上述方面的一个示例中，还包括：在所述当前训练样本有多个时，对所确定的所有文本类别进行去重处理。可选地，在上述方面的一个示例中，所述循环结束条件包括：针对所述训练使用的全部训练样本的迭代次数达到指定次数，和/或针对所述训练使用的全部训练样本的预测准确率不再上升。根据本说明书实施例的另一方面，还提供一种使用特征编码器进行文本分类的方法，包括：获取待分类文本；从文本类别库中确定与所述待分类文本匹配的指定数量的文本类别；将所述待分类文本和所确定的文本类别输入经过训练的特征编码器，输出所述待分类文本对应的特征向量以及所述文本类别对应的分类矩阵，其中，所述分类矩阵由各个文本类别对应的类别特征向量构成；以及基于输出的特征向量和分类矩阵预测所述待分类文本的文本类别。根据本说明书实施例的另一方面，还提供一种用于对输出分类矩阵的特征编码器进行训练的装置，包括：训练样本获取单元，获取用于当前循环的当前训练样本；特征向量化单元，将所述当前训练样本以及用于分类的多个文本类别分别输入待训练的特征编码器，输出各个当前训练样本对应的样本特征向量以及所述多个文本类别对应的分类矩阵，其中，所述分类矩阵由输入所述特征编码器的各个文本类别对应的类别特征向量构成；类别预测单元，基于输出的样本特征向量以及分类矩阵得到所述当前训练样本针对各个文本类别的预测值；以及参数调整单元，在不满足循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数进行调整，调整后的特征编码器作为下一次循环的特征编码器。可选地，在上述方面的一个示例中，还包括：类别确定单元，针对每个当前训练样本，从文本类别库中确定与该当前训练样本匹配的指定数量的文本类别；以及所述特征向量化单元：将所述当前训练样本以及所确定的文本类别分别输入待训练的特征编码器，得到各个当前训练样本对应的样本特征向量以及所确定的文本类别对应的分类矩阵。可选地，在上述方面的一个示例中，所述类别确定单元：针对每个当前训练样本，使用召回算法从文本类别库中确定与该当前训练样本匹配的指定数量的文本类别。可选地，在上述方面的一个示例中，所述类别预测单元：基于输出的样本特征向量、分类矩阵以及所确定的文本类别对应的偏置矩阵得到所述当前训练样本针对所确定的各个文本类别的预测值；以及所述参数调整单元：在不满足所述循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数以及所述偏置矩阵进行调整。可选地，在上述方面的一个示例中，还包括：类别去重单元，在所述当前训练样本有多个时，对所确定的所有文本类别进行去重处理。根据本说明书实施例的另一方面，还提供一种使用特征编码器进行文本分类的装置，包括：文本获取单元，获取待分类文本；类别匹配单元，从文本类别库中确定与所述待分类文本匹配的指定数量的文本类别；特征向量化单元，将所述待分类文本和所确定的文本类别输入经过训练的特征编码器，输出所述待分类文本对应的特征向量以及所述文本类别对应的分类矩阵，其中，所述分类矩阵由各个文本类别对应的类别特征向量构成；以及类别预测单元，基于输出的特征向量和分类矩阵预测所述待分类文本的文本类别。根据本说明书实施例的另一方面，还提供一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于对输出分本文档来自技高网...

【技术保护点】
1.一种用于对输出分类矩阵的特征编码器进行训练的方法，包括：/n执行下述循环训练过程，直至满足循环结束条件：/n获取用于当前循环的当前训练样本；/n将所述当前训练样本以及用于分类的多个文本类别分别输入待训练的特征编码器，输出各个当前训练样本对应的样本特征向量以及所述多个文本类别对应的分类矩阵，其中，所述分类矩阵由输入所述特征编码器的各个文本类别对应的类别特征向量构成；/n基于输出的样本特征向量以及分类矩阵得到所述当前训练样本针对各个文本类别的预测值；以及/n在不满足所述循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数进行调整，调整后的特征编码器作为下一次循环的特征编码器。/n

【技术特征摘要】
1.一种用于对输出分类矩阵的特征编码器进行训练的方法，包括：
执行下述循环训练过程，直至满足循环结束条件：
获取用于当前循环的当前训练样本；
将所述当前训练样本以及用于分类的多个文本类别分别输入待训练的特征编码器，输出各个当前训练样本对应的样本特征向量以及所述多个文本类别对应的分类矩阵，其中，所述分类矩阵由输入所述特征编码器的各个文本类别对应的类别特征向量构成；
基于输出的样本特征向量以及分类矩阵得到所述当前训练样本针对各个文本类别的预测值；以及
在不满足所述循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数进行调整，调整后的特征编码器作为下一次循环的特征编码器。


2.如权利要求1所述的方法，还包括：
针对每个当前训练样本，从文本类别库中确定与该当前训练样本匹配的指定数量的文本类别；以及
将所述当前训练样本以及用于分类的多个文本类别分别输入待训练的特征编码器，输出各个当前训练样本对应的样本特征向量以及所述多个文本类别对应的分类矩阵包括：
将所述当前训练样本以及所确定的文本类别分别输入待训练的特征编码器，得到各个当前训练样本对应的样本特征向量以及所确定的文本类别对应的分类矩阵。


3.如权利要求2所述的方法，其中，针对每个当前训练样本，从文本类别库中确定与该当前训练样本匹配的指定数量的文本类别包括：
针对每个当前训练样本，使用召回算法从文本类别库中确定与该当前训练样本匹配的指定数量的文本类别。


4.如权利要求2所述的方法，其中，基于输出的样本特征向量以及分类矩阵得到所述当前训练样本针对各个文本类别的预测值包括：
基于输出的样本特征向量、分类矩阵以及所确定的文本类别对应的偏置矩阵得到所述当前训练样本针对所确定的各个文本类别的预测值；以及
在不满足所述循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数进行调整包括：
在不满足所述循环结束条件时，根据所得到的预测值和所述当前训练样本的真实分类类别对所述特征编码器的编码器参数以及所述偏置矩阵进行调整。


5.如权利要求2所述的方法，其中，训练使用的所有训练样本对应的真实分类类别包括所述文本类别库中的全部或者大部分类别。


6.如权利要求2所述的方法，还包括：
在所述当前训练样本有多个时，对所确定的所有文本类别进行去重处理。


7.如权利要求1所述的方法，其中，所述循环结束条件包括：针对所述训练使用的全部训练样本的迭代次数达到指定次数，和/或针对所述训练使用的全部训练样本的预测准确率不再上升。


8.一种使用特征编码器进行文本分类的方法，包括：
获取待分类文本；
从文本类别库中确定与所述待分类文本匹配的指定数量的文本类别；
将所述待分类文本和所确定的文本类别输入经过训练的特征编码器，输出所述待分类文本对应的特征向量以及所述文本类别对应的分类矩阵，其中，所述分类矩阵由各个文本类别...

【专利技术属性】
技术研发人员：陈晓军，崔恒斌，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33