分类模型训练方法和终端设备技术

本发明专利技术适用于机器学习技术领域，提供了一种分类模型训练方法和终端设备，其中，所述的分类模型训练方法包括：获取预设的预训练模型和数据集；将数据集划分为训练集和测试集；根据训练集训练预训练模型；根据测试集测试训练后的预训练模型，并获取测试结果；根据测试结果对训练后的预训练模型进行评估。本发明专利技术实施例提供的分类模型训练方法和终端设备，由于预训练模型是已应用于其他分类问题的模型，相较于新建模型，对其进行适应性训练和局部优化所需的时间和数据量必然大幅减小，从而解决了现有技术对机器分类模型进行训练时耗时较长和训练所需数据过多的问题。

【技术实现步骤摘要】
分类模型训练方法和终端设备
本专利技术属于机器学习
，尤其涉及一种分类模型训练方法和终端设备。
技术介绍
在传统的机器学习的框架下，学习的任务就是在给定的训练数据的基础上，通过不断优化模型的参数而得到一个符合预期学习效果的分类模型，然后利用这个分类模型执行自动分类或判断的工作，例如，对文档进行分类。然而，机器学习在当前的研究中存在着两个关键的问题：(1)耗时长。以深度学习为例，深度学习是一个大型的神经网络模型，层数比较多，训练需要耗费很长时间，且越复杂的神经网络模型所需要的训练数据越多，训练所需时间也就越多。(2)消耗资源。仍以深度学习为例，大型神经网络模型的训练需要大量数据支撑，至少需要数千或数百万个标记样本。海量训练数据需要人工预先完成标注或分类，以保证训练的可靠性，消耗了大量的人力与物力。大量的训练数据、模型参数以及模型各层响应还会消耗大量内存。
技术实现思路
有鉴于此，本专利技术实施例提供了一种分类模型训练方法和终端设备，以解决现有技术对机器分类模型进行训练时耗时较长和训练所需数据过多的问题。根据第一方面，本专利技术实施例提供了一种分类模型训练方法，包括：获取预设的预训练模型和数据集；将所述数据集划分为训练集和测试集；根据所述训练集训练所述预训练模型；根据所述测试集测试训练后的所述预训练模型，并获取测试结果；根据所述测试结果对训练后的所述预训练模型进行评估。本专利技术实施例提供的分类模型训练方法，改变了普通机器学习直接对一个新建的分类模型进行训练的方式，通过有限的新数据对预训练模型进行训练，从而优化预训练模型中的部分参数，使其适应新的数据分类任务，从而达到快速完成分类模型训练的目的。由于预训练模型是已应用于其他分类问题的模型，相较于新建模型，对其进行适应性训练和局部优化所需的时间和数据量必然大幅减小，从而解决了现有技术对机器分类模型进行训练时耗时较长和训练所需数据过多的问题。结合第一方面，在第一方面第一实施方式中，所述将所述数据集划分为训练集和测试集，包括：将所述数据集划分为两个互斥的集合；确定所述两个互斥的集合中的任意一个集合为所述训练集；确定所述两个互斥的集合中的另一个集合为所述测试集。本专利技术实施例提供的分类模型训练方法，通过将数据量有限的数据集进行不同方式的划分，每次划分过程将数据集均划分为互斥的训练集和测试集，从而能够利用每次划分所得训练集对预训练模型进行训参数优化训练，并利用每次划分所得测试集对训练后的预训练模型进行测试，从而实现了有限数据为基础的模型优化训练。结合第一方面第一实施方式，在第一方面第二实施方式中，所述训练集和所述测试集具有相同的数据分布特性。本专利技术实施例提供的分类模型训练方法，为了避免每次划分数据集时引入额外的偏差而对最终的模型训练结果产生影响，在划分的时候尽可能保证数据分布的一致性。结合第一方面，在第一方面第三实施方式中，所述将所述数据集划分为训练集和测试集，包括：将所述数据集划分为若干相同大小的子集；确定所述子集中的任意一个子集为所述训练集；将所述子集中的其他子集合并，并将合并后的所述子集中的其他子集作为测试集。本专利技术实施例提供的分类模型训练方法，通过将数据量有限的数据集划分为多个子集，进而利用不同的子集构建训练集和对应的测试集；通过对子集的遍历能够推演出多组不同的训练集和对应的测试集，从而实现了有限数据为基础的模型优化训练。结合第一方面，在第一方面第四实施方式中，所述将所述数据集划分为训练集和测试集，包括：对所述数据集进行若干次有放回抽样，并获取对应的抽样样本；将所述抽样样本合并，并确定合并后的所述抽样样本为所述训练集；确定所述数据集中不同于所述训练集的样本的集合为所述测试集。本专利技术实施例提供的分类模型训练方法，通过抽样的方式将数据量有限的数据集划分为训练集和对应的测试集，由于每次抽样所获样本不同，使得通过抽样能够在数据量有限的数据集上获得多组不同的训练集和对应的测试集，从而实现了有限数据为基础的模型优化训练。结合第一方面或第一方面第一至第四中的任一实施方式，在第一方面第五实施方式中，所述根据所述测试结果对训练后的所述预训练模型进行评估，包括：判断所述测试结果是否符合预设的应用需求；当所述测试结果符合预设的应用需求时，输出训练后的所述预训练模型。本专利技术实施例提供的分类模型训练方法，在利用训练集对预训练模型进行局部优化训练，以及利用测试集对预训练模型进行测试之后，通过比较测试结果与预设的应用需求之间是否符合，判断是否结束对预训练模型的优化训练，能够在每次训练后及时检验训练效果，避免训练达标后仍进行训练而造成时间损耗。结合第一方面第五实施方式，在第一方面第六实施方式中，所述根据所述测试结果对训练后的所述预训练模型进行评估，还包括：当所述测试结果不符合预设的应用需求时，重复执行所述将所述数据集划分为训练集和测试集；根据所述训练集训练所述预训练模型；根据所述测试集测试训练后的所述预训练模型，并获取测试结果；根据所述测试结果对训练后的所述预训练模型进行评估的步骤，直至所述测试结果符合预设的应用需求。本专利技术实施例提供的分类模型训练方法，利用测试集对预训练模型进行测试之后，如果发现模型仍不满足预设的应用需求时，通过更新训练集能够反复对预训练模型进行优化训练，从而保证最终所得分类模型能够符合预设的应用需求，保证分类模型在今后实际应用中的安全性和可靠性。根据第二方面，本专利技术实施例提供了一种分类模型训练装置，包括：输入单元，用于获取预设的预训练模型和数据集；数据划分单元，用于将所述数据集划分为训练集和测试集；训练单元，用于根据所述训练集训练所述预训练模型；测试单元，用于根据所述测试集测试训练后的所述预训练模型，并获取测试结果；评估单元，用于根据所述测试结果对训练后的所述预训练模型进行评估。根据第三方面，本专利技术实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面任一实施方式所述的分类模型训练方法的步骤。根据第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一实施方式所述的分类模型训练方法的步骤。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的分类模型训练方法的一个具体示例的流程图；图2是本专利技术实施例提供的分类模型训练方法的另一个具体示例的流程图；图3是本专利技术实施例提供的分类模型训练方法的第三个具体示例的流程图；图4是本专利技术实施例提供的分类模型训练方法的第四个具体示例的流程图；图5是本专利技术实施例提供的分类模型训练装置的一个具体示例的结构示意图；图6是本专利技术实施例提供的终端设备的一个具体示例的结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具本文档来自技高网...

【技术保护点】
1.一种分类模型训练方法，其特征在于，包括：获取预设的预训练模型和数据集；将所述数据集划分为训练集和测试集；根据所述训练集训练所述预训练模型；根据所述测试集测试训练后的所述预训练模型，并获取测试结果；根据所述测试结果对训练后的所述预训练模型进行评估。

【技术特征摘要】
1.一种分类模型训练方法，其特征在于，包括：获取预设的预训练模型和数据集；将所述数据集划分为训练集和测试集；根据所述训练集训练所述预训练模型；根据所述测试集测试训练后的所述预训练模型，并获取测试结果；根据所述测试结果对训练后的所述预训练模型进行评估。2.如权利要求1所述的分类模型训练方法，其特征在于，所述将所述数据集划分为训练集和测试集，包括：将所述数据集划分为两个互斥的集合；确定所述两个互斥的集合中的任意一个集合为所述训练集；确定所述两个互斥的集合中的另一个集合为所述测试集。3.如权利要求2所述的分类模型训练方法，其特征在于，所述训练集和所述测试集具有相同的数据分布特性。4.如权利要求1所述的分类模型训练方法，其特征在于，所述将所述数据集划分为训练集和测试集，包括：将所述数据集划分为若干相同大小的子集；确定所述子集中的任意一个子集为所述训练集；将所述子集中的其他子集合并，并将合并后的所述子集中的其他子集作为测试集。5.如权利要求1所述的分类模型训练方法，其特征在于，所述将所述数据集划分为训练集和测试集，包括：对所述数据集进行若干次有放回抽样，并获取对应的抽样样本；将所述抽样样本合并，并确定合并后的所述抽样样本为所述训练集；确定所述数据集中不同于所述训练集的样本的集合为所述测试集。6.如权利要求1至5中任一项所述的分类模型训练方法，其特征在于，所述根据所述测试结果...

【专利技术属性】
技术研发人员：王威，赵正旭，吴又奎，
申请(专利权)人：中科恒运股份有限公司，
类型：发明
国别省市：河北,13