一种文本分类模型增量训练与持续部署的方法和系统技术方案

本发明专利技术实施例公开了一种文本分类模型增量训练与持续部署的方法和系统，所述方法包括：据用户输入的待分类文本数据生成反馈数据；根据选择的模型训练方式，基于待分类文本数据、反馈数据和导入的标注数据更新全量训练数据集、增量训练数据集和测试数据集；基于上述数据集，根据预先设置的模型训练规则，生成多个第一文本分类模型；根据预先设置的模型部署触发条件，从多个第一文本分类模型中选择满足模型部署触发条件的第一文本分类模型作为用于服务部署的第二文本分类模型。所述方法和系统降低了人工标注数据的成本，保证了根据持续更新的训练数据得到的文本分类模型能适应不断变化的业务场景的需求，简化了运维人员操作，提高了运维效率。提高了运维效率。提高了运维效率。

【技术实现步骤摘要】
一种文本分类模型增量训练与持续部署的方法和系统


[0001]本专利技术涉及数据分类领域，尤其是一种文本分类模型增量训练与持续部署的方法和系统。

技术介绍

[0002]文本分类是自然语言处理中的一项基础任务，有着非常广泛的应用，如垃圾邮件过滤，新闻分类，商品编码识别。目前分类性能最好的方法为深度学习模型，如fastText，CNN模型。此类模型依赖大量的标注数据才能正常工作，通常数据量越大效果越好。在实际生产实践中，存在如下问题：1)由于数据标注工作会消耗大量的人力，一次的标注数据量可能无法完全满足当前业务场景的模型。2)由于业务的场景的不断更新，基于以往的标注数据训练出的模型无法满足新业务需求。3)忽略了用户使用模型过程中的反馈意见。4)模型增量训练过程需要人工参与，模型无法及时进行训练。

技术实现思路

[0003]为了解决现有技术中文本分类模型增量训练与部署过程中出现的训练数据集中一次性标注数据量有限，无法满足业务场景，以及业务场景的更新带来的原有模型无法满足新业务需求，以及忽略用户使用模型过程中的反馈意见，模型增量训练需要人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分类模型增量训练与持续部署的方法，其特征在于，所述方法包括：根据用户输入的待分类文本数据生成反馈数据；根据选择的模型训练方式，基于待分类文本数据、反馈数据和导入的标注数据更新全量训练数据集、增量训练数据集和测试数据集；基于增量训练数据集、全量训练数据集和测试数据集，根据预先设置的模型训练规则，生成多个第一文本分类模型；根据预先设置的模型部署触发条件，从多个第一文本分类模型中选择满足模型部署触发条件的第一文本分类模型作为用于服务部署的第二文本分类模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括检测用于服务部署的第二文本分类模型的可用性，当第二文本分类模型可用时，将服务的外部访问流量切换到第二文本分类模型，停止用于服务部署的当前文本分类模型；当第二文本分类模型不可用时，生成警告信息。3.根据权利要求2所述的方法，其特征在于，根据用户输入的待分类文本数据生成反馈数据包括：针对用户输入的待分类文本数据，调用服务部署的当前文本分类模型，生成多个分类结果；当反馈数据生成方式为被动反馈时，从所述多个分类结果中选择一个分类结果作为反馈数据；当反馈数据生成方式为主动反馈时，舍弃所述多个分类结果，重新生成一个分类结果作为反馈数据。4.根据权利要求3所述的方法，其特征在于，根据选择的模型训练方式，基于待分类文本数据、反馈数据和导入的标注数据更新全量训练数据集、增量训练数据集和测试数据集包括：当模型训练方式为增量训练时，将待分类文本数据、反馈数据和第一标注数据添加至增量训练数据集，其中，导入的标注数据包括第一标注数据和第二标注数据，增量训练数据集的基数的初始值为0；当模型训练方式为全量训练时，根据数据添加触发策略将增量训练数据集中的元素和第一标注数据添加至全量训练数据集，其中，所述数据添加触发策略包括定时触发、定量触发和手动触发，所述定量触发是指增量训练数据集的基数达到设置的更新触发阈值后执行数据添加，全量训练数据集的基数的初始值为0；当进行增量训练或者全量训练时，将第二标注数据添加至测试数据集，其中，测试数据集的基数的初始值为0。5.根据权利要求4所述的方法，其特征在于，基于增量训练数据集、全量训练数据集和测试数据集，根据预先设置的模型训练规则，生成多个第一文本分类模型包括：根据选择的模型训练方式，确定训练文本分类模型的模型参数初始值；根据模型参数初始值，采用与模型训练方式对应的训练数据集，按照选择的模型训练触发方式进行模型训练，生成多个待定文本分类模型，其中，当模型训练方式为全量训练时，采用全量训练数据集，当模型训练方式为增量训练时，采用增量训练数据集，当模型训练触发方式为人工触发时，手动触发模型训练，当模型训练触发方式为定期触发时，按照设定的训练时段和训练方式触发模型训练，当模型训练触发方式为指标下降触发时，当检测
到模型性能指标下降至设定的训练触发阈值时，触发模型训练；对生成的每个待定文本分类模型，采用测试数据集检测模型性能，当待定文本分类模型的模型性能指标值大于预先设置的性能阈值，确定该待定文本分类模型为第一文本分类模型，当待定文本分类模型的模型性能指标值不大于预先设置的性能阈值，舍弃该待定文本分类模型。6.根据权利要求6所述的方法，其特征在于，根据预先设置的模型部署触发条件，从多个第一文本分类模型中选择满足模型部署触发条件的第一文本分类模型作为用于服务部署的第二文本分类模型包括：当模型部署触发条件为查询一个时间段内模型性能指标值最高的第一文本分类模型时，对多个第一文本分类模型的模型性能指标值按照从大到小进行排序；选择排序第一的第一文本分类模型为用于服务部署的第二文本分类模型。7.根据权利要求6所述的方法，其特征在于，所述方法还包括针对用于服务部署的第二文本分类模型，根据用户行为数据计算用户满意度，以及根据用户满意度区间与模型性能等级对应关系确定第二文本分类模型的性能等级，其中：根据用户行为数据计算用户满意度S的公式为：S＝(主动反馈次数+被动反馈次数)/调用第二文本分类模型次数。8.一种文本分类模型增量训练与持续部署的系统，其特征在于，所述系统包括：反馈数据模块，...

【专利技术属性】
技术研发人员：乔振浩，林文辉，王志刚，白雪珂，马兰，张朝霞，李瑞祥，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：