多标签分类模型的训练方法技术

本公开的实施例提供了多标签分类模型的训练方法、装置、设备和计算机可读存储介质。所述方法包括获取政务数据样本集；对所述政务数据样本集进行预处理，将样本集中的文本信息转化为语义向量；将所述语义向量作为输入，将所有事件标签的概率值作为输出，通过BERT模型构建多标签场景损失函数，采用transformer模型作为向量特征提取表示，训练多标签分类模型。以此方式，实现了对政务数据的快速精准分类。实现了对政务数据的快速精准分类。实现了对政务数据的快速精准分类。

【技术实现步骤摘要】
多标签分类模型的训练方法


[0001]本公开的实施例一般涉及模型训练
，并且更具体地，涉及多标签分类模型的训练方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]政务信息对企业起着生死攸关的作用，企业需要时刻了解政府的各项规章制度和招标信息，抓住重要机遇，实现企业的繁荣发展。国内有很多提供招标信息的服务公司，但政务信息不仅包括招标信息，还包括经济和税收政策、行业管理办法、创新创业、产业基地建设、示范项目、招标中标、人才引进等，这些对企业来说同样至关重要。因此，对国内政务信息实行分类，从中筛选出对企业有利的信息，能够帮助企业及时了解政府发布的动态，进而调整经营战略，实现企业的长远发展。
[0003]政务信息具有时效性和长期性，目前通用的分类方法为通过关键词碰撞匹配对政务信息分类，此方法需要人工接入，且泛化能力弱，迁移能力差，不仅增加人力成本，还可能导致企业无法及时获取有效信息，对政府的政策变化来不及做出反应。

技术实现思路

[0004]根据本公开的实施例，提供了一种多标签分类模型的训练方案。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多标签分类模型的训练方法，其特征在于，包括：获取政务数据样本集；对所述政务数据样本集进行预处理，将样本集中的文本信息转化为语义向量；将所述语义向量作为输入，将所有事件标签的概率值作为输出，通过BERT模型构建多标签场景损失函数，采用transformer模型作为向量特征提取表示，训练多标签分类模型。2.根据权利要求1所述的方法，其特征在于，所述对所述政务数据样本集进行预处理，将样本集中的文本信息转化为语义向量包括：对所述政务数据样本集进行分词处理，在每条文本数据的开头连接CLS标记；对分词后的文本数据进行embedding向量化表示，得到CLS语义编码向量。3.根据权利要求2所述的方法，其特征在于，所述多标签分类模型，采用如下损失函数作为优化目标：其中，所述N为负样本集合；所述P为正样本集合；所述 为类别为i在正样本中占比得分；所述 为类别为j在负样本中占比得分。4.根据权利要求3所述的方法，其特征在于，将最后一层的cls标记字符向量表示，作为下一层的输入向量：其中，所述n为单个单词向量长度。5.根据权利要求4所述的方法，其特征在于，还包括：设置全连接层，将CLS语义编码向量作为所述全连接层的输入，输出维度长度为事件的类别种类个数。6.根据权利要求5所述的方法，其特征在于，对BERT模型进行参数蒸馏处理：将所述BERT模型切分为X个模块，将第一模块...

【专利技术属性】
技术研发人员：吉文标，包利安，汤灏，
申请(专利权)人：北京零点有数数据科技股份有限公司，
类型：发明
国别省市：