分类模型的训练方法、数据分类方法及装置制造方法及图纸

技术编号:28376181 阅读:20 留言:0更新日期:2021-05-08 00:03
本发明专利技术提供了一种分类模型的训练方法、数据分类方法及装置,涉及数据分类技术领域,包括:获取训练样本集合;其中,所述训练样本集合包括第一类样本子集合和第二类样本子集合,所述第一类样本子集合的样本数量与所述第二类样本子集合的样本数量的比值大于预设阈值;从所述第一类样本子集合中抽取第一指定数量的第一采样样本,以及从所述第二类样本子集合中抽取第二指定数量的第二采样样本;从所述训练样本集合的各个样本特征中抽取第三指定数量的采样特征;利用所述第一采样样本、所述第二采样样本和所述采样特征对分类模型进行训练果。本发明专利技术可以有效解决数据分类中正、负样本分布不均衡问题,提高模型预测能力。

【技术实现步骤摘要】
分类模型的训练方法、数据分类方法及装置
本专利技术涉及数据分类
,尤其是涉及一种分类模型的训练方法、数据分类方法及装置。
技术介绍
随着智能化进程不断推进,机器学习技术也不断完善,为人们的工作和生活带来了很多成果。利用机器学习进行建模需要很多特征,但是在实际应用中,有些特征对模型输出结果贡献率很低,甚至会硬性模型输出效果。除此以外,还会出现正、负样本不均衡的问题,比如,金融市场中债券违约的企业与非违约企业的数量比;银行贷款中还款人数与不还款人数的数量比。出现上述正、负样本不均衡时,机器学习模型进行预测的能力会大大折扣。综上所述,数据中正、负样本不均衡问题影响着机器学习模型的预测能力。
技术实现思路
有鉴于此,本专利技术的目的在于提供一种分类模型的训练方法、数据分类方法及装置,可以有效改善数据分类中正、负样本分布不均衡问题,提高模型预测能力。第一方面,本专利技术实施例提供了一种分类模型的训练方法,包括:获取训练样本集合;其中,所述训练样本集合包括第一类样本子集合和第二类样本子集合,所述第一类样本子集合的样本数量与所述第二类样本子集合的样本数量的比值大于预设阈值;从所述第一类样本子集合中抽取第一指定数量的第一采样样本,以及从所述第二类样本子集合中抽取第二指定数量的第二采样样本;从所述训练样本集合的各个样本特征中抽取第三指定数量的采样特征;利用所述第一采样样本、所述第二采样样本和所述采样特征对分类模型进行训练。在一种实施方式中,所述从所述第一类样本子集合中抽取第一指定数量的第一采样样本,以及从所述第二类样本子集合中抽取第二指定数量的第二采样样本的步骤,包括:采用不放回抽样算法从所述第一类样本子集合中抽取第一指定数量的第一采样样本;其中,所述第一指定数量为去重处理后的第二采样样本数量;以及,采用放回抽样算法从所述第二类样本子集合中抽取第二指定数量的第二采样样本;其中,所述第二指定数量为所述第二类样本子集合所包含的样本数量。在一种实施方式中,在所述利用所述第一采样样本、所述第二采样样本和所述采样特征对分类模型进行训练的步骤之前,所述方法还包括:对所述第二指定数量的第二采样样本进行去重处理。在一种实施方式中,所述从所述训练样本集合的各个样本特征中抽取第三指定数量的采样特征的步骤,包括:采用放回抽样算法从所述训练样本集合的各个样本特征中抽取第三指定数量的采样特征;其中,所述第三指定数量为所述训练样本集合中所包含的样本特征数量。第二方面,本专利技术实施例提供了一种数据分类方法,包括:获取待分类数据;通过预先训练得到的分类模型集合对所述待分类数据进行分类操作,得到所述待分类数据对应的多个候选分类结果;其中,所述分类模型集合包括多个分类模型,所述分类模型是采用如第一方面提供的任一项所述的分类模型的训练当合训练得到的;基于各个所述候选分类结果确定所述待分类数据对应的目标分类结果。在一种实施方式中,所述基于各个所述候选分类结果确定所述待分类数据对应的目标分类结果的步骤,包括:根据选举算法和各个所述候选分类结果确定所述待分类数据对应的目标分类结果。第三方面,本专利技术实施例还提供一种分类模型的训练装置,所述装置包括:样本获取模块,用于获取训练样本集合;其中,所述训练样本集合包括第一类样本子集合和第二类样本子集合,所述第一类样本子集合的样本数量与所述第二类样本子集合的样本数量的比值大于预设阈值;采样样本抽取模块,用于从所述第一类样本子集合中抽取第一指定数量的第一采样样本,以及从所述第二类样本子集合中抽取第二指定数量的第二采样样本;从所述训练样本集合的各个样本特征中抽取第三指定数量的采样特征;模型训练模块,用于利用所述第一采样样本、所述第二采样样本和所述采样特征对分类模型进行训练。第四方面,本专利技术实施例还提供一种数据分类装置,所述装置包括:数据获取模块,用于获取待分类数据;候选分类模块,用于通过预先训练得到的分类模型集合对所述待分类数据进行分类操作,得到所述待分类数据对应的多个候选分类结果;其中,所述分类模型集合包括多个分类模型,所述分类模型是采用如第一方面提供的任一项所述的分类模型的训练得到的;目标分类模块,用于基于各个所述候选分类结果确定所述待分类数据对应的目标分类结果。第五方面,本专利技术实施例还提供一种电子设备,包括存储器以及处理器;所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面和第二方面任一项所述的方法的步骤。第六方面,本专利技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述第一方面和第二方面任一项所述的方法。本专利技术实施例提供的一种分类模型的训练方法及装置,首先获取包含有第一类样本子集合和第二类样本子集合训练样本集合,第一类样本子集合的样本数量与第二类样本子集合的样本数量的大于预设阈值,然后从第一类样本子集合中抽取第一指定数量的第一采样样本、从第二类样本子集合中抽取第二指定数量的第二采样样本、从训练样本集合的各个样本特征中抽取第三指定数量的采样特征,最后利用采样抽取的第一采样样本、第二采样样本和采样特征对分类模型进行训练。上述方法提供了一种分类模型的训练方法,该方法能够根据第一指定数量对第一样本子集合进行采样,根据第二指定数量对第二样本子集合进行采样,以及根据第三指定数量对训练样本集合进行采样,从而得到样本数据更为均衡的第一采样样本和第二采样样本,在此基础上对分类模型的训练可以有效改善现有技术中存在的正、负样本不均衡的问题,本专利技术实施例通过上述方法对训练样本进行处理,并基于处理后的样本对分类模型进行训练,有效提高了分类模型的预测能力。本专利技术实施例提供的一种数据分类方法及装置,首先,获取待分类数据。然后,通过预先训练得到的分类模型集合对待分类数据进行分类操作,得到待分类数据对应的多个候选分类结果,最后根据各个候选分类结果确定待分类数据对应的目标分类结果,其中,上述分类模型集合中的各个分类模型均是采用上述分类模型的训练方法得到的。上述方法采用前述实施例提供的分类模型的训练方法训练得到多个分类模型,由于每个分类模型均具有较好的预测能力,在此基础上进一步从各个分类模型输出的候选分类结果中确定目标分类结果,可以进一步提高数据分类的准确性。本专利技术的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得本文档来自技高网...

【技术保护点】
1.一种分类模型的训练方法,其特征在于,包括:/n获取训练样本集合;其中,所述训练样本集合包括第一类样本子集合和第二类样本子集合,所述第一类样本子集合的样本数量与所述第二类样本子集合的样本数量的比值大于预设阈值;/n从所述第一类样本子集合中抽取第一指定数量的第一采样样本,以及从所述第二类样本子集合中抽取第二指定数量的第二采样样本;/n从所述训练样本集合的各个样本特征中抽取第三指定数量的采样特征;/n利用所述第一采样样本、所述第二采样样本和所述采样特征对分类模型进行训练。/n

【技术特征摘要】
1.一种分类模型的训练方法,其特征在于,包括:
获取训练样本集合;其中,所述训练样本集合包括第一类样本子集合和第二类样本子集合,所述第一类样本子集合的样本数量与所述第二类样本子集合的样本数量的比值大于预设阈值;
从所述第一类样本子集合中抽取第一指定数量的第一采样样本,以及从所述第二类样本子集合中抽取第二指定数量的第二采样样本;
从所述训练样本集合的各个样本特征中抽取第三指定数量的采样特征;
利用所述第一采样样本、所述第二采样样本和所述采样特征对分类模型进行训练。


2.根据权利要求1所述的方法,其特征在于,所述从所述第一类样本子集合中抽取第一指定数量的第一采样样本,以及从所述第二类样本子集合中抽取第二指定数量的第二采样样本的步骤,包括:
采用不放回抽样算法从所述第一类样本子集合中抽取第一指定数量的第一采样样本;其中,所述第一指定数量为去重处理后的第二采样样本的样本数量;
以及,采用放回抽样算法从所述第二类样本子集合中抽取第二指定数量的第二采样样本;其中,所述第二指定数量为所述第二类样本子集合所包含的样本数量。


3.根据权利要求1所述的方法,其特征在于,在所述利用所述第一采样样本、所述第二采样样本和所述采样特征对分类模型进行训练的步骤之前,所述方法还包括:
对所述第二指定数量的第二采样样本进行去重处理。


4.根据权利要求1所述的方法,其特征在于,所述从所述训练样本集合的各个样本特征中抽取第三指定数量的采样特征的步骤,包括:
采用放回抽样算法从所述训练样本集合的各个样本特征中抽取第三指定数量的采样特征;其中,所述第三指定数量为所述训练样本集合中所包含的样本特征数量。


5.一种数据分类方法,其特征在于,包括:
获取待分类数据;
通过预先训练得到的分类模型集合对所述待分类数据进行分类操作,得到所述待分类数据对应的多个候选分类结果;其中,所述分类模型集合包括多个分类模型,所述分类模型是采用如权利要求1-4任一项所述的分类模型的训练当合训练得到的;
基于各个所述候选分类结果确定所述待分类...

【专利技术属性】
技术研发人员:任亮傅雨梅徐兵罗刚
申请(专利权)人:北京知因智慧科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1