【技术实现步骤摘要】
基于人工智能的数据处理方法、装置、计算机设备及介质
本专利技术涉及人工智能
,具体涉及一种基于人工智能的数据处理方法、装置、计算机设备及介质。
技术介绍
在训练集和预测集存在较长时间间隔的模型预测场景中,例如,在保险代理人留存预测场景中,训练集和预测集的时间间隔可长达一年,数据的分布和模型的预测能力会随着时间发生一定的波动,此类不稳定数据的存在导致模型预测风险加大。专利技术人在实现本专利技术的过程中发现,现有技术中为了降低模型预测的风险,利用特征选择的方式剔除不稳定的数据,或者信息平滑化处理,虽然能够降低模型的预测风险,但由于剔除的这些不稳定的数据中仍存在有利于模型预测的信息,因此,损失了信息的多样性,导致模型的预测精度也随之降低。
技术实现思路
鉴于以上内容,有必要提出一种基于人工智能的数据处理方法、装置、计算机设备及介质,能够将原始数据处理为稳定的数据,且保留了数据的多样性。本专利技术第一方面提供一种基于人工智能的数据处理方法,所述方法包括:采用第一等频分箱模型对原始数据 ...
【技术保护点】
1.一种基于人工智能的数据处理方法,其特征在于,所述方法包括:/n采用第一等频分箱模型对原始数据进行分箱处理得到多个分箱数据,并根据所述多个分箱数据构建训练样本集;/n采用预设的多个拟合函数对所述训练样本集进行拟合计算得到每个拟合函数对应的拟合误差,并选取最小的拟合误差对应的拟合函数为目标拟合函数;/n切分所述训练样本集得到多个子训练样本集,采用所述目标拟合函数对所述多个子训练样本集进行拟合计算得到多个第一拟合参数;/n根据所述多个第一拟合参数计算测试样本集的多个第二拟合参数;/n根据所述多个第二拟合参数及所述目标拟合函数计算所述测试样本集的目标变量。/n
【技术特征摘要】
1.一种基于人工智能的数据处理方法,其特征在于,所述方法包括:
采用第一等频分箱模型对原始数据进行分箱处理得到多个分箱数据,并根据所述多个分箱数据构建训练样本集;
采用预设的多个拟合函数对所述训练样本集进行拟合计算得到每个拟合函数对应的拟合误差,并选取最小的拟合误差对应的拟合函数为目标拟合函数;
切分所述训练样本集得到多个子训练样本集,采用所述目标拟合函数对所述多个子训练样本集进行拟合计算得到多个第一拟合参数;
根据所述多个第一拟合参数计算测试样本集的多个第二拟合参数;
根据所述多个第二拟合参数及所述目标拟合函数计算所述测试样本集的目标变量。
2.如权利要求1所述的基于人工智能的数据处理方法,其特征在于,所述采用第一等频分箱模型对原始数据进行分箱处理得到多个分箱数据包括:
创建第一滑动窗口;
采用所述第一滑动窗口在所述原始数据中进行无重叠滑动,将每次滑动时所述第一滑动窗口对应的原始数据放入一个分箱中,得到多个分箱数据。
3.如权利要求1所述的基于人工智能的数据处理方法,其特征在于,所述根据所述多个分箱数据构建训练样本集包括:
计算每一个分箱数据中的多个指标变量的第一平均值及多个目标变量的第二平均值;
将每一个分箱数据对应的第一平均值及第二平均值作为一个训练样本;
基于所述多个分箱数据对应的训练样本构建训练样本集。
4.如权利要求1所述的基于人工智能的数据处理方法,其特征在于,所述根据所述多个第一拟合参数计算测试样本集的多个第二拟合参数包括:
将每个第一拟合参数按照时间顺序进行排序;
根据排序后的第一拟合参数计算参数拟合函数;
根据所述参数拟合函数及所述测试样本集的采集时间计算第二拟合参数。
5.如权利要求1至4中任意一项所述的基于人工智能的数据处理方法,其特征在于,所述方法还包括:
计算所述每个子训练样本集中空值样本占正样本的第一比例;
将所述多个第一比例按照时间顺序进行排序,并根据排序后的多个第一比例计算比例拟合函数;
根据所述比例拟合函数及所述测试样本集的采集时间计算第二比例;
根据所述第二比例确定所述测试样本集中正样本中的空值样本的数量。
6.如权利要求5所述的基于人工智能的数据处理方法,其特...
【专利技术属性】
技术研发人员:张巧丽,林荣吉,
申请(专利权)人:中国平安人寿保险股份有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。