用于确定机器学习样本的特征重要性的方法及系统技术方案

本发明专利技术提供了一种用于确定机器学习样本的特征重要性的方法及系统。所述方法包括：(A)确定机器学习样本的基本特征子集；(B)确定机器学习样本的重要性待确定的多个目标特征子集；(C)针对所述多个目标特征子集之中的每一个目标特征子集，获取相应的复合机器学习模型，其中，所述复合机器学习模型包括根据提升框架训练而成的基本子模型和附加子模型，其中，基本子模型基于基本特征子集训练而成，附加子模型基于所述每一个目标特征子集训练而成；以及(D)根据复合机器学习模型的效果来确定所述多个目标特征子集的重要性。根据所述方法和系统，能够以较低的运算代价有效地得出各个目标特征子集的重要性。个目标特征子集的重要性。个目标特征子集的重要性。

【技术实现步骤摘要】
用于确定机器学习样本的特征重要性的方法及系统
[0001]本申请是申请日为2017年6月15日、申请号为201710469134.1、题为“用于确定机器学习样本的特征重要性的方法及系统”的专利申请的分案申请。


[0002]本专利技术的示例性实施例总体说来涉及人工智能领域，更具体地说，涉及一种用于确定机器学习样本的特征重要性的方法及系统。

技术介绍

[0003]随着海量数据的出现，人工智能技术得到了迅速发展，而为了从海量数据中挖掘出价值，需要基于数据记录来产生适用于机器学习的样本。
[0004]这里，每条数据记录可被看做关于一个事件或对象的描述，对应于一个示例或样例。在数据记录中，包括反映事件或对象在某方面的表现或性质的各个事项，这些事项可称为“属性”。通过对数据记录的属性信息进行诸如特征工程等处理，可产生包括各种特征的机器学习样本。
[0005]实践中，机器学习模型的预测效果与模型的选择、可用的数据和样本特征的提取均有关系。此外，应用机器学习技术时还需要面对计算资源有限、样本数据不足等客观问题。因此，如何从原始数据记录的各个属性提取出机器学习样本的特征，将会对机器学习模型的效果带来很大的影响。相应地，不论从模型训练还是模型理解的角度来看，都很需要获知机器学习样本的各特征或特征组合的重要程度。例如，可根据基于XGBoost训练出的树模型，计算每个特征的期望分裂增益，然后计算特征重要性。上述方式虽然能考虑特征之间的相互作用，但训练代价高，且不同参数对特征重要性的影响较大。
[0006]实际上，特征的重要性难以直观确定，往往需要技术人员不仅掌握机器学习的知识，还需要对实际预测问题有深入的理解，而预测问题往往结合着不同行业的不同实践经验，这些因素都导致特征提取很难达到满意的效果。

技术实现思路

[0007]本专利技术的示例性实施例旨在克服现有技术中难以有效地衡量机器学习样本特征重要性的缺陷。
[0008]根据本专利技术的示例性实施例，提供一种用于确定机器学习样本的特征重要性的方法，包括：(A)确定机器学习样本的基本特征子集，其中，基本特征子集包括至少一个基本特征；(B)确定机器学习样本的重要性待确定的多个目标特征子集，其中，每一个目标特征子集包括至少一个目标特征；(C)针对所述多个目标特征子集之中的每一个目标特征子集，获取相应的复合机器学习模型，其中，所述复合机器学习模型包括根据提升框架训练而成的基本子模型和附加子模型，其中，基本子模型基于基本特征子集训练而成，附加子模型基于所述每一个目标特征子集训练而成；以及(D)根据复合机器学习模型的效果来确定所述多个目标特征子集的重要性。
[0009]可选地，在所述方法中，在步骤(D)中，根据复合机器学习模型在相同数据集上的效果之间的差异来确定所述多个目标特征子集的重要性。
[0010]可选地，在所述方法中，复合机器学习模型的效果包括复合机器学习模型的AUC。
[0011]可选地，在所述方法中，所述目标特征基于基本特征而产生。
[0012]可选地，在所述方法中，所述目标特征为通过对至少一个基本特征进行组合而得到的组合特征。
[0013]可选地，在所述方法中，在步骤(C)中，通过并行地训练多个复合机器学习模型来获取与每一个目标特征子集相应的复合机器学习模型。
[0014]可选地，在所述方法中，目标特征子集包括通过对至少一个基本特征进行组合而得到的一个组合特征，并且，所述方法还包括：(E)以图形化方式向用户展示确定的各个组合特征的重要性。
[0015]可选地，在所述方法中，在步骤(C)中，通过在固定已经训练出的基本子模型的情况下训练附加子模型来获取相应的复合机器学习模型。
[0016]可选地，在所述方法中，基本子模型和附加子模型的类型相同。
[0017]根据本专利技术的另一示例性实施例，提供一种用于确定机器学习样本的特征重要性的介质，其中，在所述计算机可读介质上记录有用于执行上述方法的计算机程序。
[0018]根据本专利技术的另一示例性实施，提供一种用于确定机器学习样本的特征重要性的计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行上述方法。
[0019]根据本专利技术的另一示例性实施例，提供一种用于确定机器学习样本的特征重要性的系统，包括：基本特征子集确定装置，用于确定机器学习样本的基本特征子集，其中，基本特征子集包括至少一个基本特征；目标特征子集确定装置，用于确定机器学习样本的重要性待确定的多个目标特征子集，其中，每一个目标特征子集包括至少一个目标特征；复合机器学习模型获取装置，用于针对所述多个目标特征子集之中的每一个目标特征子集，获取相应的复合机器学习模型，其中，所述复合机器学习模型包括根据提升框架训练而成的基本子模型和附加子模型，其中，基本子模型基于基本特征子集训练而成，附加子模型基于所述每一个目标特征子集训练而成；以及重要性确定装置，用于根据复合机器学习模型的效果来确定所述多个目标特征子集的重要性。
[0020]可选地，在所述系统中，重要性确定装置根据复合机器学习模型在相同数据集上的效果之间的差异来确定所述多个目标特征子集的重要性。
[0021]可选地，在所述系统中，复合机器学习模型的效果包括复合机器学习模型的AUC。
[0022]可选地，在所述系统中，所述目标特征基于基本特征而产生。
[0023]可选地，在所述系统中，所述目标特征为通过对至少一个基本特征进行组合而得到的组合特征。
[0024]可选地，在所述系统中，复合机器学习模型获取装置通过并行地训练多个复合机器学习模型来获取与每一个目标特征子集相应的复合机器学习模型。
[0025]可选地，在所述系统中，目标特征子集包括通过对至少一个基本特征进行组合而得到的一个组合特征，并且，所述系统还包括：显示装置，以图形化方式向用户展示确定的各个组合特征的重要性。
[0026]可选地，在所述系统中，复合机器学习模型获取装置通过在固定已经训练出的基本子模型的情况下训练附加子模型来获取相应的复合机器学习模型。
[0027]可选地，在所述系统中，基本子模型和附加子模型的类型相同。
[0028]在根据本专利技术示例性实施例的确定机器学习样本的特征重要性的方法及系统中，每个复合机器学习模型被构建为包括基于提升框架的基本子模型(与基本特征子集对应)和附加子模型(与重要性待确定的某个目标特征子集对应)，相应地，根据各个复合机器学习模型的效果，能够以较低的运算代价有效地得出各个目标特征子集的重要性。
附图说明
[0029]从下面结合附图对本专利技术实施例的详细描述中，本专利技术的这些和/或其他方面和优点将变得更加清楚并更容易理解，其中：
[0030]图1示出根据本专利技术示例性实施例的用于确定机器学习样本的特征重要性的系统的框图；
[0031]图2示出根据本专利技术示例性实施例的用于确定机器学习样本的特征重要性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于确定机器学习样本的特征重要性的方法，包括：(A)确定机器学习样本的基本特征子集，其中，基本特征子集包括至少一个基本特征；(B)确定机器学习样本的重要性待确定的多个目标特征子集，其中，每一个目标特征子集包括至少一个目标特征；(C)针对所述多个目标特征子集之中的每一个目标特征子集，获取相应的复合机器学习模型，其中，所述复合机器学习模型包括根据提升框架训练而成的基本子模型和附加子模型，其中，基本子模型基于基本特征子集训练而成，附加子模型基于所述每一个目标特征子集训练而成；以及(D)根据复合机器学习模型的效果来确定所述多个目标特征子集的重要性。2.如权利要求1所述的方法，其中，在步骤(D)中，根据复合机器学习模型在相同数据集上的效果之间的差异来确定所述多个目标特征子集的重要性。3.如权利要求1所述的方法，其中，所述目标特征基于基本特征而产生。4.如权利要求1所述的方法，其中，所述目标特征为通过对至少一个基本特征进行组合而得到的组合特征。5.如权利要求1所述的方法，其中，在步骤(C)中，通过并行地训练多个复合机器学习模型来获取与每一个目标特征子集相应的复合机器学习模型。6.如权利要求1所述的方法，其中，目标特征子集包括通过对至少一个基本特征进行组合而得到的一个组合特征，并且，所述方法还包括：(E)以图形化方式向用户展示确定的各个组合...

【专利技术属性】
技术研发人员：戴文渊，陈雨强，杨强，罗远飞，涂威威，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：