机器学习模型的建模可行性的评估方法及装置制造方法及图纸

本申请实施例提供一种机器学习模型的建模可行性的评估方法及装置，所述方法包括：利用待建模的特征数据集和建模目标标签对待采用的机器学习模型进行训练和测试，获得基准评价指标，特征数据集包括客户的基本信息和/或财务信息，建模目标标签表示客户行为的预测结果；对待建模的特征数据集中的特征数据进行干扰，获得干扰特征数据；利用包含干扰特征数据的特征数据集和所述建模目标标签对待采用的机器学习模型进行训练和测试，获得干扰评价指标；以及根据所述基准评价指标和所述干扰评价指标，评价基于待建模的特征数据集针对建模目标标签的建模可行性。通过本申请实施例，有助于提升建模效率，降低建模资源的开销，包括人力资源和计算资源。力资源和计算资源。力资源和计算资源。

【技术实现步骤摘要】
机器学习模型的建模可行性的评估方法及装置


[0001]本申请涉及人工智能领域，特别涉及机器学习模型的建模可行性的评估方法及装置。

技术介绍

[0002]随着金融业数字化转型进程的不断深化，以机器学习为代表的人工智能技术的应用越来越丰富，机器学习技术已经广泛地应用于各类金融业务，如营销、风险控制等。
[0003]在利用机器学习技术的情况下，对于所针对的金融业务，预先设定目标标签，然后利用机器学习模型基于输入的特征数据输出目标标签的结果，也可称为目标标签的预测结果。
[0004]应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的
技术介绍
部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

技术实现思路

[0005]专利技术人发现，在基于机器学习的金融业务建模问题中，如何判断在现有的特征体系下针对金融业务的建模问题是否切实可行，也就是说如何判断现有的特征数据集对于目标标签的预测问题是否具有充分的可解性，成为了一大亟待解决的难题，现有技术中未披露相关的技术。
[0006]为了解决上述问题中的至少一个，本申请实施例提供一种机器学习模型的建模可行性的评估方法及装置，判断现有特征体系对于业务的建模问题是否具有充分的可解性，实现业务问题的建模可行性的评估。
[0007]根据本申请第一方面的实施例，提供了一种机器学习模型的建模可行性的评估方法，所述方法包括：
[0008]步骤S1，利用待建模的特征数据集和建模目标标签对待采用的机器学习模型进行训练和测试，获得基准评价指标，所述特征数据集包括客户的基本信息和/或财务信息，所述建模目标标签表示客户行为的预测结果；
[0009]步骤S2，对待建模的特征数据集中的特征数据进行干扰，获得干扰特征数据；
[0010]步骤S3，利用包含干扰特征数据的特征数据集和所述建模目标标签对待采用的机器学习模型进行训练和测试，获得干扰评价指标；以及
[0011]步骤S4，根据所述基准评价指标和所述干扰评价指标，评价基于所述待建模的特征数据集针对所述建模目标标签的建模可行性。
[0012]在一个或多个实施例中，所述步骤S1包括：
[0013]步骤S11，定义业务相关的模型效果评价指标；
[0014]步骤S12，将待建模的特征数据集、建模目标标签分为训练集和测试集；
[0015]步骤S13，利用所述待采用的机器学习模型，在所述训练集上训练所述机器学习模
型，得到训练完成的机器学习模型；
[0016]步骤S14，在所述测试集上对训练完成的机器学习模型进行测试，根据测试结果基于所述模型效果评价指标获得所述基准评价指标。
[0017]在一个或多个实施例中，循环执行所述步骤S13和所述S14，直到所述模型效果评价指标无法进行一步提升，将该情况下的模型效果评价指标作为所述基准评价指标。
[0018]在一个或多个实施例中，
[0019]在步骤S2中，对不同的特征数据分别进行干扰，
[0020]在步骤S3中，利用包含不同的干扰特征数据的特征数据集进行训练和测试，获得多个干扰评价指标，
[0021]在步骤S4中，根据所述多个干扰评价指标和所述干扰评价指标，评价基于所述待建模的特征数据集针对所述建模目标标签的建模可行性。
[0022]在一个或多个实施例中，在步骤S2中，根据步骤S1所获得的机器学习基准模型的特征数据的重要性，对所述特征数据进行排序，并对重要性排序较高的N个特征数据分别进行干扰，其中N大于零且小于所述待建模的特征数据集中包含的特征数据的个数。
[0023]在一个或多个实施例中，根据如下公式评价所述建模可行性：
[0024][0025]其中，Decay表示性能衰减比例，S
base
为所述基准评价指标，所述S
N
表示所述干扰评价指标。
[0026]在一个或多个实施例中，
[0027]所述干扰特征数据包括如下任意一者：按照特征数据的值域范围而产生的该值域范围内的随机数、对特征数据叠加随机噪音而生成的干扰特征数据、对整列特征数据进行滚动干扰而生成的干扰特征数据。
[0028]根据本申请第二方面的实施例，提供了一种机器学习模型的建模可行性的评估装置，所述装置包括：
[0029]基准评价指标获得模块，利用待建模的特征数据集和建模目标标签对待采用的机器学习模型进行训练和测试，获得基准评价指标；
[0030]干扰特征数据获得模块，对待建模的特征数据集中的特征数据进行干扰，获得干扰特征数据；
[0031]干扰评价指标获得模块，利用包含干扰特征数据的特征数据集和所述建模目标标签对待采用的机器学习模型进行训练和测试，获得干扰评价指标；以及
[0032]建模可行性评价模块，根据所述基准评价指标和所述干扰评价指标，评价基于所述待建模的特征数据集针对所述建模目标标签的建模可行性。
[0033]根据本申请其它方面的实施例，提供一种计算机设备，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本申请第一方面实施例所述的评估方法。
[0034]根据本申请其它方面的实施例，提供一种计算机可读的存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的评估方法。
[0035]本申请实施例的有益效果之一在于：
[0036]对待建模的特征数据集中的特征数据进行干扰，并利用包含干扰特征数据的特征数据集进行机器学习模型的训练和测试，获得干扰评价指标，根据基准评价指标和干扰评价指标，评价基于待建模的特征数据集针对所述建模目标标签的建模可行性。由此，能够判断现有特征体系对于业务的建模问题是否具有充分的可解性，实现业务问题的建模可行性的评估，有助于提升建模效率，降低建模资源的开销，包括人力资源和计算资源。
[0037]参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。
[0038]针对一种实施方式描述以及示出的特征信息可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征信息相组合，或替代其它实施方式中的特征信息。
[0039]应该强调，术语“包括/包含”在本文使用时指特征信息、整件、步骤或组件的存在，但并不排除一个或更多个其它特征信息、整件、步骤或组件的存在或附加。
附图说明
[0040]为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习模型的建模可行性的评估方法，其特征在于，所述方法包括：步骤S1，利用待建模的特征数据集和建模目标标签对待采用的机器学习模型进行训练和测试，获得基准评价指标，所述特征数据集包括客户的基本信息和/或财务信息，所述建模目标标签表示客户行为的预测结果；步骤S2，对待建模的特征数据集中的特征数据进行干扰，获得干扰特征数据；步骤S3，利用包含干扰特征数据的特征数据集和所述建模目标标签对待采用的机器学习模型进行训练和测试，获得干扰评价指标；以及步骤S4，根据所述基准评价指标和所述干扰评价指标，评价基于所述待建模的特征数据集针对所述建模目标标签的建模可行性。2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：步骤S11，定义业务相关的模型效果评价指标；步骤S12，将待建模的特征数据集、建模目标标签分为训练集和测试集；步骤S13，利用所述待采用的机器学习模型，在所述训练集上训练所述机器学习模型，得到训练完成的机器学习模型；步骤S14，在所述测试集上对训练完成的机器学习模型进行测试，根据测试结果基于所述模型效果评价指标获得所述基准评价指标。3.根据权利要求2所述的方法，其特征在于，循环执行所述步骤S13和所述步骤S14，直到所述模型效果评价指标无法进行一步提升，将该情况下的模型效果评价指标作为所述基准评价指标。4.根据权利要求1所述的方法，其特征在于，在步骤S2中，对不同的特征数据分别进行干扰，在步骤S3中，利用包含不同的干扰特征数据的特征数据集进行训练和测试，获得多个干扰评价指标，在步骤S4中，根据所述多个干扰评价指标和所述基准评价指标，评价基于所述待建模的特征数据集针对所述建模目标标签的建模可行性。5.根据权利要求4所述的方法，其特征在于，在步骤S2...

【专利技术属性】
技术研发人员：李策，朱丹，刘晏萁，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：