一种数据有效性的验证方法和装置制造方法及图纸

本说明书实施例提供一种数据有效性的验证方法和装置，其中，方法可以包括：根据训练样本中的入模变量和标签；将测试样本中的入模变量输入机器学习模型得到预测值；测试样本还包括标签；根据测试样本的标签和预测值，得到测试样本对应的残差；使用未入模变量回归拟合残差，得到第一回归评价指标；将残差发送至第二数据方，以使得第二数据方使用拥有的第二数据拟合残差，并得到第二回归评价指标；接收第二数据方返回的第二回归评价指标，以通过比较第二回归评价指标和第一回归评价指标确定第二数据的数据有效性。

【技术实现步骤摘要】
一种数据有效性的验证方法和装置
本公开涉及大数据
，特别涉及一种数据有效性的验证方法和装置。
技术介绍
随着互联网技术的飞速发展，整个社会被强行推入“大数据”时代。不管人们是否愿意，我们的个人数据正在不经意间被动地被企业、个人搜集并使用。个人数据的网络化和透明化已经成为不可阻挡的大趋势。与此同时，用户数据亦是危险的“潘多拉之盒”，数据一旦泄漏，用户的隐私将被侵犯。近年来，已经发生了多起用户隐私泄露事件，公民的个人的隐私数据保护遇到了严峻的挑战。大数据带来的整体性变革，使得个体用户很难对抗个人隐私被全面暴露的风险。面对频发的隐私泄露事件，隐私保护问题需要得到有效的解决。在实际业务当中，我们可能遇到这样的场景：需要借助第三方渠道的变量数据来提升现有模型的效果，仅当这些数据对我们建模会有帮助的时候，才购买相应的第三方数据。因此，我们需要在不获取第三方数据的情况下预先评判其有效性，并且在这个过程中不能泄露我方用户的隐私数据。
技术实现思路
有鉴于此，本说明书一个或多个实施例提供一种数据有效性的验证方法和装置，以在确定外部数据有效性的同时保护内部数据隐私。具体地，本说明书一个或多个实施例是通本文档来自技高网...

【技术保护点】
1.一种数据有效性的验证方法，所述方法应用于验证第二数据方拥有的第二数据是否有效；所述方法由第一数据方执行，所述第一数据方拥有的第一数据包括：机器学习模型的训练集和测试集；所述训练集包括多个训练样本，所述测试集包括多个测试样本；所述方法包括：根据训练样本中的入模变量和标签，训练所述机器学习模型；所述训练样本还包括未参与机器学习模型训练的未入模变量；将所述测试样本中的所述入模变量输入所述机器学习模型得到预测值；所述测试样本还包括标签，所述标签表示测试样本的入模变量输入机器学习模型的预期预测值；根据测试样本的标签和所述预测值，得到所述测试样本对应的残差；使用所述未入模变量回归拟合所述残差，得到第一...

【技术特征摘要】
1.一种数据有效性的验证方法，所述方法应用于验证第二数据方拥有的第二数据是否有效；所述方法由第一数据方执行，所述第一数据方拥有的第一数据包括：机器学习模型的训练集和测试集；所述训练集包括多个训练样本，所述测试集包括多个测试样本；所述方法包括：根据训练样本中的入模变量和标签，训练所述机器学习模型；所述训练样本还包括未参与机器学习模型训练的未入模变量；将所述测试样本中的所述入模变量输入所述机器学习模型得到预测值；所述测试样本还包括标签，所述标签表示测试样本的入模变量输入机器学习模型的预期预测值；根据测试样本的标签和所述预测值，得到所述测试样本对应的残差；使用所述未入模变量回归拟合所述残差，得到第一回归评价指标；将所述残差发送至第二数据方，以使得第二数据方使用拥有的第二数据拟合所述残差，并得到第二回归评价指标；接收所述第二数据方返回的第二回归评价指标，以通过比较所述第二回归评价指标和第一回归评价指标，来确定第二数据的数据有效性。2.根据权利要求1所述的方法，所述第一回归评价指标或第二回归评价指标，是均方误差。3.一种数据有效性的验证方法，所述方法由第二数据方执行，包括：接收第一数据方发送的残差，所述残差是第一数据方根据测试样本中的入模变量输入机器学习模型得到的预测值以及测试样本的标签得到；所述第一数据方拥有的第一数据包括：训练集和测试集，所述训练集包括多个训练样本，所述测试集包括多个测试样本；所述机器学习模型是根据训练样本中的入模变量和标签训练得到；所述训练样本中还包括未入模变量；接收第一数据方发送的样本标识，并根据所述样本标识进行样本匹配获得用于参与回归拟合的第二数据；基于所述第二数据回归拟合所述残差，得到第二回归评价指标；将所述第二回归评价指标返回给第一数据方，以使得第一数据方通过比较所述第二回归评价指标和第一回归评价指标来确定第二数据的数据有效性。4.根据权利要求3所述的方法，所述方法还包括：获取所述第二数据的如下至少一项参数：样本匹配率和变量缺失率；将所述样本匹配率和变量缺失率中的至少一项返回给第一数据方，以使得第一数据方结合所述参数和回归评价指标确定第二数据的有效性。5.根据权利要求3所述的方法，所述方法还包括：在基于所述第二数据回归拟合所述残差的过程中，得到第二数据中的各个变量的变量重要性权重；将所述各个变量的变量重要性权重，返回给所述第一数据方，以使得第一数据方根据变量重要性权重选择使用其中的部分变量。6.一种数据有效性的验证装置，所述装置应用于验证第二数据方拥有的第二数据是否有效；所述装置应用于第一数据方，所述第一数据方拥有的第一数据包括：机器学习模型的训练集和测试集；所述训练集包括多个训练样本，所述测试集包括多个测试样本；所述装置包括：模型训练模块，用于根据训练样本中的入模变量和标签，训练所述机器学习模型；所述训练样本还包括未参与机器学习模型训练的未入模变量；模型预测模块，用于将所述测试样本中的所述入模变量输入所述机器学习模型得到预测值；所述测试样本还包括标签，所述标签表示测试样本的入模变量输入机器学习模型的预期预测值；残差计算模块，用于根据测试样本的标签和所述预测值，得到测试样本对应的残差；回归处理模块，用于使用所述未入模变量回归拟合所述残差，得到第一回归评价指标；数据发送模块，用于将...

【专利技术属性】
技术研发人员：方文静，王力，周俊，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY