一种模型构建方法、装置及存储介质制造方法及图纸

本申请实施例涉及模型构建领域，并提供一种模型构建方法、装置及存储介质，对输入的初始数据进行联邦整合处理，对联邦整合处理后的初始数据进行筛选得到初筛数据，对初筛数据中各特征项的数据值进行特征转换得到转换特征数据，对转换特征数据中的特征项进行降维处理得到降维特征数据，根据降维特征数据进行神经网络建模得到目标模型。本方案通过对联邦整合后的初始数据进行筛选、对转换特征数据中的特征项进行降维处理，以减少特征项的数量，通过对初筛数据中各特征项的数据值进行特征转换，以减少特征项对应数据值的类型，通过减少数据规模以减少数据处理的工作量，可缩短建模时间，提高了通过联邦学习进行模型构建的效率。提高了通过联邦学习进行模型构建的效率。提高了通过联邦学习进行模型构建的效率。

A model construction method, device and storage medium

【技术实现步骤摘要】
一种模型构建方法、装置及存储介质


[0001]本申请实施例涉及模型构建
，尤其涉及一种模型构建方法、装置及存储介质。

技术介绍

[0002]联邦学习(Federated Learning)是一种新兴的人工智能基础技术，其设计目标是在合法合规的前提下，保障大数据交换时的信息安全且保护终端数据和个人数据隐私的前提下，在多参与方或多计算结点之间开展高效率的机器学习。联邦学习通过密码学编码技术，对传输的数据进行编码及解码等操作，实现了不泄露明文的前提下，用多方数据共同训练模型，实现了数据的可用不可见，保证了数据的安全性。
[0003]然而在联邦学习过程中，需要多方数据进行叠加整合以在模型训练过程中实现联邦学习，如对所输入的初始数据中特征不同、样本相同的数据进行特征叠加，对初始数据中特征相同、样本不同的数据进行样本量叠加，然而对多方数据进行叠加整合后，数据量急剧扩张，在对模型进行训练过程中需要耗费较长时间，增加了整个联邦学习流程的运行时间，导致联邦学习效率不高。
[0004]目前在CN202110677368.1这一专利中，公开了一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型构建方法，其特征在于，所述方法包括：对获取的初始数据进行联邦整合处理；所述初始数据从至少两个数据源方获取；所述初始数据为结构化的文字数据，所述初始数据包含样本的数据值及样本的标签，所述数据值与特征项对应；对联邦整合处理后的所述初始数据进行筛选，得到初筛数据；所述初筛数据包含的特征项数量少于联邦整合处理后的所述初始数据中的特征项数量；对所述初筛数据中各特征项的数据值进行特征转换，得到转换特征数据；对所述转换特征数据中的特征项进行降维处理，得到降维特征数据；根据所述降维特征数据进行神经网络建模，得到目标模型。2.根据权利要求1所述的方法，其特征在于，所述对所述转换特征数据中的特征项进行降维处理，得到降维特征数据之后，所述根据所述降维特征数据进行神经网络建模之前，所述方法还包括：对所述降维特征数据的样本进行聚类，得到多个样本类别；从每一所述样本类别中选取预定比例的样本，得到缩减样本数量的降维特征数据。3.根据权利要求1所述的方法，其特征在于，所述对所述转换特征数据中的特征项进行降维处理，得到降维特征数据之后，所述根据所述降维特征数据进行神经网络建模之前，所述方法还包括：按照样本类型对所述降维特征数据的样本进行聚类，得到多个候选样本集，所述候选样本集包括一种样本类别的样本；分别计算各候选样本集中各样本的特征系数；分别从各候选样本集中确定特征系数大于预设值的目标样本，得到目标样本集，所述目标样本集包括的目标样本数量少于所述降维特征数据中的样本数量。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述对联邦整合处理后的所述初始数据进行筛选，得到初筛数据，包括：对联邦整合处理后的所述初始数据中各特征项包含的数据值进行统计分析，得到每一所述特征项对应的筛选系数；从联邦整合处理后的所述初始数据中筛选出初筛数据，所述初筛数据为筛选系数满足预设筛选规则的特征项所包含的数据值。5.根据权利要求4所述的方法，其特征在于，所述筛选系数包括信息特征度、缺失度及相关系数，所述对联邦整合处理后的所述初始数据中各特征项包含的数据值进行统计分析，得到每一所述特征项对应的筛选系数，包括：对每一特征项的数据值分别进行特征度计算，得到每一所述特征项对应的信息特征度；对每一特征项的数据值分别进行缺失比例统计，得到每一所述特征项对应的缺失度；对任意两个所述特征项的数据值进行相关系数计算，得到任意两个特征...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：