分布式机器学习模型的训练方法、装置、电设备存储介质制造方法及图纸

本申请提供一种分布式机器学习模型的训练方法、装置、电设备存储介质,其中，分布式机器学习模型的训练方法包括删除所述权重集合中不满足预设条件的权重元素，并从所述边集合中删除所述不满足预设条件的权重元素对应的边，以得到第二节点关系图；基于所述第二节点关系图得到一个或多个第三节点关系图；基于所述第三节点关系图训练第二机器学习模型等步骤。本申请能够在保护用户数据隐私的前提下，完成机器学习模型的训练，与此同时，本申请能够克服分散训练数据不满足独立同分布条件时，分布式机器学习模型难以收敛的问题。分布式机器学习模型难以收敛的问题。分布式机器学习模型难以收敛的问题。

【技术实现步骤摘要】
分布式机器学习模型的训练方法、装置、电设备存储介质


[0001]本申请涉及人工智能领域，具体而言，涉及一种分布式机器学习模型的训练方法、装置、电设备存储介质。

技术介绍

[0002]目前，随着人工智能技术的飞速发展，人工智能技术的应用越来越广泛，已经被应用于图像分析、语音识别、文字处理、智能推荐、安全检测等多个领域。以机器学习为代表的人工智能技术强烈依赖于训练模型的数据，当模型训练数据来自多个分散的数据源，且数据源提供的数据涉及用户隐私、商业秘密等不可公开的数据时，传统的机器学习模型训练方式将难以部署实施。同时，由于邮件样本数据涉及用户隐私，且邮件样本数据具有不可公开特性，模型训练前难以摸清邮件样本数据的特征分布情况，难以确认邮件样本数据是否满足独立同分布的假设前提，难以针对性的选择和设计合适的机器学习模型。

技术实现思路

[0003]本申请实施例的目的在于提供一种分布式机器学习模型的训练方法、装置、电设备存储介质，用以在保护用户数据隐私的前提下，完成机器学习模型的训练，与此同时，本申请能够克服分散训练数据不满足独立同分布条件时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式机器学习模型的训练方法，其特征在于，所述方法应用于分布式系统中的服务器节点，所述方法包括：获取若干用户端节点发送的针对第一机器学习模型的若干个模型精确度，其中，所述模型精确度由所述用户端节点对其他所述用户端节点的模型进行测试得到；基于若干个所述模型精确度构建第一节点关系图，其中，所述第一节点关系图包括权重集合、顶点集合和边集合，所述顶点集合的顶点表征所述用户端节点、所述边集合的边表征所述用户端节点之间的模型测试关系，所述权重集合中的权重元素表征两个所述用户端节点之间的模型精确度平均值；删除所述权重集合中不满足预设条件的权重元素，并从所述边集合中删除所述不满足预设条件的权重元素对应的边，以得到第二节点关系图；基于所述第二节点关系图得到一个或多个第三节点关系图；基于所述第三节点关系图训练第二机器学习模型，其中，每个所述第三节点关系图对应一个所述第二机器学习模型。2.如权利要求1所述的方法，其特征在于，所述基于所述第三节点关系图训练得到第二机器学习模型，包括：将所述第二机器学习模型的第一模型参数发送给所述第三节点关系图中的每个所述用户端节点，以使所述第三节点关系图中的每个所述用户端节点基于所述第二机器学习模型的第一模型参数和本地样本数据训练所述第二机器学习模型，直至得到所述第二机器学习模型满足第一预设训练条件时的第二模型参数；获取每个所述用户端节点发送的所述第二模型参数；基于每个所述用户端节点的所述第二模型参数计算得到所述第二机器学习模型的第三模型参数；判断所述第三模型参数是否满足第二预设训练条件，若不满足所述第二预设训练条件，则迭代训练所述第二机器学习模型，直至所述第三模型参数满足所述第二预设训练条件。3.如权利要求2所述的方法，其特征在于，所述基于每个所述用户端节点的所述第二模型参数计算得到所述第二机器学习模型的第三模型参数，包括：确定所述第二模型参数的总数量；基于所述第二模型参数的总数量和每个所述第二模型参数计算所有所述第二模型参数的平均值；将所有所述第二模型参数的平均值作为所述第三模型参数。4.如权利要求1所述的方法，其特征在于，在所述基于若干个所述模型精确度构建第一节点关系图之后，所述删除所述权重集合中不满足预设条件的权重元素之前，所述方法还包括：对所述权重集合中的权重元素进行排序并确定值小于预设阈值的所述权重元素；将所述值小于预设阈值的所述权重元素确定为不满足预设条件的所述权重元素。5.如权利要求1所述的方法，其特征在于，所述基于所述第二节点关系图得到一个或多个第三节点关系图，包括：判断所述第二节点关系图是否为连通图，若是则确定一个所述第三节点关系图；
当所述第二节点关系图不是所述连通图时，则将所述第二节点关系图分割为多个所述第三节点关系图，所述第三节点关系图为连通子图。6.如权利要求1所述的方法，其特征在于，在所述获取针对第一机器学习模型的若干个模型精确度之前，所述方法还包括：将所述对第一机器学习模型的初始化模型参数发送给每个所述用户端节点，以使每个所述用户端节点基于所述第一机器学习模型的初始化模型参数训练所述第一机器学习模型，直至所述第一机器学习模型满足第三预设训练条件，其中，所述第一机器学习模型在第三预设训练条件下所对应的参数为所述用户端节点的模型参数。7.一种分布式机器学习模型的训练方法，其特征在于，所述方法应用于分布式系统中的若干个用户端节点，所述方法包括：向服务器节点发送针对第一机器学习模型的模型精确度，以使得所述服务器节点基于若干个所述模型精确度构建第一节点关系图，和删除所述权重集合中不满足预设条件的权重元素，和从所述边集合中删除所述不满足预设条件的权重元素对应的边以得到第二节点关系图，和基于所述第二节点关系图得到一个或多个第三节点关系图，和基于所述第三节点关系图训练第二机器学习模型，其中，所述第一节点关系图包括权重集合、顶点集合和边集合，所述顶点集合的顶点表征所述用户端节点、所述边集合的边表征所述用户端节点之间的模型测试关系，所述权重集合中的权重元素表征两个所述用户端节点之间的模型精确度平均值，每个所述第三节点关系图对应一个所述第二机器学习模型，所述模型精确度由所述用户端节点对其他所述用户端节点的模型进行测试得到。8.如权利要求7所述的方法，其特征在于，所述方法还包括：接收所述服务器节点发送的所述第二机器学习模型的第一模型参数，其中，所述用户端节点为所述第三节点关系图中的所述用户端节点；基于所述第二机器学习模型的第一模型参数和本地样本数据训练所述第二机器学习模型，直至得到所述第二机器学习模型...

【专利技术属性】
技术研发人员：江军，李雪莹，王炜，陈世武，
申请(专利权)人：北京天融信科技有限公司北京天融信软件有限公司，
类型：发明
国别省市：