【技术实现步骤摘要】
一种训练模型的方法及装置
本申请涉及数据处理
，尤其涉及一种训练模型的方法及装置。
技术介绍
现阶段，随着人工智能技术的深入发展，采用机器学习方法对模型进行训练逐渐成为算法开发领域的热门研究方向。具体地说，开发人员通常可以在客户端设备上开发可以用于训练模型的算法，并使用客户端设备获取的用于训练模型的数据集合和用于训练模型的算法进行模型训练，得到模型参数。然而，该种方法依赖于客户端设备的处理性能，对于比较复杂的算法或者处理量比较大的数据，若客户端设备的处理性能不够，可能会使得算法的运行时间较长，从而导致算法的运行效率较低，模型训练效果较差。为了提高算法的运行效率，得到比较好的模型训练效果，很多科研机构通常会构建专属的机器学习算法集群，并采用专属的机器学习算法集群中的多个客户端设备对私有数据进行训练。采用该种方法，虽然能够保证客户端设备的处理性能满足要求，但是构建专属的机器学习算法集群需要耗费大量的人力和物力，使得开发的成本较高；且，由于专属的机器学习算法集群可能并不能够被其他的科研机构所使用，因此可能会使得不同的科研机构构建不同的机器学习算法集群，从而造成资源...
【技术保护点】
1.一种训练模型的方法，其特征在于，该方法包括：客户端设备获取用于训练模型的数据集合的标识和用于训练模型的算法；所述客户端设备根据所述数据集合的标识，从区块链系统中获取与所述数据集合的标识对应的存储关系表，所述存储关系表包括所述数据集合的Y个数据子集的标识和所述Y个数据子集中每个数据子集所在的多个计算节点的标识；针对于第一数据子集，所述客户端设备根据所述存储关系表，确定所述第一数据子集所在的M个计算节点，并根据所述M个计算节点的第一属性信息，从所述M个计算节点中选择K个计算节点；所述第一数据子集为所述Y个数据子集中的任一数据子集；所述M个计算节点中每个计算节点的第一属性信息...
【技术特征摘要】
1.一种训练模型的方法，其特征在于，该方法包括：客户端设备获取用于训练模型的数据集合的标识和用于训练模型的算法；所述客户端设备根据所述数据集合的标识，从区块链系统中获取与所述数据集合的标识对应的存储关系表，所述存储关系表包括所述数据集合的Y个数据子集的标识和所述Y个数据子集中每个数据子集所在的多个计算节点的标识；针对于第一数据子集，所述客户端设备根据所述存储关系表，确定所述第一数据子集所在的M个计算节点，并根据所述M个计算节点的第一属性信息，从所述M个计算节点中选择K个计算节点；所述第一数据子集为所述Y个数据子集中的任一数据子集；所述M个计算节点中每个计算节点的第一属性信息包括所述计算节点的在线稳定性、计算性能、计算成本、所述计算节点的计算结果可信度中的一项或多项；所述客户端设备将所述算法和所述数据集合的标识发送给所述K个计算节点，以使所述K个计算节点分别使用所述第一数据子集中的数据和所述算法对模型进行训练；所述客户端设备获取所述K个计算节点中的P个计算节点对应的所述第一数据子集的训练结果；其中，M≥K≥P，P≥2，M、K和P均为整数；所述客户端设备根据所述Y个数据子集中每个数据子集的训练结果，得到模型参数。2.根据权利要求1所述的方法，其特征在于，所述客户端设备获取所述K个计算节点中的P个计算节点对应的所述第一数据子集的训练结果之后，还包括：所述客户端设备对所述P个计算节点对应的所述第一数据子集的训练结果进行分析，若确定所述P个计算节点存在训练结果不可信的第一计算节点，则向区块链系统发送第一信息，所述第一信息用于指示所述区块链系统对所述第一计算节点的计算结果可信度进行更新。3.根据权利要求1至2中任一项所述的方法，其特征在于，所述方法还包括：所述客户端设备将第一收入分配策略分别发送给所述K个计算节点，所述第一收入分配策略包括训练模型所需时长最短的P个计算节点所能得到的收入。4.一种训练模型的方法，其特征在于，所述方法包括：区块链系统中的计算节点接收客户端设备发送的用于训练模型的算法和所述数据集合的标识；所述计算节点根据所述数据集合的标识，获取所述计算节点存储的所述数据集合的数据子集；所述计算节点使用所述数据子集中的数据和所述算法，对所述模型进行训练，并将得到训练结果的指示信息发送给所述客户...
【专利技术属性】
技术研发人员：张惠亮，刘胜，吴锋海，
申请(专利权)人：联动优势科技有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。