一种确定模型参数的方法及客户端设备技术

本申请实施例公开了一种确定模型参数的方法及客户端设备，其中方法包括：通过将数据集合划分为Y个数据子集，客户端设备可以为每一个数据子集选择N个节点进行存储，且可以在接收到N个节点中的M个节点已成功存储的指示信息后，选择K个节点进行算法运行，并接收K个节点中的P个节点的训练结果；进一步地，客户端设备可以根据Y个数据子集中每个数据子集的训练结果，得到模型的参数。本申请实施例中，通过采用区块链系统中的节点训练模型，可以无需构建专属的机器学习算法群，从而可以节省成本，减少社会资源的浪费；且，通过选择区块链系统中具有较强存储和处理能力的节点运行算法，可以提高模型的训练效率，进而得到较好的模型训练效果。

【技术实现步骤摘要】
一种确定模型参数的方法及客户端设备
本专利技术涉及数据处理
，尤其涉及一种确定模型参数的方法及客户端设备。
技术介绍
现阶段，随着人工智能技术的深入发展，采用机器学习方法对模型进行训练逐渐成为算法开发领域的热门研究方向。具体地说，开发人员通常可以在客户端设备上开发可以用于训练模型的算法，并使用该算法对存储在客户端设备上的用于训练模型的私有数据进行处理，得到模型参数。然而，该种方法依赖于客户端设备的处理性能，对于比较复杂的算法或者处理量比较大的数据，若客户端设备的处理性能不够，可能会使得算法的运行时间较长，从而导致算法的运行效率较低，模型训练效果较差。为了提高算法的运行效率，得到比较好的模型训练效果，很多科研机构通常会构建专属的机器学习算法集群，并采用专属的机器学习算法集群中的多个客户端设备对私有数据进行训练。采用该种方法，虽然能够保证客户端设备的处理性能满足要求，但是构建专属的机器学习算法集群需要耗费大量的人力和物力，使得开发的成本较高；且，由于专属的机器学习算法集群可能并不能够被其他的科研机构所使用，因此可能会使得不同的科研机构构建不同的机器学习算法集群，从而造成资源的浪费。综上，目前亟需一种确定模型参数的方法，用于解决采用现有技术构建专属的机器学习算法集群确定模型参数所导致的成本较高、资源浪费的技术问题。
技术实现思路
本申请实施例提供一种确定模型参数的方法，用于解决采用现有技术构建专属的机器学习算法集群确定模型参数所导致的成本较高、资源浪费的技术问题。本申请实施例提供的一种确定模型参数的方法，包括：客户端设备获取用于训练模型的数据集合和用于训练模型的算法；所述客户端设备根据所述数据集合的数据量，将所述数据集合划分为Y个数据子集；所述客户端设备根据区块链系统的W个节点中每个节点的第一属性信息，从所述W个节点中选择Q个节点；所述W个节点中每个节点的第一属性信息包括所述节点的存储成本和/或所述节点的数据最长保存时间；针对于第一数据子集，所述客户端设备根据所述Q个节点中每个节点的第二属性信息，从所述Q个节点中为所述第一数据子集选择N个节点，并将所述第一数据子集分别发送给所述N个节点；所述第一数据子集为所述Y个数据子集中的任一数据子集；所述Q个节点中每个节点的第二属性信息包括所述节点的在线稳定性、存储性能、存储成本、数据最长保存时间中的一项或多项；所述客户端设备在接收到所述N个节点中的M个节点分别发送的已成功存储所述第一数据子集的指示信息后，根据所述M个节点中每个节点的第三属性信息，从所述M个节点中选择K个节点；所述M个节点中每个节点的第三属性信息包括所述节点的在线稳定性、计算性能、计算成本、所述节点的计算结果可信度中的一项或多项；所述客户端设备将所述算法和所述数据集合的标识发送给所述K个节点，以使所述K个节点分别使用所述第一数据子集中的数据和所述算法对所述模型进行训练；所述客户端设备获取所述K个节点中的P个节点对应的所述第一数据子集的训练结果；其中，W≥Q≥N≥M≥K≥P，P≥2，W、Q、N、M、K、P均为整数；所述客户端设备根据所述Y个数据子集中每个数据子集的训练结果，得到模型参数。可选地，所述客户端设备获取所述K个节点中的P个节点对应的所述第一数据子集的训练结果之后，还包括：所述客户端设备对所述P个节点对应的所述第一数据子集的训练结果进行分析，若确定所述P个节点存在训练结果不可信的第一节点，则向区块链系统发送第一信息，所述第一信息用于指示所述区块链系统对所述第一节点的计算结果可信度进行更新。可选地，所述客户端设备将所述第一数据子集分别发送给所述N个节点，包括：所述客户端设备采用第二节点的公钥对所述第一数据子集进行加密，并将加密后的第一数据子集发送给所述第二节点，所述第二节点为所述N个节点中的任一节点。可选地，所述方法还包括：所述客户端设备将第一收入分配策略分别发送给所述N个节点，所述第一收入分配策略包括存储所述第一数据子集所需时长最短的M个节点所能得到的收入；和/或，所述客户端设备将第二收入分配策略分别发送给所述K个节点，所述第二收入分配策略包括训练模型所需时长最短的P个节点所能得到的收入。可选地，所述客户端设备为第二数据子集选择的节点不同于为第三数据子集选择的节点；所述第二数据子集和所述第三数据子集为所述Y个数据子集中的任意两个数据子集。本申请实施例提供一种客户端设备，该客户端设备包括：获取模块，用于获取用于训练模型的数据集合和用于训练模型的算法；划分模块，用于根据所述数据集合的数据量，将所述数据集合划分为Y个数据子集；处理模块，用于根据区块链系统的W个节点中每个节点的第一属性信息，从所述W个节点中选择Q个节点；所述W个节点中每个节点的第一属性信息包括所述节点的存储成本和/或所述节点的数据最长保存时间；针对于第一数据子集，根据所述Q个节点中每个节点的第二属性信息，从所述Q个节点中为所述第一数据子集选择N个节点，并将所述第一数据子集分别发送给所述N个节点；所述第一数据子集为所述Y个数据子集中的任一数据子集；所述Q个节点中每个节点的第二属性信息包括所述节点的在线稳定性、存储性能、存储成本、数据最长保存时间中的一项或多项；在接收到所述N个节点中的M个节点分别发送的已成功存储所述第一数据子集的指示信息后，根据所述M个节点中每个节点的第三属性信息，从所述M个节点中选择K个节点；所述M个节点中每个节点的第三属性信息包括所述节点的在线稳定性、计算性能、计算成本、所述节点的计算结果可信度中的一项或多项；将所述算法和所述数据集合的标识发送给所述K个节点，以使所述K个节点分别使用所述第一数据子集中的数据和所述算法对所述模型进行训练；获取所述K个节点中的P个节点对应的所述第一数据子集的训练结果；其中，W≥Q≥N≥M≥K≥P，P≥2，W、Q、N、M、K、P均为整数；根据所述Y个数据子集中每个数据子集的训练结果，得到模型参数。可选地，所述处理模块，还用于：对所述P个节点对应的所述第一数据子集的训练结果进行分析，若确定所述P个节点存在训练结果不可信的第一节点，则向区块链系统发送第一信息，所述第一信息用于指示所述区块链系统对所述第一节点的计算结果可信度进行更新。可选地，所述处理模块还用于：采用第二节点的公钥对所述第一数据子集进行加密，并将加密后的第一数据子集发送给所述第二节点，所述第二节点为所述N个节点中的任一节点。可选地，所述处理模块还用于：将第一收入分配策略分别发送给所述N个节点，所述第一收入分配策略包括存储所述第一数据子集所需时长最短的M个节点所能得到的收入；和/或，将第二收入分配策略分别发送给所述K个节点，所述第二收入分配策略包括训练模型所需时长最短的P个节点所能得到的收入。可选地，为第二数据子集选择的节点不同于为第三数据子集选择的节点；所述第二数据子集和所述第三数据子集为所述Y个数据子集中的任意两个数据子集。本专利技术的上述实施例中，通过将数据集合划分为Y个数据子集，客户端设备可以根据Q个节点中每个节点的第二属性信息，为每一个数据子集选择N个节点进行存储；且可以在接收到Q个节点中的M个节点分别发送的已成功存储该数据子集的指示信息后，根据M个节点中每个节点的第三属性信息，从M个节点中为训练模型的算法选择K个节点本文档来自技高网...

【技术保护点】
1.一种确定模型参数的方法，其特征在于，该方法包括：客户端设备获取用于训练模型的数据集合和用于训练模型的算法；所述客户端设备根据所述数据集合的数据量，将所述数据集合划分为Y个数据子集；所述客户端设备根据区块链系统的W个节点中每个节点的第一属性信息，从所述W个节点中选择Q个节点；所述W个节点中每个节点的第一属性信息包括所述节点的存储成本和/或所述节点的数据最长保存时间；针对于第一数据子集，所述客户端设备根据所述Q个节点中每个节点的第二属性信息，从所述Q个节点中为所述第一数据子集选择N个节点，并将所述第一数据子集分别发送给所述N个节点；所述第一数据子集为所述Y个数据子集中的任一数据子集；所述Q个节点中每个节点的第二属性信息包括所述节点的在线稳定性、存储性能、存储成本、数据最长保存时间中的一项或多项；所述客户端设备在接收到所述N个节点中的M个节点分别发送的已成功存储所述第一数据子集的指示信息后，根据所述M个节点中每个节点的第三属性信息，从所述M个节点中选择K个节点；所述M个节点中每个节点的第三属性信息包括所述节点的在线稳定性、计算性能、计算成本、所述节点的计算结果可信度中的一项或多项；所述客户端设备将所述算法和所述数据集合的标识发送给所述K个节点，以使所述K个节点分别使用所述第一数据子集中的数据和所述算法对所述模型进行训练；所述客户端设备获取所述K个节点中的P个节点对应的所述第一数据子集的训练结果；其中，W≥Q≥N≥M≥K≥P，P≥2，W、Q、N、M、K、P均为整数；所述客户端设备根据所述Y个数据子集中每个数据子集的训练结果，得到模型参数。...

【技术特征摘要】
1.一种确定模型参数的方法，其特征在于，该方法包括：客户端设备获取用于训练模型的数据集合和用于训练模型的算法；所述客户端设备根据所述数据集合的数据量，将所述数据集合划分为Y个数据子集；所述客户端设备根据区块链系统的W个节点中每个节点的第一属性信息，从所述W个节点中选择Q个节点；所述W个节点中每个节点的第一属性信息包括所述节点的存储成本和/或所述节点的数据最长保存时间；针对于第一数据子集，所述客户端设备根据所述Q个节点中每个节点的第二属性信息，从所述Q个节点中为所述第一数据子集选择N个节点，并将所述第一数据子集分别发送给所述N个节点；所述第一数据子集为所述Y个数据子集中的任一数据子集；所述Q个节点中每个节点的第二属性信息包括所述节点的在线稳定性、存储性能、存储成本、数据最长保存时间中的一项或多项；所述客户端设备在接收到所述N个节点中的M个节点分别发送的已成功存储所述第一数据子集的指示信息后，根据所述M个节点中每个节点的第三属性信息，从所述M个节点中选择K个节点；所述M个节点中每个节点的第三属性信息包括所述节点的在线稳定性、计算性能、计算成本、所述节点的计算结果可信度中的一项或多项；所述客户端设备将所述算法和所述数据集合的标识发送给所述K个节点，以使所述K个节点分别使用所述第一数据子集中的数据和所述算法对所述模型进行训练；所述客户端设备获取所述K个节点中的P个节点对应的所述第一数据子集的训练结果；其中，W≥Q≥N≥M≥K≥P，P≥2，W、Q、N、M、K、P均为整数；所述客户端设备根据所述Y个数据子集中每个数据子集的训练结果，得到模型参数。2.根据权利要求1所述的方法，其特征在于，所述客户端设备获取所述K个节点中的P个节点对应的所述第一数据子集的训练结果之后，还包括：所述客户端设备对所述P个节点对应的所述第一数据子集的训练结果进行分析，若确定所述P个节点存在训练结果不可信的第一节点，则向区块链系统发送第一信息，所述第一信息用于指示所述区块链系统对所述第一节点的计算结果可信度进行更新。3.根据权利要求1所述的方法，其特征在于，所述客户端设备将所述第一数据子集分别发送给所述N个节点，包括：所述客户端设备采用第二节点的公钥对所述第一数据子集进行加密，并将加密后的第一数据子集发送给所述第二节点，所述第二节点为所述N个节点中的任一节点。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述客户端设备将第一收入分配策略分别发送给所述N个节点，所述第一收入分配策略包括存储所述第一数据子集所需时长最短的M个节点所能得到的收入；和/或，所述客户端设备将第二收入分配策略分别发送给所述K个节点，所述第二收入分配策略包括训练模型所需时长最短的P个节点所能得到的收入。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述客户端设备为第二数据子集选择的节...

【专利技术属性】
技术研发人员：张惠亮，刘胜，吴锋海，
申请(专利权)人：联动优势科技有限公司，
类型：发明
国别省市：北京,11