模型训练方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种模型训练方法、装置、电子设备及存储介质。其中，方法应用于物联网设备，所述方法包括：基于发布在区块链中的第一任务，获取至少一个第一数据；所述第一任务表征训练树状结构模型的任务；所述第一数据表征所述物联网设备采集得到的数据；根据所述至少一个第一数据生成第一直方图；所述第一直方图表征所述第一数据的分布情况；将所述第一直方图发送到第一边缘计算节点，以使所述第一边缘计算节点基于接收到的直方图进行所述第一任务中的树状结构模型的训练。务中的树状结构模型的训练。务中的树状结构模型的训练。

【技术实现步骤摘要】
模型训练方法、装置、电子设备及存储介质


[0001]本申请涉及物联网
，尤其涉及一种模型训练方法、装置、电子设备及存储介质。

技术介绍

[0002]相关技术中，在物联网领域中进行模型训练时，通常使用移动终端作为数据流转和训练的设备，而移动终端受限的存储资源导致无法处理大量的样本数据，使得模型训练的效率降低。

技术实现思路

[0003]有鉴于此，本申请实施例提供一种模型训练方法、装置、电子设备及存储介质，以至少解决无法处理大量的样本数据，使得模型训练的效率降低的问题。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供了一种模型训练方法，应用于物联网设备，所述方法包括：
[0006]基于发布在区块链中的第一任务，获取至少一个第一数据；所述第一任务表征训练树状结构模型的任务；所述第一数据表征所述物联网设备采集得到的数据；
[0007]根据所述至少一个第一数据生成第一直方图；所述第一直方图表征所述第一数据的分布情况；
[0008]将所述第一直方图发送到第一边缘计算节点，以使所述第一边缘计算节点基于接收到的直方图进行所述第一任务中的树状结构模型的训练。
[0009]本申请实施例还提供了另一种模型训练方法，应用于第一边缘计算节点，所述方法包括：
[0010]接收至少一个第一直方图；所述第一直方图表征由与至少一个边缘计算节点中每个边缘计算节点匹配的物联网设备上传的直方图；所述第一直方图为物联网设备根据第一任务获取的至少一个第一数据生成的；所述第一任务表征基于第一根节点训练树状结构模型的任务；
[0011]对所述至少一个第一直方图进行合并处理，生成第二直方图；
[0012]基于所述第二直方图，通过拜占庭共识与决策树验证算法对所述树状结构模型进行训练。
[0013]本申请实施例还提供了一种模型训练装置，包括：
[0014]获取单元，用于基于发布在区块链中的第一任务，获取至少一个第一数据；所述第一任务表征训练树状结构模型的任务；所述第一数据表征物联网设备采集得到的数据；
[0015]第一生成单元，用于根据所述至少一个第一数据生成第一直方图；所述第一直方图表征所述第一数据的分布情况；
[0016]发送单元，用于将所述第一直方图发送到第一边缘计算节点，以使所述第一边缘计算节点基于接收到的直方图进行所述第一任务中的树状结构模型的训练。
[0017]本申请实施例还提供了另一种模型训练装置，包括：
[0018]接收单元，用于接收至少一个第一直方图；所述第一直方图表征由与至少一个边缘计算节点中每个边缘计算节点匹配的物联网设备上传的直方图；所述第一直方图为物联网设备根据第一任务获取的至少一个第一数据生成的；所述第一任务表征基于第一根节点训练树状结构模型的任务；
[0019]第二生成单元，用于对所述至少一个第一直方图进行合并处理，生成第二直方图；
[0020]训练单元，用于基于所述第二直方图，通过拜占庭共识与决策树验证算法对所述树状结构模型进行训练。
[0021]本专利技术实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
[0022]其中，所述处理器用于运行所述计算机程序时，执行上述任一方法的步骤。
[0023]本专利技术实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
[0024]在本申请实施例中，当物联网设备接收发布在区块链的模型训练任务的时候，物联网设备负责采集的数据作为模型训练的数据样本，发送给边缘计算节点进行模型训练，能够在模型训练的过程中不停地汇入新的数据样本，提高模型训练的效率以及保证模型训练过程中所需要的资源。
附图说明
[0025]图1为相关技术中模型训练的系统架构图；
[0026]图2为本申请一实施例提供的模型训练系统架构示意图；
[0027]图3为本申请一实施例提供的模型训练方法的实现流程示意图；
[0028]图4为本申请又一实施例提供的模型训练方法的实现流程示意图；
[0029]图5为本申请又一实施例提供的模型训练方法的实现流程示意图；
[0030]图6为本申请又一实施例提供的模型训练方法的实现流程示意图；
[0031]图7为本申请又一实施例提供的模型训练方法的实现流程示意图；
[0032]图8为本申请又一实施例提供的模型训练方法的实现流程示意图；
[0033]图9为本申请一实施例提供的根据环形全局规约传输第一直方图的示意图；
[0034]图10为本申请一实施例提供的模型训练方法的实现流程示意图；
[0035]图11为本申请一实施例提供的模型训练装置的结构示意图；
[0036]图12为本申请又一实施例提供的模型训练装置的结构示意图；
[0037]图13为本申请实施例电子设备的硬件组成结构示意图。
具体实施方式
[0038]下面结合附图及具体实施例对本专利技术作进一步详细的说明。
[0039]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。
[0040]需要说明的是，本专利技术实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
[0041]另外，在本专利技术实例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0042]在对本申请实施例的技术方案进行详细说明之前，首先对相关技术中的机器学习模型架构进行简单说明。
[0043]在现实生活中，智能家居设备的数量呈现出增长的趋势，而智能家居设备数量的增加，将会产生巨大的数据，相关技术中，基于大数据的智能家居概念主要由IoT设备、移动终端、现代无线通信、云与边缘计算、大数据分析和人工智能组成，因此，在移动终端之间保持无缝连接，并且同时利用大数据分析和人工智能技术来获得用户的使用习惯，从而提供更优质的服务和产品，成为急需解决的问题。在相关技术中，提出了一种分层众包联邦学习(FL，Federated Learning)系统来构建机器学习模型，以利于在智能家居场景中提供更优质的服务与优化相关设备的功能。如图1所示，图1示出了相关技术中模型训练的系统架构图，其中，图1所示的系统主要由三个组件组成，制造商、客户和区块链，其中，制造商用于提出一项众包FL任务的要求，对众包FL任务感兴趣的客户将基于样本数据进行训练而生成的模型提交到区块链中，最后，区块链充当集中式服务器收集客户的模型，并由选定的边缘节点为制造商计算并生成全局FL模型。
[0044]如图1所示的系统架构主要存在三个方面的技术问题。第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，应用于物联网设备，所述方法包括：基于发布在区块链中的第一任务，获取至少一个第一数据；所述第一任务表征训练树状结构模型的任务；所述第一数据表征所述物联网设备采集得到的数据；根据所述至少一个第一数据生成第一直方图；所述第一直方图表征所述第一数据的分布情况；将所述第一直方图发送到第一边缘计算节点，以使所述第一边缘计算节点基于接收到的直方图进行所述第一任务中的树状结构模型的训练。2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个第一数据生成第一直方图，包括：根据设定的第一分割点，将所述至少一个第一数据切分为第一数据集与第二数据集；根据所述第一数据集与所述第二数据集，生成第一直方图。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在存在第二数据的情况下，确定所述第二数据在所述第一直方图中落入的第一区间；所述第二数据表征所述物联网设备新采集到的数据；根据所述第一区间以及所述第二数据的第一数据量，更新所述第一直方图。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在第二数据对应的第一区间超出所述第一直方图的区间范围的情况下，确定第二区间与第三区间；所述第二区间表征所述第一直方图中对应的样本数量最小的区间；所述第三区间表征所述第二区间相邻的区间中对应的样本数量最小的区间；在所述第一直方图中将所述第二区间与所述第三区间进行合并，生成第四区间。5.根据权利要求1所述的方法，其特征在于，在所述将所述第一直方图发送到第一边缘计算节点之前，所述方法还包括：向所述第一边缘计算节点上报第一信息；其中，所述第一信息表征所述物联网设备的设备信息；所述第一边缘节点基于所述第一信息与所述物联网设备进行配对。6.根据权利要求1所述的方法，其特征在于，在根据所述至少一个第一数据生成第一直方图之后，所述方法还包括：存储所述第一直方图中记载的数据统计信息。7.根据权利要求2所述的方法，其特征在于，所述方法还包括：基于拉普拉斯机制，在所述第一直方图上加入设定强度的噪声。8.一种模型训练方法，其特征在于，应用于第一边缘计算节点；所述方法包括：接收至少一个第一直方图；所述第一直方图表征由与至少一个边缘计算节点中每个边缘计算节点匹配的物联网设备上传的直方图；所述第一直方图为物联网设备根据第一任务获取的至少一个第一数据生成的；所述第一任务表征基于第一根节点训练树状结构模型的任务；对所述至少一个第一直方图进行合并处理，生成第二直方图；基于所述第二直方图，通过拜占庭共识与决策树验证算法对所述树状结构模型进行训练。9.根据权利要求8所述的方法，其特征在于，在所述接收至少一个第一直方图时，所述
方法包括：接收第一物联网设备上报的第一信息；所述第一信息表征所述第一物联网设备的设备信息；基于所述第一信息对第一物联网设备进行认证，并在认证通过后与第一物联网设备进行配对；在与第一物联网设备处于配对的状态下，接收第一物联网设备上传的第一直方图。10.根据权利要求8所述的方法，其特征在于，所述对所述至少一个直方图进行合并处理，生成第二直方图时，所述方法包括：根据环形全局规约，从至少...

【专利技术属性】
技术研发人员：刘利军，柏洪涛，万莉莉，吴菡，王晓，谭飞越，严子易，韩宇龙，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：