基于联邦机器学习算法与云端反馈的组合服务评估方法与系统技术方案

本发明专利技术公开了一种基于联邦机器学习算法与云端反馈的组合服务评估方法与系统，包括分布在不同地址的多个设备(1)、云端联邦机器学习服务器(2)、联邦数据训练模块(5)和全局数据存储模块(9)；将所述设备(1)分成数个分组(13)，每个所述分组(13)包括一定数量的所述设备(1)，每个所述设备(1)包括数据预处理模块(3)、数据传感模块(6)、单机存储模块(7)和数据读取模块(11)；所述云端联邦机器学习服务器(2)分别和联邦数据训练模块(5)和全局数据存储模块(9)数据通信连接。本发明专利技术通过采用分组联邦学习的模式，采用分组，利用小分组的计算能力小，对数据运行能力小的部分，放在小分组中，而数据运算能源需求高的计算部分，放在云端，从而可以利用运算能力更强的本地数据运输模块去进行最后大型运算需求的部分，提供更加优质和高效的模型构建方法和系统。

【技术实现步骤摘要】
基于联邦机器学习算法与云端反馈的组合服务评估方法与系统
本专利技术涉及在联邦机器学习
，具体为一种基于联邦机器学习算法与云端反馈的组合服务评估方法与系统。
技术介绍
目前，随着科学技术的进步，科学技术制造和自动化控制，已经从从前的自动化进入到智能化的时代。而在智能化的时代，为了实现人工智能化的控制，通常需要获得相应的参数，根据相应的参数产生相应的操作的参数输入和对应参数输出之间的映射关系，并基于该参数输入和对应的参数输出，通过数据训练方法和神经网络学习方法，从而得到更广泛的参数输入和输出映射关系，进而提供给控制设备，以便实现智能化控制。而为了获得这种映射关系，需要对大量的数据进行训练和学习，而该过程通常是一个多维度的大型计算过程，因此，该智能化的操作通常需要计算机或者微型计算机去处理和厘清众多的逻辑关系和运算关系，从而其需要进行大量的数学计算和逻辑计算，这必然会提高对处理器的逻辑计算能力需求，而大规模集成电路或超大规模集成电路的运算处理能力，也直接影响到了其生产成本。而对有智能化的计算和人工智能的发展，其对处理器的运算处理能力需求本文档来自技高网...

【技术保护点】
1.一种基于联邦机器学习算法与云端反馈的组合服务评估系统，包括分布在不同地址的多个设备(1)、云端联邦机器学习服务器(2)、联邦数据训练模块(5)和全局数据存储模块(9)；将所述设备(1)分成数个分组(10)，每个所述分组(10)包括一定数量的所述设备(1)，每个所述设备(1)包括数据预处理模块(3)、数据传感模块(6)、单机存储模块(7)和数据读取模块(11)；所述云端联邦机器学习服务器(2)分别和联邦数据训练模块(5)和全局数据存储模块(9)数据通信连接；/n数据训练融合子模块(4)，所述数据训练融合子模块(4)设置于部分所述设备(1)上，设置有所述数据训练融合子模块(4)的所述设备(1)...

【技术特征摘要】
1.一种基于联邦机器学习算法与云端反馈的组合服务评估系统，包括分布在不同地址的多个设备(1)、云端联邦机器学习服务器(2)、联邦数据训练模块(5)和全局数据存储模块(9)；将所述设备(1)分成数个分组(10)，每个所述分组(10)包括一定数量的所述设备(1)，每个所述设备(1)包括数据预处理模块(3)、数据传感模块(6)、单机存储模块(7)和数据读取模块(11)；所述云端联邦机器学习服务器(2)分别和联邦数据训练模块(5)和全局数据存储模块(9)数据通信连接；
数据训练融合子模块(4)，所述数据训练融合子模块(4)设置于部分所述设备(1)上，设置有所述数据训练融合子模块(4)的所述设备(1)上设置局域数据存储模块(8)；
所述联邦数据训练模块(5)和所述全局数据存储模块(9)设置于专门提供运算和存储的场所；
云端联邦机器学习服务器(2)，用于对所有参与联邦机器学习的所述设备(1)进行数据训练调度操作；所述云端联邦机器学习服务器(2)数据通信连接所述数据读取模块(11)、所述数据训练融合子模块(4)和所述局域数据存储模块(8)；所述单机存储模块(7)还分别和所述数据预处理模块(3)和数据读取模块(11)数据通信连接；
其特征在于：所述设备(1)在运行时，安装在所述设备(1)上的所述数据获取模块(6)获取该设备(1)上的运行数据和结果数据，形成数据记录，并将所述数据记录存储于所述设备(1)的所述单机存储模块(7)，所述数据预处理模块(3)读取存储于所述单机存储模块(7)中的所述数据记录，并利用数理统计方法和设定的要求去分析每条所述数据记录，在发现某条数据记录出现明显不合理时，将该条数据记录删除；
所述云端联邦机器学习服务器(2)对所有的设备(1)进行分组，将所有的所述设备(1)按照一定的规则分成数个分组(10)，并保证每个所述分组(10)中的所述设备(1)中存在至少一个所述数据训练融合子模块(4)，并指定其中的一个所述数据训练融合子模块(4)为该所述分组的数据训练融合子模块和对应于的所述局域数据存储模块(8)用于存储该分组的数据和数据联邦子模型；
所述云端联邦机器学习服务器(2)还将所述分组(10)的信息发送给所述数据读取模块(11)、所述数据训练融合子模块(4)和所述联邦数据训练模块(5)，并且修改所述数据读取模块(11)、所述数据训练融合子模块(4)和所述联邦数据训练模块(5)的所述数据记录的读取权限，以保证相应的数据能够实现数据记录的存取；
所述数据训练融合子模块(4)依据所述云端联邦机器学习服务器(2)分配的读取权限，和其对应的分组的所述数据读取模块(11)建立数据通信连接，从而所述数据训练融合子模块(4)通过所述数据读取模块(11)读取存储于所述单机存储模块(7)中存储的数据记录进行数据学习训练，得出该分组的数据联邦子模型，并将该分组的数据联邦子模型和随机从获得该数据联邦子模型中应用的数据记录中抽取一定量的数据记录发送给对应的所述局域数据存储模块(8)；
所述联邦数据训练模块(5)通过所述云端联邦机器学习服务器(2)读取存储于所述局域数据存储模块(8)中的所述数据联邦子模型和所述数据记录，对所有所述联邦子模型采取参数加权的模式得出总的所述数据联邦模型，并利用读取的抽取的数据记录进行数据训练，从而得出总的所述数据联邦模型，并发送给所述全局数据存储模块(9)进行存储；
所述云端联邦机器学习服务器(2)从所有设备(1)上的所述单机存储模块(7)任意抽取一定数量的数据记录，用于对所述总的所述数据联邦模型进行校验，在所述数据记录利用该总的所述数据联邦模型进行校验中，数据输出和数据记录中的数据符合模型精度要求时，则该总的所述数据联邦模型建立完成，否则，在所述局域数据存储模块(8)中储存的随机抽取的数据记录重新随机抽取，并再次利用所述联邦数据训练模块(5)进行建立总的所述数据联邦模型的过程。


2.根据权利要求1所述的一种基于联邦机器学习算法与云端反馈的组合服务评估系统，其特征在于：所述云端联邦机器学习服务器(2)和所述数据读取模块(11)、所述数据训练融合子模块(4)、所述联邦数据训练模块(5)和全局数据存储模块(9)进行数据通信时采用标准化数据接口，可以实现其中的设备标准化替换。


3.根据权利要求1所述的一种基于联邦机器学习算法与云端反馈的组合服务评估系统，其特征在于：在利用所述云端联邦机器学习服务器(2)对所有的设备(1)进行分组时，预先获取各所述设备(1)的数据记录量的大小，并且分组时，将数据记录量大的在同一分组，而数据记录量小的为一个分组，以便防止数据记录量大的数据记录在进行数据训练时淹没了数量记录量小的数据，以便构建总的所述数据联邦模型准确性。


4.根据权利要求1所述的一种基于联邦机器学习算法与云端反馈的组合服务评估系统，其特征在于：在利用所述云端联邦机器学习服务器(2)对所有...

【专利技术属性】
技术研发人员：邢廷炎，施凯阳，周长兵，
申请(专利权)人：中国地质大学北京，
类型：发明
国别省市：北京;11