一种基于多用户加密的联邦学习可视化系统与方法技术方案

本发明专利技术提供了一种基于多用户加密的联邦学习可视化系统与方法，包括本地终端和服务中心。所述本地终端用于完成模型的建立、训练以及结果的显示，所述服务中心用于接收各个本地终端发送的数据并对预处理后的数据以资源包形式进行保存；所述服务中心设有特征模块用于对接收的加密数据进行特征计算并赋予特征标签，所述服务中心设有对齐模块用于计算两个资源包之间的对齐结果。用户通过本地终端的操作模块能够自由选择合适的资源包作为训练数据，本地终端的显示模块能够以拖拉拽算法因子组件的形式方便用户建模、显示建模过程、模型训练过程、参数变化情况以及模型运行对比情况。本系统在训练数据和生成模型的选择上具有极大的选择自由度。大的选择自由度。大的选择自由度。

A federated learning visualization system and method based on multi-user encryption

【技术实现步骤摘要】
一种基于多用户加密的联邦学习可视化系统与方法


[0001]本专利技术涉及联邦学习
，具体涉及一种基于多用户加密的联邦学习可视化系统与方法。

技术介绍

[0002]在大多数行业中,由于行业竞争、隐私安全、行政手续复杂等问题,数据常常是以孤岛的形式存在的，甚至即使是在同一个公司的不同部门之间实现数据集中整合也面临着重重阻力，在现实中想要将分散在各地、各个机构的数据进行整合几乎是不可能的,或者说所需的成本是巨大的。随着人工智能的进一步发展,重视数据隐私和安全已经成为了世界性的趋势。联邦机器学习是一个机器学习框架，可以在保护数据隐私、满足合法合规要求的前提下进行机器学习，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。
[0003]现在已经开发出了很多联邦学习系统，经过我们大量的检索与参考，发现现有技术的系统有如公开号为CN112862112A、CN111507481A、US20200364608A1、CN107316280B和CN114266293A所公开的系统，这些系统一般包括：多个计算节点，各计算节点通过网络通信且存储有联邦学习配置文件，各计算节点经过至少一次迭代训练过程联合训练联邦学习模型，直至迭代终止条件到达时，得到已联合训练完成的联邦学习模型。但这些系统在选择用于训练的数据时由系统自主进行选择，且选择的数据适用性参差不齐，用户无法直观地了解到这些数据的适用性。

技术实现思路

[0004]本专利技术的目的在于，针对上述联邦学习系统存在的不足，提出了一种基于多用户加密的联邦学习可视化系统与方法。
[0005]本专利技术采用如下技术方案：一种基于多用户加密的联邦学习可视化系统，包括本地终端和服务中心，所述本地终端包括加密模块、标签模块、传输模块、操作模块、训练模块和显示模块，所述服务中心包括认证模块、特征模块、存储模块和对齐模块，所述加密模块用于对本地数据进行加密处理，所述标签模块用于给加密数据添加用户标签，所述传输模块用于在本地终端与服务模块间进行数据传输，所述操作模块用于查询、下载所述服务中心的数据资源、所述训练模块用于根据下载的数据资源对模型进行训练，所述显示模块用于显示建模过程以及模型的对比情况，所述认证模块用于对接收的加密数据的用户标签进行可信认证，所述特征模块用于对接收的加密数据进行特征计算并赋予特征标签，所述存储模块将所述加密数据以资源包的形式进行存储，所述对齐模块用于计算两个资源包之间的对齐结果；所述特征模块内设置有多个特征计算单元，每个特征计算单元对应一个特征标签，每个特征标签具有多个子属类别，所述子属类别为对应的特征计算单元选择输入的数据类别，所述对齐模块根据下式计算出最终对齐值P2，P2越大代表两个资源包之间的对齐
结果越好，此时，用户可根据该对齐值P2决定是否下载资源包：；其中，为资源包A拥有的特征标签数量，为资源包B拥有的特征标签数量，为资源包A与资源包B共有的特征标签数量，为资源包A拥有的所有子属类别数量，为资源包B拥有的所有子属类别数量，为资源包A与资源包B共有的子属类别数量，AT表示资源包A的特征标签集合，BT表示资源包B的特征标签集合，Ai表示资源包A的第i个特征标签，Bj表示资源包B的第j个特征标签，表示特征标签具有的子属类别集合，表示特征标签Bj具有的子属类别集合，为子属类别重合函数，用于表示两个不同的特征标签的子属类别重合度；其中，；其中，N()表示集合的元素个数；用户通过在所述操作模块中选择资源包计算对齐结果，并根据对齐结果选择下载资源包用于所述训练模块，所述显示模块能够以拖拉拽算法因子组件的形式方便用户建模、显示建模过程、模型训练过程中的参数变化情况及模型运行对比情况，用户在所述显示模块中选择任意时间点生成具有对应参数值的模型，所述显示模块中的模型在运行后显示运行结果，所述显示模块能够显示多个模型运行结果的对比情况，用户在所述显示模块中能够导出模型并生成可移植程序；进一步的，所述操作模块包含三个互动区域，第一互动区域用于显示本地用户上传的资源包，第二互动区域用于显示所述服务中心的所有特征标签，所述第二互动区域中的特征标签具有选中状态或未选中状态，所述第三互动区域用于显示含有选中状态特征标签的所有资源包；进一步的，用户能够在所述操作模块中下载需要的资源包，并将第一互动区域中的资源包和第三互动区域中已下载的资源包拖拽至所述训练模块中，启动所述训练模块后，所述训练模块根据含有的资源包进行模型训练；进一步的，所述特征计算单元从接收的数据中选择对应的数据作为输入数据，所述输入数据经所述特征计算单元计算处理后得到一个输出值，当所述输出值处于设定范围内时，赋予该数据对应的特征标签，一份数据能够同时具有多个特征标签；进一步的，所述显示模块中还包括评价单元，所述评价单元根据每个模型的参数变化情况计算出对应模型的评价指标Q，所述评价指标在所述显示模块中显示；所述评价指标Q的取值越大，表示模型的效果越好，所述评价指标Q的计算公式为：
；其中，n表示模型的参数数量，表示第k个模型参数的评估值；的计算公式为：；其中，为第k个模型参数的最近变化的m个取值的标准差，为第k个模型参数的最近变化的m个取值的平均数，为第k个模型参数的最近变化的2m个取值的标准差，为第k个模型参数的最近变化的2m个取值的平均数，m的具体取值由用户自行设定；所述模型参数的评估值用于表示参数的收敛性和稳定性的综合情况；用于所述的基于多用户加密的联邦学习可视化系统的一种基于多用户加密的联邦学习可视化系统方法，包括如下步骤：S1、所述本地终端将本地的原始数据进行加密处理；S2、所述本地终端将加密数据赋予用户标签；S3、所述本地终端进行本地模型训练，将加密训练梯度数据上传至服务中心；S4、所述服务中心对接收到的加密训练梯度数据进行可信身份认证；S5、所述服务中心对通过认证的加密训练梯度数据进行特征计算，得到特征标签；S6、所述服务中心生成资源包并根据所述特征标签分类保存；S7、用户通过所述本地终端下载所述服务中心上的资源包；S8、用户将下载的资源包用于模型迭代训练；S9、所述本地终端显示建模过程、模型训练过程中的参数变化情况及模型运行对比情况，用户选择任意时间点获取对应的模型；S10、用户输入待执行数据，模型调用待执行数据后自动运行并显示运行结果；S11、用户根据多个模型的运行结果对比情况选择合适的模型导出成可移植程序。
[0006]本专利技术所取得的有益效果是：本系统首先实现了通过拖拉拽组件的形式直接而高选择自由的智能建模，并且本系统的高选择自由度体现在两个方面，一是训练数据的处理过程，二是对模型的选择与训练过程。本系统通过对所有用户上传的数据进行计算并添加特征标签，并根据特征标签计算出任意两个资源包的对齐结果，用户通过对齐结果更好地选择训练需要的资源包。本系统通过显示模块来实现数据的处理与模型的选择和训练，显示模块能够以拖拉拽算法因子组件的形式方便用户建模、显示建模过程、模型训练过程中的参数变化情况及模型运行对比情况，用户能够选择任意时间生成对应的模型，在输入待执行数据后，显本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多用户加密的联邦学习可视化系统，其特征在于，包括本地终端和服务中心，所述本地终端包括加密模块、标签模块、传输模块、操作模块、训练模块和显示模块，所述服务中心包括认证模块、特征模块、存储模块和对齐模块，所述加密模块用于对本地数据进行加密处理，所述标签模块用于给加密数据添加用户标签，所述传输模块用于在本地终端与服务中心间进行数据传输，所述操作模块用于查询、下载所述服务中心的数据资源，所述训练模块用于根据下载的数据资源对模型进行训练，所述显示模块用于显示模型的训练过程以及模型的对比情况，所述认证模块用于对接收的加密数据的用户标签进行可信认证，所述特征模块用于对接收的加密数据进行特征计算并赋予特征标签，所述存储模块将所述加密数据以资源包的形式进行存储，所述对齐模块用于计算两个资源包之间的对齐结果；所述特征模块内设置有多个特征计算单元，每个特征计算单元对应一个特征标签，每个特征标签具有多个子属类别，所述子属类别为对应的特征计算单元选择输入的数据类别，所述对齐模块根据下式计算出最终对齐值P2，P2越大代表两个资源包之间的对齐结果越好，此时，用户可根据该对齐值P2决定是否下载资源包：；其中，为资源包A拥有的特征标签数量，为资源包B拥有的特征标签数量，为资源包A与资源包B共有的特征标签数量，为资源包A拥有的所有子属类别数量，为资源包B拥有的所有子属类别数量，为资源包A与资源包B共有的子属类别数量，AT表示资源包A的特征标签集合，BT表示资源包B的特征标签集合，Ai表示资源包A的第i个特征标签，Bj表示资源包B的第j个特征标签，表示特征标签具有的子属类别集合，表示特征标签Bj具有的子属类别集合，为子属类别重合函数，用于表示两个不同的特征标签的子属类别重合度；其中，；其中，N()表示集合的元素个数；用户通过在所述操作模块中选择资源包计算对齐结果，并根据对齐结果选择下载资源包用于所述训练模块，所述显示模块能够以拖拉拽算法因子组件的形式方便用户建模、显示建模过程、模型训练过程中参数变化情况及模型运行对比情况，用户在所述显示模块中选择任意时间点生成具有对应参数值的模型，所述显示模块中的模型在运行后显示运行结果，所述显示模块能够显示多个模型运行结果的对比情况，用户在所述显示模块中能够导出模型并生成可移植程序。2.如权利要求1所述的一种基于多用户加密的联邦学习可视化系统，其特征在于，所述操作模块包含三个互动区域，第一互动区域用于显示本地用户上传的资源包，第二互动区域用于显示...

【专利技术属性】
技术研发人员：武铁铮，薛金燕，田璐璐，
申请(专利权)人：青岛鑫晟汇科技有限公司，
类型：发明
国别省市：