一种分布式AI系统的防投毒方法和系统技术方案

一种分布式AI系统的防投毒方法和系统，方法包括：接收各客户端节点发送的提交数据，基于提交数据更新中心模型，根据中心模型的误差与预期误差的差距判断当前系统是否存在中毒迹象，若否，则根据预定的策略对中心模型做镜像并通知各客户端节点清空缓存并重新进行数据缓存，缓存数据包括客户端节点的原始数据、处理算法和中间数据；否则，获取上一次模型镜像到当前时刻所有提交数据的客户端节点，并将该客户端节点作为风险节点，根据中心模型的误差与预期误差的差距计算风险节点的风险概率，基于风险概率获取风险节点的累计风险概率，根据累计风险概率对风险节点进行巡检，若存在中毒节点则将中毒节点下线，将中心模型恢复为上一次镜像的模型。一次镜像的模型。一次镜像的模型。

【技术实现步骤摘要】
一种分布式AI系统的防投毒方法和系统


[0001]本专利技术涉及分布式AI
，尤其涉及一种分布式AI系统的防投毒系统方法和系统。

技术介绍

[0002]分布式AI系统的安全性始终受到关注。因为作为一种大型的分布式网络系统，频繁的数据传输，带有终端特征的数据、调整或部分调整过的模型都是网络中实时运行中频繁同步的有用信息。而对于攻击者来说，通过破坏数据和伪造数据也成为可行的手段。以投毒攻击(Poisoning)为例：在分布式AI系统中，由于每个客户端都能够接触到模型参数以及训练数据，因此一些恶意的客户端很可能会将被篡改的数据或权重发送给服务器，从而影响全局模型。通常可以将投毒攻击分为三类，分别是数据投毒(Data Poisoning)，模型投毒(Model Poisoning)，数据修改(Data Modification)。
[0003]传统的防御方法分为两大类，主动防御(Proactive defense)和反应性防御(reactive defense)。主动防御是是猜测会面临到哪些威胁并布置好高效的防御技术的方法，而反应性防御是在发现攻击时进行的操作。但这两大类防御更多是理念而非实操方法，比如很难判定哪些是攻击者的威胁，甚至正常传输的一个数据包根据何种特征判定他是数据投毒、模型投毒。如果降低异常威胁数据的判定标准，则大量的数据需要鉴别或丢弃，造成系统运行时效率低下，如果提高异常威胁数据的判定标准，则可能大量的异常数据会被混入正常业务流程，造成系统运行时模型异常导致业务目标失败。因此，传统的分布式AI系统的防投毒方法识别效率及准确度低。

技术实现思路

[0004]鉴于上述的分析，本专利技术实施例旨在提供一种分布式AI系统的防投毒方法和系统，用以解决现有的分布式AI系统的防投毒方法识别效率及准确度低的问题。
[0005]一方面，本专利技术实施例提供了一种分布式AI系统的防投毒方法，包括以下步骤：
[0006]接收各客户端节点发送的提交数据，基于所述提交数据更新中心模型，根据所述中心模型的误差与预期误差的差距判断当前系统是否存在中毒迹象，若否，则根据预定的策略对中心模型做镜像并通知各客户端节点清空缓存并重新进行数据缓存，缓存数据包括客户端节点的原始数据、处理算法和中间数据；
[0007]否则，获取上一次模型镜像到当前时刻所有提交数据的客户端节点，并将该客户端节点作为风险节点，根据所述中心模型的误差与预期误差的差距计算风险节点的风险概率，基于所述风险概率获取风险节点的累计风险概率，根据累计风险概率对风险节点进行巡检，若存在中毒节点则将所述中毒节点下线，将中心模型恢复为上一次镜像的模型。
[0008]基于上述方法的进一步改进，根据所述中心模型的误差与预期误差的差距判断当前系统是否存在中毒迹象，包括，采用测试数据对所述中心模型进行测试，若所述中心模型的误差大于预期误差，并且与预期误差的差值大于第一阈值，则判断当前系统有中毒迹象。
[0009]上述技术方案的有益效果如下：通过根据中心模型的误差与预期误差的判断系统是否存在中毒迹象，若不存在则根据预定的策略对模型进行镜像，若存在中毒迹象则根据累计风险概率对风险节点进行巡检，当巡检判断风险节点为中毒节点时，将中毒节点强制下线，将模型恢复至上一次镜像，从而快读准确的鉴别投毒攻击，并且不影响模型后续正常运行，提高了防御效率。
[0010]进一步地，根据累计风险概率对风险节点进行巡检，包括：
[0011]获取累计风险概率大于第二阈值的所有风险节点，根据累计风险概率对风险节点进行从大到小排序；
[0012]依次对每个风险节点进行巡检；
[0013]若巡检判定第i个风险节点为中毒节点，则将该风险节点强制下线，继续对第i+1个到第n个风险节点进行巡检，直至遇到第一个非中毒风险节点，巡检结束。
[0014]上述技术方案的有益效果如下：在进行巡检时，并非只考虑本次风险概率，而是通过累计风险概率，即将以往的风险概率进行加和，确定需要风险的风险节点。通过考虑各个节点的历史风险概率累计风险概率，累计风险概率越高意味着此节点处于易感染环境中，其投毒的可能性越大，需要额外关注，从而提高了检测的准确性及效率。
[0015]进一步地，巡检内容包括：
[0016]获取风险节点缓存的原始数据、中间数据、处理算法以及提交数据；
[0017]根据所述处理算法对所述原始数据进行处理得到实际中间数据及结果数据，将得到的实际中间数据及结果数据，与风险节点缓存的中间数据及提交数据进行比对，若中间数据或提交数据存在数据缺失、数据错误、数据时间戳或数据校验标记不相符，则判断该风险节点为中毒节点。
[0018]上述技术方案的有益效果如下：考虑深入巡检的效率和全面性，从数据链下手，从原始数据开始，按照处理算法对数据进行处理，得到实际中间数据及结果数据，通过将得到的实际中间数据及结果数据，与风险节点缓存的中间数据及提交数据进行比对可快算全面的检查出节点是否中毒。同时这种巡检可以排除客户端节点本身中毒的干扰，而且有全面的数据可供检查，检出率高。
[0019]进一步地，通过以下公式计算中毒节点的下线时间：
[0020]其中，Time
baseline
表示基础下线时间，Times
history
表示客户端节点作为风险节点的次数，∑P
degrees
表示累计风险概率，γ为大于1的常数。
[0021]上述技术方案的有益效果如下：通过根据风险节点的次数和累计风险概率程度越高，此节点的下架时间则大幅延后，从而确保多次被攻击的脆弱节点很快就会成为无限期封禁节点，并通知客户端使用人员进行系统更新或杀毒，只有达到下架时间之后才允许重新接入网络，从而保证系统的正常运行。
[0022]进一步地，根据所述中心模型的误差与预期误差的差距计算风险节点的风险概率，包括：
[0023]根据所述中心模型的误差与预期误差的差距确定风险等级值；
[0024]每个风险节点的风险概率为风险等级值除以风险节点数量。
[0025]本专利技术实施例提供了一种分布式AI系统的防投毒系统，包括以下模块：
[0026]中心模型更新模块，用于接收各客户端节点发送的提交数据，基于所述提交数据更新中心模型，根据所述中心模型的误差与预期误差的差距判断当前系统是否存在中毒迹象，若否，则根据预定的策略对中心模型做镜像并通知各客户端节点清空缓存并重新进行数据缓存；
[0027]巡检模块，用于当中心模型更新模块判断当前系统存在中毒迹象时，获取上一次模型镜像到当前时刻所有提交数据的客户端节点，并将该客户端节点作为风险节点，根据所述中心模型的误差与预期误差的差距计算风险节点的风险概率，基于所述风险概率获取该风险节点的累计风险概率，根据累计风险概率对风险节点进行巡检，若存在中毒节点则将所述中毒节点下线，将中心模型恢复为上一次镜像的模型。
[0028]进一步地，所述中心模型更新模块用于根据所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式AI系统的防投毒方法，其特征在于，包括以下步骤：接收各客户端节点发送的提交数据，基于所述提交数据更新中心模型，根据所述中心模型的误差与预期误差的差距判断当前系统是否存在中毒迹象，若否，则根据预定的策略对中心模型做镜像并通知各客户端节点清空缓存并重新进行数据缓存，缓存数据包括客户端节点的原始数据、处理算法和中间数据；否则，获取上一次模型镜像到当前时刻所有提交数据的客户端节点，并将该客户端节点作为风险节点，根据所述中心模型的误差与预期误差的差距计算风险节点的风险概率，基于所述风险概率获取风险节点的累计风险概率，根据累计风险概率对风险节点进行巡检，若存在中毒节点则将所述中毒节点下线，将中心模型恢复为上一次镜像的模型。2.根据权利要求1所述的分布式AI系统的防投毒方法，其特征在于，根据所述中心模型的误差与预期误差的差距判断当前系统是否存在中毒迹象，包括，采用测试数据对所述中心模型进行测试，若所述中心模型的误差大于预期误差，并且与预期误差的差值大于第一阈值，则判断当前系统有中毒迹象。3.根据权利要求1所述的分布式AI系统的防投毒方法，其特征在于，根据累计风险概率对风险节点进行巡检，包括：获取累计风险概率大于第二阈值的所有风险节点，根据累计风险概率对风险节点进行从大到小排序；依次对每个风险节点进行巡检；若巡检判定第i个风险节点为中毒节点，则将该风险节点强制下线，继续对第i+1个到第n个风险节点进行巡检，直至遇到第一个非中毒风险节点，巡检结束。4.根据权利要求1所述的分布式AI系统的防投毒方法，其特征在于，巡检内容包括：获取风险节点缓存的原始数据、中间数据、处理算法以及提交数据；根据所述处理算法对所述原始数据进行处理得到实际中间数据及结果数据，将得到的实际中间数据及结果数据与风险节点缓存的中间数据及提交数据进行比对，若中间数据或提交数据存在数据缺失、数据错误、数据时间戳或数据校验标记不相符，则判断该风险节点为中毒节点。5.根据权利要求1所述的分布式AI系统的防投毒方法，其特征在于，通过以下公式计算中毒节点的下线时间：其中，Time
baseline
表示基础下线时间，Times
history
表示客户端节点作为风险节点的次数，∑P
degrees
表示累计风险概率，γ为大于1的常数。6.根据权利要...

【专利技术属性】
技术研发人员：宋明艳，张依漪，白洋，范国超，张彤，薛铸鑫，隋悦，张弛，李子博，范东昇，
申请(专利权)人：北京京航计算通讯研究所，
类型：发明
国别省市：