一种边云协同模型测试时自适应方法、系统、装置及介质制造方法及图纸

本发明专利技术公开了一种边云协同模型测试时自适应方法、装置及存储介质，属于边缘计算技术领域。其中方法包括：每个边缘设备执行模型推理操作，获取并上传统计信息和逻辑输出至云端；云端对边缘设备上传的信息进行联合估计；云端根据各边缘设备联合统计信息数据生成伪样本；云端根据伪样本优化模型参数，并将优化获得的模型参数下发至边缘设备；边缘设备根据云端下发的模型参数更新本地的模型，并进行后续样本推理操作。本发明专利技术通过在云端和边缘设备之间协同进行模型自适应，从而避免在边缘设备上引入额外的计算成本；另外，引入了一种创新的云端模型自适应方案，实现了完全无需在边缘设备上传输原始数据即可进行模型自适应的方式，有效保护了数据隐私。有效保护了数据隐私。有效保护了数据隐私。

【技术实现步骤摘要】
一种边云协同模型测试时自适应方法、系统、装置及介质


[0001]本专利技术涉及边缘计算和物联网
，尤其涉及一种边云协同模型测试时自适应方法、装置及存储介质。

技术介绍

[0002]深度神经网络已经在计算机视觉、自然语言处理等领域取得了广泛的应用。但其庞大的参数量所带来了高额的计算成本，这使得这些网络模型的训练和推理往往都在云数据中心进行。然而，在某些特定强调数据隐私和响应速度的应用场景中，更倾向于将深度神经网络模型直接部署在边缘设备上。深度网络模型边缘设备部署推理场景从云侧移至边缘侧面临着一系列挑战，如边缘设备上传感器性能的退化和环境的动态变化(例如天气光线的变化)，会导致测试样本与训练样本之间的分布出现偏移。深度模型往往对这些分布偏移十分敏感，因此在分布偏移的测试样本上性能可能出现大幅下降。
[0003]为了解决这种分布偏移的问题，当前技术方案是测试时自适应方法。这种技术方法需要在部署推理的设备上根据当前的测试样本更新模型，以更好地拟合当前数据、获得更好的模型性能。目前，主要存在两种测试时自适应方法。首先，一种方法是基于当前测试本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边云协同模型测试时自适应方法，其特征在于，包括以下步骤：每个边缘设备执行模型推理操作，获取并上传统计信息和逻辑输出至云端；云端对边缘设备上传的信息进行联合估计；云端根据各边缘设备联合统计信息数据生成伪样本；云端根据伪样本优化模型参数，并将优化获得的模型参数下发至边缘设备；边缘设备根据云端下发的模型参数更新本地的模型，并进行后续样本推理操作。2.根据权利要求1所述的一种边云协同模型测试时自适应方法，其特征在于，所述每个边缘设备执行模型推理操作，获取并上传统计数据和逻辑输出至云端，包括：给定一个批次的测试样本，边缘设备的模型先对测试样本进行前向传播，完成推理过程；在推理过程中，对于模型的每一批归一化层，根据样本特征计算统计信息；其中统计信息包括均值μ和方差σ2；根据计算获得的批次均值μ和方差σ2，获取批归一化层的输出：将所有批归一化层的均值μ和方差σ2，以及最后一层的逻辑输出y上传至云端。3.根据权利要求2所述的一种边云协同模型测试时自适应方法，其特征在于，所述批归一化层的输出的表达式如下：一化层的输出的表达式如下：式中，x为批归一化层的输出，γ和β是可学习的仿射参数。4.根据权利要求1所述的一种边云协同模型测试时自适应方法，其特征在于，所述云端对边缘设备上传的信息进行联合估计，包括：采用以下公式联合各个边缘设备的统计信息，以估计全局的统计信息：采用以下公式联合各个边缘设备的统计信息，以估计全局的统计信息：其中，B表示边缘设备的数量，n
b
表示第b个边缘设备上的推理样本数量，μ
b
表示第b个边缘设备上的推理样本的均值统计量，(σ
b
)2表示第b个边缘设备上的推理样本的方差统计量。5.根据权利要求1所述的一种边云协同模型测试时自适应方法，其特征在于，所述云端根据各边缘设备联合统计信息数据生成伪样本，包括：A1、从标准高斯分布中采样一批伪样本χ；A2、将伪样本送入云端的模型中，进行前向传播，并计算样本在批归一化层的均值和方差；A3、计算损失函数；所述损失函数包括统计信息对齐损失函数和预...

【专利技术属性】
技术研发人员：谭明奎，陈耀佛，许守恺，唐雯浩，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：