一种基于扩散模型的快速模型生成方法技术

一种基于扩散模型的快速模型生成方法，包括：S1、确定目标模型；S2、训练扩散模型，通过扩散模型生成执行目标模型的输入查询，将扩散模型生成的数据输入目标模型中，对目标模型进行迭代查询；S3、使用零阶梯度估计不断更新扩散模型的梯度，优化扩散模型的参数，使生成数据拟合目标决策边界；S4、通过生成数据构建输入输出预测对，拟合目标模型决策边界，通过决策边界根据样本在特征空间的位置对该样本的类型进行预测，获取数据集的数据分布，构建虚拟数据集，训练快速生成模型。本发明专利技术不需要访问目标模型数据集以及目标模型的结构等，同时保证了模型生成的速度以及准确性。证了模型生成的速度以及准确性。证了模型生成的速度以及准确性。

【技术实现步骤摘要】
一种基于扩散模型的快速模型生成方法


[0001]本专利技术涉及一种快速模型生成方法，尤其涉及一种基于扩散模型的快速模型生成方法。

技术介绍

[0002]深度神经网络(DNN)在各种具有挑战性的计算机视觉任务中实现最先进性能的能力促使公司广泛采用这些模型，以实现各种产品和服务，如自动驾驶汽车、车牌读取、医学图像疾病诊断、图像和视频活动分类以及智能摄像头。
[0003]随着ML模型的性能随着训练数据的增长而增长，公司在收集大量数据以训练高性能ML模型方面投入了大量资金。保护这些模型的机密性对于公司保持竞争优势和防止被盗模型被对手滥用以损害安全和隐私至关重要。例如，攻击者可以使用窃取的模型来制作对抗性示例，通过成员身份推断攻击来危害用户成员身份隐私，并通过模型反转攻击来泄漏用于训练模型的敏感用户数据。因此，ML模型被认为是所有者的宝贵知识产权，并受到严密保护，防止被盗和数据泄露。随着近年来互联网的迅速发展，机器学习即服务(machine learning as a service)也渐渐地流行起来，也把云服务提升到了一个新的水平。部署在云上的机器学习模型可以通过应用程序编程接口(API)为用户提供服务，提高生产率。这些云模型是密集劳动和金钱努力的产物，因此模型是有价值的知识产权。大厂为了训练模型，需要花费大量的时间、金钱、人力去收集处理数据，然后花费大量精力训练模型。针对云上的机器学习模型，用户可以通过提高的公共API访问经过良好训练的机器学习模型，通过MLaaS提供者，而无需从零开始构建模型。但是，目前还没有一个机器学习模型平台可以，快速生成所需目标模型，通过API进行访问，使用各种机器学习模型。针对目前还未有基于深度学习的快速生成机器学习模型的方法，因此急需一种新的快速模型生成方法，该方法通过克隆云上的机器学习模型，快速生成目标机器学习模型。

技术实现思路

[0004]针对现有技术不足，本专利技术提出了一种基于扩散模型的快速模型生成方法。
[0005]为解决上述技术问题，本专利技术的技术方案为：
[0006]本专利技术实施例的第一方面提供了基于扩散模型的快速模型生成方法，所述方法包括以下步骤：
[0007]S1、确定目标模型(分类模型)。
[0008]S2、训练扩散模型，通过扩散模型生成执行目标模型的输入查询(虚拟数据集)，将扩散模型生成的数据输入目标模型中，对目标模型进行迭代查询；
[0009]S3、使用零阶梯度估计不断更新扩散模型的梯度，优化扩散模型的参数，使生成数据拟合目标决策边界；
[0010]S4、通过生成数据构建输入输出预测对，拟合目标模型决策边界，通过决策边界根据样本在特征空间的位置对该样本的类型进行预测，获取数据集的数据分布，构建虚拟数
据集，训练快速生成模型。
[0011]本专利技术提出了一种基于扩散模型的快速模型生成方法，该方法首先选定目标模型，然后通过依靠扩散模型强大的生成能力不断生成数据，通过生成数据对目标模型进行输入查询获得输出概率，通过使用零阶梯度估计不断更新扩散模型的梯度，优化扩散模型的参数，实现拟合目标模型的决策边界，最大可能获得目标模型的数据分布，最后快速训练出目标模型。其主要思想就是利用扩散模型强大的生成能力的同时，通过不断迭代查询目标模型，获取其输出预测，拟合目标模型决策边界，得到其数据分布，最后生成模型。
[0012]本专利技术的有益效果为：对于现有生成模型方法需要花费大量时间与金钱，提出了一种基于扩散模型的快速模型生成方法。通过扩散模型强大的生成能力，将扩散模型生成的数据输入到目标模型中，将目标模型的输出预测与输入构建输入输出预测对，实现拟合目标模型决策边界，获取数据分布达到快速生成模型的效果。该方法不需要访问目标模型数据集以及目标模型的结构等，同时保证了模型生成的速度以及准确性。
附图说明
[0013]图1本专利技术方法的流程图；
[0014]图2是本专利技术的基于扩散模型生成数据模型。
具体实施方式
[0015]下面结合附图，对本专利技术进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
[0016]本专利技术的技术构思为：现有的生成模型方法需要花费大量的时间、金钱、人力去收集处理数据，然后花费大量精力训练模型，目前还没有一种快速生成模型的方法。因此本专利技术提出了一种基于扩散模型的快速模型生成方法，首先，通过扩散模型强大的生成能力，将生成的数据作为输入，对目标模型进行迭代查询。然后，将目标模型的输出预测与输入构建输入输出对，拟合目标模型的边界决策。通过决策边界对数据样本进行预测，获取其数据分布，最后训练快速模型。其主要思想就是依靠扩散模型的生成能力，通过输出预测的方式，拟合目标模型的决策边界，获取数据分布，达到快速生成模型的效果。
[0017]应用本专利技术提供一种基于扩散模型的快速模型生成方法的用户图像分类模型推荐方法，请参考图1和图2，所述方法包括以下步骤：
[0018]S1、确定目标模型。
[0019]具体为：在一种图像推荐的应用场景下，以图像分类模型平台EasyDL为例，生成模型的任务为目标用户图像喜好的进行分类，从而推荐对应类型的图像。各客户端以各种方式获取EasyDL图像分类平台相关数据，输入图像信息，创建图像分类模型，最后快速生成图像分类模型，将图像推荐给用户。本专利技术提供的方法是通过扩散模型生成样本数据，通过不断迭代查询目标模型得到模型的输出预测，通过拟合模型的决策边界获得其数据分布，因此要求目标模型是进行图像分类任务的机器学习模型。
[0020]S2、训练扩散模型生成输入查询。
[0021]扩散模型前向过程由于每个时刻t只与t
‑
1时刻有关，所以可以看作马尔科夫过程，在马尔科夫链的前向采样过程中，也就是扩散过程中可以将数据转换为高斯分布。即扩
散过程通过T次累积对输入数据x
i
添加高斯噪声，将这个跟马尔可夫假设相结合，于是可以对扩散过程表达成：
[0022][0023]其中β1,
…
,β
T
是高斯分布方差的超参数。在扩散过程中，随着t的增大，x
t
越来越接近纯噪声。当T足够大的时候，x
T
可以收敛为标准高斯噪声N(0,I)。
[0024]在训练时候，模型学习逆扩散过程的概率分布，以生成新数据。
[0025]从纯高斯噪声开始，模型将学习联合概率分布p
θ
(x
T:0
)：
[0026][0027]根据马尔可夫规则表示，逆扩散过程当前时间步t只取决于上一个时间步t
‑
1，所以有：
[0028][0029]训练扩散模型生成输入查询通过最大化和之间的KL差异，用于训练扩散模型的损失函数由以下方程确定：
[0030][0031]在这个损失函数上训练扩散模型G可以最大限度地消除目标预测和生成模型之间的不一致。因为生成模型S和扩散本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于扩散模型的快速模型生成方法，包括如下步骤：S1、确定目标模型(分类模型)；S2、训练扩散模型，通过扩散模型生成执行目标模型的输入查询(虚拟数据集)，将扩散模型生成的数据输入目标模型中，对目标模型进行迭代查询；S3、使用零阶梯度估计不断更新扩散模型的梯度，优化扩散模型的参数，使生成数据拟合目标决策边界；S4、通过生成数据构建输入输出预测对，拟合目标模型决策边界，通过决策边界根据样本在特征空间的位置对该样本的类型进行预测，获取数据集的数据分布，构建虚拟数据集，训练快速生成模型。2.如权利要求1所述的一种基于扩散模型的快速模型生成方法，其特征在于：步骤S1具体包括：各客户端以各种方式获取EasyDL图像分类平台相关数据，输入图像信息，创建图像分类模型，最后快速生成图像分类模型，将图像推荐给用户；通过扩散模型生成样本数据，通过不断迭代查询目标模型得到模型的输出预测，通过拟合模型的决策边界获得其数据分布，因此目标模型是进行图像分类任务的机器学习模型。3.如权利要求1所述的一种基于扩散模型的快速模型生成方法，其特征在于：步骤S2具体包括：扩散模型前向过程由于每个时刻t只与t
‑
1时刻有关，所以可以看作马尔科夫过程，在马尔科夫链的前向采样过程中，也就是扩散过程中可以将数据转换为高斯分布；即扩散过程通过T次累积对输入数据x
i
添加高斯噪声，将这个跟马尔可夫假设相结合，于是可以对扩散过程表达成：其中β1,
…
,β
T
是高斯分布方差的超参数；在扩散过程中，随着t的增大，x
t
越来越接近纯噪声；当T足够大的时候，x
T
可以收敛为标准高斯噪声N(0,I)；在训练时候，模型学习逆扩散过程的概率分布，以生成新数据；从纯高斯噪声p(x
T
)：＝N(x
T
；0,I)开始，模型将学习联合概率分布p
θ
(x
T:0
)：根据马尔可夫规则表示，逆扩散过程当前时间步t只取决于上一个时间步t
‑
1，所以有：p
θ
(x
t
‑1|x
t
):＝Ν(x
t
‑1；μ
θ
(x
t
,t),∑
θ
(x
t
,t))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)训练扩散模型生成输入查询通过最大化和之间的KL差异，用于训练扩散模型的损失函数由以下方程确定：在这个损失函数上训练扩散模型G可以最大限度地消除目标预测和生成模型之间的不一致；因为生成模型S和扩散模型G具有相反的目标，所以将这两个模型训练在一起会产生一个双人游戏，类似于生成对抗网络，从而产生最大化生成...

【专利技术属性】
技术研发人员：陈晋音，赵晓明，郭海峰，郑海斌，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：