【技术实现步骤摘要】
本申请涉及人工智能(ai)和机器学习(ml)领域,特别是涉及一种基于数据特征统计学分布的智能模型逆向工程方法。
技术介绍
1、在缺乏训练数据时,如何从已经训练好的模型中恢复训练数据,并用于知识蒸馏是一个亟需解决的问题。针对这一问题,最常用和经典的方法就是deepdream。deepdream这种方法也是需要一个预训练好的模型,只是它是去根据输出的类别和预训练的模型来优化输入图片。输入信息一开始是噪声图像,这种方法通过使用一些正则化,同时保持选定的输出激活值是固定的,但使中间特征的表示不受约束。
2、很多高性能的卷积神经网络(cnns),resnet,densentes等等或它们的变体,都使用bn层。bn层存储了很多层输出的滑动均值和方差,deepdream在训练输入图片时就通过利用这些信息让输入图片得到优化。deepdream方法通过正则化可以使输入图片稳定地收敛,但是该方法仍然存在对输入图片优化效果不佳,与目标结果相差较大的问题。
技术实现思路
1、本专利技术提供了一种基于数
...【技术保护点】
1.一种基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,该方法包括以下步骤:
2.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,所述步骤3)中,用步骤2)计算得到的图像正则化项和所述分类损失项来更新所述待优化的噪声图片,具体采用DeepDream对噪声图片进行优化:
3.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,所述步骤4)中,知识蒸馏过程表示为:
4.根据权利要求2所述的基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,引入正则化深度反演,通过使
...【技术特征摘要】
1.一种基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,该方法包括以下步骤:
2.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,所述步骤3)中,用步骤2)计算得到的图像正则化项和所述分类损失项来更新所述待优化的噪声图片,具体采用deepdream对噪声图片进行优化:
3.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,所述步骤4)中,知识蒸馏过程表示为:
4.根据权利要求2所述的基于数据特征统计学...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。