当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于数据特征统计学分布的智能模型逆向工程方法技术

技术编号:40772664 阅读:22 留言:0更新日期:2024-03-25 20:20
本发明专利技术公开了一种基于数据特征统计学分布的智能模型逆向工程方法,涉及人工智能(AI)和机器学习(ML)领域,该方法可实现在缺乏训练数据时,从已经训练好的模型中恢复训练数据,并用于知识蒸馏。本发明专利技术方法通过反演一个已经训练好的网络,在无需使用任何有关训练数据集的额外信息的情况下,保持教师模型固定,通过知识蒸馏训练学生模型,优化输入,在DeepDream方法的基础上,正则化深度反演利用教师模型的批归一化层中存储的信息对正则化项进行改进。此外,自适应深度反演通过最大化教师模型和学生模型逻辑输出之间的JS散度,提高图像的多样性,增强正则化深度反演的效果,进一步优化图像,从而实现相比DeepDream而言更好的效果。

【技术实现步骤摘要】

本申请涉及人工智能(ai)和机器学习(ml)领域,特别是涉及一种基于数据特征统计学分布的智能模型逆向工程方法


技术介绍

1、在缺乏训练数据时,如何从已经训练好的模型中恢复训练数据,并用于知识蒸馏是一个亟需解决的问题。针对这一问题,最常用和经典的方法就是deepdream。deepdream这种方法也是需要一个预训练好的模型,只是它是去根据输出的类别和预训练的模型来优化输入图片。输入信息一开始是噪声图像,这种方法通过使用一些正则化,同时保持选定的输出激活值是固定的,但使中间特征的表示不受约束。

2、很多高性能的卷积神经网络(cnns),resnet,densentes等等或它们的变体,都使用bn层。bn层存储了很多层输出的滑动均值和方差,deepdream在训练输入图片时就通过利用这些信息让输入图片得到优化。deepdream方法通过正则化可以使输入图片稳定地收敛,但是该方法仍然存在对输入图片优化效果不佳,与目标结果相差较大的问题。


技术实现思路

1、本专利技术提供了一种基于数据特征统计学分布的智本文档来自技高网...

【技术保护点】

1.一种基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,所述步骤3)中,用步骤2)计算得到的图像正则化项和所述分类损失项来更新所述待优化的噪声图片,具体采用DeepDream对噪声图片进行优化:

3.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,所述步骤4)中,知识蒸馏过程表示为:

4.根据权利要求2所述的基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,引入正则化深度反演,通过使用新的正则化项扩展所...

【技术特征摘要】

1.一种基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,所述步骤3)中,用步骤2)计算得到的图像正则化项和所述分类损失项来更新所述待优化的噪声图片,具体采用deepdream对噪声图片进行优化:

3.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法,其特征在于,所述步骤4)中,知识蒸馏过程表示为:

4.根据权利要求2所述的基于数据特征统计学...

【专利技术属性】
技术研发人员:徐文渊陈艳姣白怡杰徐艺
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1