【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种基于元学习的神经网络模型检索方法。
技术介绍
1、随着机器学习的兴起和发展，深度学习在许多问题和领域中展现出了显著的优势，如图像分类与识别、自然语言处理等。然而，为每个任务从头构建和训练深度神经网络(deep neural network,dnn)模型面临着成本高、时间长等难题。一方面，这需要同时具备领域知识和深度学习经验的专家进行模型的构建和开发；另一方面，模型的训练调参过程也要耗费大量的时间和算力。已有研究调研显示，随着人工智能模型规模的扩大，需要更多的计算资源，尤其是更多的能耗。近来随着模型规模变大，参数更多，训练所花费的时间、算力和能耗也进一步增加。过去几十年来，软件重用被视为降低软件开发成本的一种非常有效的思想方法。受此启发，模型重用已被广泛研究并应用于快速构建目标任务的复杂dnn模型。随着深度学习的广泛应用和开源社区的蓬勃发展，有大量深度学习模型被构建和公开共享。例如有“机器学习界的github”之称的hugging face，模型库中提供了数十万个机器学习模型的共享。这促使开发人员通过重...
【技术保护点】
1.一种基于元学习的神经网络模型检索方法，其特征在于：包括两个阶段：离线训练阶段和在线检索阶段，分为五个步骤，其中步骤一至步骤三为离线训练阶段，步骤四至步骤五为在线检索阶段。具体如下：
2.如权利要求1所述的一种基于元学习的神经网络模型检索方法，其特征在于：所述元特征提取步骤中进行模型库中任务元特征的离线提取是对模型库中所有任务分别进行元特征提取，其中所述特征提取方法具体为：输入任务作为查询来检索DNN模型，将其记作q，将要检索的DNN模型记作Mi，其中Mi∈{M1，M2，…，Mn}，假设模型Mi在任务Ti上的性能表现为P(Mi，Ti)，而在新任务Tj上的...
【技术特征摘要】
1.一种基于元学习的神经网络模型检索方法，其特征在于：包括两个阶段：离线训练阶段和在线检索阶段，分为五个步骤，其中步骤一至步骤三为离线训练阶段，步骤四至步骤五为在线检索阶段。具体如下：
2.如权利要求1所述的一种基于元学习的神经网络模型检索方法，其特征在于：所述元特征提取步骤中进行模型库中任务元特征的离线提取是对模型库中所有任务分别进行元特征提取，其中所述特征提取方法具体为：输入任务作为查询来检索dnn模型，将其记作q，将要检索的dnn模型记作mi，其中mi∈{m1，m2，…，mn}，假设模型mi在任务ti上的性能表现为p(mi，ti)，而在新任务tj上的性能表现为p(mi，tj)，则模型性能差异δp可表示为：δp＝p(mi，tj)-p(mi，ti)∝δ(tj，ti)。对于新的未见任务tj，通过计算预测模型的性能，其中δ(tj，ti)定义为计算数据集差异δ(dj，di)和任务描述差异δ(lj，li)，δ(tj，ti)＝δ(dj，di)+δ(lj，li)，通过基于多模态嵌入的用户任务表示方法得到元特征。
3.如权利要求2所述的一种基于元学习的神经网络模型检索方法，其特征在于：所述多模态嵌入的用户任务表示方法使用clip作为嵌入层，为文本和图像提供嵌入空间，给定一个包含图像数据集和任务描述的用户任务查询...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。