一种基于锚位学件的学件查搜方法技术

本发明专利技术公开一种基于锚位学件的学件查搜方法，在大规模学件库（学件市场）中进行高效模型查搜，分为两个阶段：上传阶段和部署阶段。在上传阶段，使用学件聚类来结构化地组织模型，确定锚位学件；在部署阶段，学件库将所有锚位学件传给用户，用户对得到的锚位学件评估并返回评估结果给学件库，学件库根据评估结果了解用户任务，从而进一步推荐学件给用户，用户选择有益学件。通过让用户首先评估锚位学件来缩小候选学件范围，避免了遍历学件库中的所有学件，达到了提高模型查搜效率的目的。达到了提高模型查搜效率的目的。达到了提高模型查搜效率的目的。

【技术实现步骤摘要】
一种基于锚位学件的学件查搜方法


[0001]本专利技术涉及一种基于锚位学件的学件查搜方法，尤其涉及的是在大规模学件库中，针对新任务的高效模型查搜方法，属于机器学习


技术介绍

[0002]学件范式希望构建一个学件库，称为“学件市场”，并通过查找合适的模型进行复用，从而解决新的机器学习问题。在学件框架中，每个学件都是一个训练良好的机器学习模型，且附有一个使得该模型可以被充分识别的规约。专业的开发人员可以自发地将来自不同任务的模型提交到学件库，学件库将为每个模型分配一个规约，并存放在学件库中的合适位置。当一个新用户处理自己的学习任务时，学件库可以根据规约来搜索并推荐对用户有帮助的学件，随后用户可以复用这些学件来解决他的任务，而不需要从头开始训练模型。在整个过程中，开发者和用户的原始数据的都是私有的，不能被泄露给学件库。
[0003]最近基于缩略核均值嵌入规约设计的学件查搜与复用方法已经得以实际应用。该规约可以在不泄漏原始数据的情况下，近似地表示模型训练来自任务的数据分布。然而当前基于缩略核均值嵌入规约的学件查搜和复用方法，都需要遍历学件库中的所有学件，学件查搜过程的计算量过大，查搜效率较低，限制了实际应用中对大规模学件库的充分利用。因此需要一种高效的学件查搜方法，一方面可以避免对大规模学件库中所有学件的遍历，另一方面仍然可以保护用户的数据隐私不被泄露。这方面的成果将会在实际任务中发挥作用。

技术实现思路

[0004]专利技术目的：本专利技术所要解决的技术问题是针对现有学件查搜技术的不足，提供一种基于锚位学件的学件查搜方法。尤其希望解决现有技术中查搜时需要遍历所有学件的缺点，从而提高在大规模学件库中的模型查搜效率。
[0005]技术方案：一种基于锚位学件的学件查搜方法，在大规模学件库中进行高效查搜模型，分为两个阶段：上传阶段和部署阶段。在上传阶段，用户将机器学习模型(下文简称“模型”，记作f)上传至学件库，学件库使用学件聚类来结构化地组织模型，确定锚位学件；在部署阶段，学件库将所有锚位学件传给用户，用户对得到的锚位学件评估并返回评估结果给学件库，学件库根据评估结果了解用户任务，从而进一步推荐学件给用户，用户再从中选择有益学件。通过让用户首先评估锚位学件来缩小候选学件范围，从而避免了遍历学件库中的所有学件，达到提高模型查搜效率的目的。
[0006]具体的，在上传阶段，上传者自发地上传他们训练好的模型，而学件库执行如下两个操作：为模型分配规约构成学件；随后根据模型和规约来更新学件聚类。为模型分配规约时，构建一个带权重的缩略集，从而用少量样本的核均值嵌入(即缩略核均值嵌入，RKME)来近似原始数据的核均值嵌入(KME)。原始数据的核均值嵌入和缩略核均值嵌入分别对应再生核希尔伯特空间(RKHS)中的一个点，使这两个点的不相似度尽可能小，从而使丢失的分
布信息尽可能少。缩略集计算公式为：
[0007][0008]为所求的缩略集，为缩略集中的样本，为每个样本的权重，M为缩略集大小，为上传者的样本集，N为上传者样本集大小，k为核函数，为核函数k对应的再生核希尔伯特空间，为上传者的样本集对应的核均值嵌入，为缩略集对应的核均值嵌入，即缩略核均值嵌入，计算完毕后，得到的缩略集作为规约存储下来；而每个学件都记录为模型加规约(f,μ)的形式；这里的模型f可以用于为输入的样本预测标记。后续为了区分不同的学件，为其增加了下标，得到第i个学件为(f
i
,μ
i
)。
[0009]更新学件聚类时，使相似的学件聚集在同一个簇内。具体的，综合考虑任务分布的不相似性和模型输出的不相似性来定义学件的不相似度；更新学件聚类的优化目标为让所有的学件到对应的聚类中心的不相似度之和最小；使用任意聚类算法来对学件进行聚类，优化该目标；将聚类后的学件簇中心视为锚位学件。在聚类时，可以使用任意为学件设计的不相似度度量，本专利技术并不限制在此处使用何种不相似度度量。例如，我们可以使用如下的不相似度度量，该度量综合考虑了任务分布的不相似性和模型输出的不相似性。学件(f
i
,μ
i
),和学件(f
j
,μ
j
)之间的一种不相似度计算公式为：
[0010][0011]其中，和分别为学件(f
i
,μ
i
),和学件(f
j
,μ
j
)的缩略集，和上述计算缩略集公式中不同的是，加入了下标i和j来表示学件的编号；
[0012]f
i
和f
j
分别为学件i和学件j的模型，l为损失函数，U是一个常数。
[0013]更新学件聚类的优化目标为让所有的学件到对应的聚类中心的不相似度之和最小，其计算公式为：
[0014][0015]其中，C是当前学件库中的学件的总数，是所有的聚类中心对应的学件下标集合，称之为锚位学件，每个锚位学件都可以代表相应的一个簇的所有学件；d为上面定义的学件不相似度。
[0016]该优化目标对应了聚类中的k
‑
medoids问题，该问题可以使用机器学习中各种聚类方法来解决。例如，现有的围绕中心点的划分(Partitioning Around Medoids，PAM)聚类算法就可以针对该问题进行优化。
[0017]在学件库初始化时，如果学件库中存在一些学件，则直接计算得到初始的聚类。计算初始聚类时，只需使用任意聚类算法优化L(M)即可。
[0018]上传阶段详细步骤为：
[0019]步骤101，上传者上传一个训练好的模型；
[0020]步骤102，学件库为步骤101中上传的模型计算缩略集作为规约，构成新学件；
[0021]步骤103，学件库计算新学件与其他学件的不相似度并保存；
[0022]步骤104，学件库判断是否存在与新学件相似的聚类中心，如果有，进行步骤105，否则进行步骤106；这里的相似是指不相似度较低，实际应用中可以设定一个阈值，若与新学件的不相似度低于该阈值则视为相似。
[0023]步骤105，学件库把新学件加入该相似的聚类中心对应的簇，转到步骤107；
[0024]步骤106，学件库为新学件创立一个新的簇，转到步骤107；
[0025]步骤107，学件库使用任意聚类算法更新聚类；注意，此时优化目标L(M)中的学件数量C增加了，需要将新学件也考虑进去，因此要用到步骤103中计算的新学件到其他学件的不相似度。
[0026]步骤108，过程结束。
[0027]在部署阶段，用户试图从学件库查找合适的模型，以解决自己的任务。本专利技术提出了一种多次交互的学件查搜流程。首先，学件库让用户下载所有锚位学件(即上传阶段通过聚类得到的簇中心)并进行评估；用户返回评估结果，学件库根据评估结果找出较匹配的锚位学件对应的簇，将这些簇中的全部学件传给用户，用户进行第二次评估，选择留下最匹配的一个或者几个学件，并加以部署以解决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于锚位学件的学件查搜方法，在学件库中查搜模型，其特征在于，分为两个阶段：上传阶段和部署阶段；在上传阶段，用户将机器学习模型（下文简称“模型”，记作f）上传至学件库，学件库使用学件聚类来结构化地组织模型，确定锚位学件；在部署阶段，学件库将所有锚位学件传给用户，用户对得到的锚位学件评估并返回评估结果给学件库，学件库根据评估结果了解用户任务，从而进一步推荐学件给用户，用户选择有益学件。2.根据权利要求1所述的基于锚位学件的学件查搜方法，其特征在于，在上传阶段，上传者地上传训练好的模型；学件库为模型分配规约构成学件；随后根据模型和规约来更新学件聚类。3.根据权利要求2所述的基于锚位学件的学件查搜方法，其特征在于，在上传阶段，更新学件聚类时，使相似的学件在同一个簇内；具体的，综合考虑任务分布的不相似性和模型输出的不相似性来定义学件的不相似度；更新学件聚类的优化目标为让所有的学件到对应的聚类中心的不相似度之和最小；使用任意聚类算法来对学件进行聚类，优化该目标；将聚类后的学件簇中心视为锚位学件。4.根据权利要求1所述的基于锚位学件的学件查搜方法，其特征在于，上传阶段步骤为：步骤101，上传者上传一个训练好的模型；步骤102，学件库为步骤101中上传的模型计算缩略集作为规约，构成新学件；步骤103，学件库计算新学件与其他学件的不相似度；步骤104，学件库判断是否存在与新学件相似的聚类中心，如果有，进行步骤105，否则进行步骤106；步骤105，学件库把新学件加入该相似的聚类中心对应的簇，转到步骤107；步骤106，学件库为新学件创立一个新的簇，转到步骤107；步骤107，学件库使用聚类算法更新聚类；步骤108，过程结束。...

【专利技术属性】
技术研发人员：周志华，赵鹏，叶翰嘉，谭志豪，
申请(专利权)人：南京大学，
类型：发明
国别省市：