本发明专利技术提供一种基于低耦合网络结构搜索算法的嵌入维度分配方法，属于机器学习领域。该方法包括以下步骤：对含有多条数据的数据集进行预处理，其中每条数据包括M个特征域和标签；对每个特征域设置N个候选嵌入维度；基于M个特征域和N个候选嵌入维度采用网络结构搜索技术构建一个神经网络，称为超网；训练超网，对训练后的超网进行分析得到M个特征域对应的近似最优的嵌入维度。本发明专利技术通过在超网训练过程中减少子网相互耦合，提高了嵌入维度分配的准确性，提升具有近似最优嵌入维度的分类模型的分类准确性。
【技术实现步骤摘要】
本专利技术涉及机器学习领域，特别涉及一种基于低耦合网络结构搜索算法的嵌入维度分配方法。
技术介绍
1、近年来，机器学习技术在分类问题上取得了很大的进展。其中，嵌入技术是一种常用的特征提取方法，通过将每个特征域的高维数据映射到低维空间，可以提高模型的泛化能力。其中，低维空间的维度数称为嵌入维度。然而，嵌入维度的选择对模型的性能有很大的影响，因此如何合理地为不同特征域分配嵌入维度成为了一个重要的问题。
2、一种常见的嵌入维度分配方法是统计方法，即通过统计分析数据集的特征域的分布情况和专家经验来确定嵌入维度。这种方法简单易行，但是往往需要人工干预，且准确性较低。
3、另一种方法是基于网络结构搜索算法的方法，即通过训练一个对所有候选维度加权融合的超网，训练过程中不断调整候选维度加权的权重来确定嵌入维度。这种方法可以减少人工介入，但是训练超网时，前向计算和梯度反向传播时，各种候选维度相互耦合，训练过程中的超网和使用维度分配结果的分类网络差异较大，影响分配结果的准确性，影响使用维度分配结果的分类网络的分类准确率。
r/>技本文档来自技高网...
【技术保护点】
1.一种基于低耦合网络结构搜索算法的嵌入维度分配方法,其特征在于包括以下步骤：
2.根据权利要求1所述的嵌入维度分配的方法，其特征在于：所述超网的嵌入模块包括M个部分，对应M个特征域，每个部分包括N个子网，对应N个候选嵌入维度，子网由dn维的嵌入向量和一层可训练的权重以及只取0和1的权重硬选择化因子组成。
3.根据权利要求1所述的嵌入维度分配的方法，其特征在于：所述超网中,子网在进行加权求和时，只选择一个概率较大的候选嵌入向量，计算不同维度嵌入向量的加权权重z的公式为：
4.根据权利要求1所述的嵌入维度分配的方法，其特征在于：经过所述超网的嵌入模块和特...
【技术特征摘要】
1.一种基于低耦合网络结构搜索算法的嵌入维度分配方法,其特征在于包括以下步骤：
2.根据权利要求1所述的嵌入维度分配的方法，其特征在于：所述超网的嵌入模块包括m个部分，对应m个特征域，每个部分包括n个子网，对应n个候选嵌入维度，子网由dn维的嵌入向量和一层可训练的权重以及只取0和1的权重硬选择化因子组成。
3.根据权利要求1所述的嵌入维度分配的方法，其特征在于：所述超网中,子网在进行加权求和时，只选择一个概率较大的候选嵌入向量，计算不同维度嵌入向量的加权权重z的...
【专利技术属性】
技术研发人员：鲁高峰，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。