【技术实现步骤摘要】
一种结合可解释性的图表示学习的超参数优化方法
本专利技术涉及超参数优化
，特别涉及一种结合可解释性的图表示学习的超参数优化方法。
技术介绍
图作为一种结构化的数据表现形式，对变量之间的相互联系具有非常强的建模能力。图表示学习通过学习图中节点的低维向量表示，来更好地理解图中各个节点之间的语义联系。自动机器学习包括了机器学习的各个阶段：数据处理、特征工程、模型选择、超参数优化和神经网络架构搜索，减轻了模型调优过程中对于人力的依赖和消耗。超参数优化通过选择最优的超参数配置来提高模型的性能。但是当前超参数优化技术主要关注图像、文本等数据，且多采用黑盒的方式来进行优化，整体框架缺乏可解释性，不能有效地解释每次试验为什么采用特定的超参数取值，比如社交网络场景下的好友推荐，当需要进行超参数调优时，很难解释需要如何调节超参数，有待解决。相关技术中，(1)一种超参数随机搜索技术，其适用于各种形式数据的任务，但其性能一般，搜索到最优超参数需要很长的时间。(2)一种基于序列化模型的优化方法，但并没有针对图表示学习进行优化，且基于黑盒...
【技术保护点】
1.一种考虑可解释性的图表示学习过程中确定最优超参数的方法，其特征在于该方法包括以下步骤：/n(1)从待确定最优超参数的原图中采样多个子图；/n(2)根据具有可解释性的特征，在子图上执行图表示学习算法，保留图表示学习算法的结果样本；/n(3)从样本中消除图表示学习算法的超参数与子图特征之间的相关度；/n设定循环次数K，初始化时设循环次数k为1；/n设定有n个样本，其中每个样本包含p
【技术特征摘要】
1.一种考虑可解释性的图表示学习过程中确定最优超参数的方法，其特征在于该方法包括以下步骤：
(1)从待确定最优超参数的原图中采样多个子图；
(2)根据具有可解释性的特征，在子图上执行图表示学习算法，保留图表示学习算法的结果样本；
(3)从样本中消除图表示学习算法的超参数与子图特征之间的相关度；
设定循环次数K，初始化时设循环次数k为1；
设定有n个样本，其中每个样本包含p1个图表示学习算法的超参数和p2个子图特征，用一个n行(p1+p2)列的矩阵X表示超参数和图特征数据，X＝[A，B]，其中A为一个n行p1列的超参数矩阵，B为一个n行p2列的子图特征矩阵；
利用以下损失方程，求解样本权重γ，使得：
满足∑γ＝diag(γi，...，γn)
式中，γ为一个n维向量，diag(γi，...，γn)为以γi，...，γn为对角线的对角矩阵，表示X的二范数，上标T表示矩阵转置，表示求期望；
用相关度LDeco表示上述损失方程：
为了使得最小化的γ有唯一解，对γ作如下限制：
其中，λ1和λ2是人为设置的大常数，c为常数；
(4)确定原图上的图表示学习算法的最优超参数，包括以下步骤：
(4-1)以步骤(2)的图表示学习算法的超参数和子图特征作为多层感知机的输入，多层感知机的输出为图表示学习算法的性能结果；
(4-2)利用步骤(3)的样本权重，对步骤(4-1)的多层感知机进行训练，设定多层感知机的优化目标如下：
其中，Yi表示第i个样本Xi中的超参数和图特征下的图表示学习算法性能，Φ是多层感知机的拟合函数，Θ是多层感知机自身的参数，训练过程中得到多层感知机全连接层的权重；
(4-3)根据步骤(4-2)所有超参数在多层感知机中全连接层的权重绝对值之和，利用下式计算该超参数对于图表示学习算法性能的重要度：
其中weight(xi)表示第i个超参数对于图表示学习算法性能的重要度，表示多层感知机中计算使用的权重矩阵的第j行，第i列；
(4-4)对超参数进行重要性降序排序，依次对每个超参数进行优化，优化的过程中固定其他超参数的取值，优化的过程为对当前超参数在取值范围内进行均匀采样，将超参数的取值和原图的特征作为多层感知机的输入，多层感知机的输出为预测的图表示学习算法性能，取与图表示学习算法性能最高的值相对应的超参数作为待运行超参数取值；
(4-5)以步骤(4-4)的待运行超参数取值，在待确定最优超参数的原图上执行图表示学习算法，得到第k轮图表示学习算法性能，将原图的特征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。