基于多头自注意力超图神经网络的数据分类方法及装置制造方法及图纸

本申请涉及数据标签处理技术领域，特别涉及一种基于多头自注意力超图神经网络的数据分类方法及装置，其中，方法包括：提取至少一个样本数据的数据特征；将数据特征输入预设的基于多头自注意力机制的超图构建模块中，生成超图结构；将超图结构和数据特征输入至预设超图神经网络中，输出数据标签预测值，并基于数据标签预测值训练模型，得到用于数据分类的数据分类模型。由此，解决了相关技术中难以自适应对复杂数据和下游任务的超图建模，并且不利于优化超图结构，无法准确的建模数据关联关系，从而降低了数据标签的预测性能等问题。从而降低了数据标签的预测性能等问题。从而降低了数据标签的预测性能等问题。

【技术实现步骤摘要】
基于多头自注意力超图神经网络的数据分类方法及装置


[0001]本申请涉及数据标签处理
，特别涉及一种基于多头自注意力超图神经网络的数据分类方法及装置。

技术介绍

[0002]相关技术中，超图由于其强大的高阶关联建模能力近年来受到广泛关注，研究者们发现在机器学习模型中引入超图结构，其中，超图神经网络结合了超图建模和神经网络的优势，在分类、聚类等任务上都体现出了性能的优越性。
[0003]然而，相关技术中由于受到数据噪声、数据缺失的影响时，构建的超图结构存在大量冗余错误的连接，造成难以自适应对复杂数据和下游任务的超图建模，并且不利于优化超图结构，无法准确的建模数据关联关系，从而降低了数据标签的预测性，亟待解决。

技术实现思路

[0004]本申请是基于专利技术人对以下问题的认识和发现作出的：
[0005]超图是一种常用的建模数据间高阶关联的方法，它包括一个节点集合和一个超边集合，一条超边可以连接多个顶点。举例而言，在推荐系统中，一个商品会推送给多个对它感兴趣的用户，那么就可以把一个用户看作一个顶点，一件商品看作一条超边，如果某用户对该商品感兴趣，那么对应的节点就被该超边包含，否则就不被该超边包含。超图由于其强大的高阶关联建模能力近年来受到广泛关注，研究者们发现在机器学习模型中引入超图结构，在学习过程中考虑多个样本之间的高阶关联信息可以获得更好的下游任务性能。其中，超图神经网络结合了超图建模和神经网络的优势，在分类、聚类等任务上都体现出了性能的优越性。
[0006]然而，传统的超图神经网络是建立在静态超图结构基础之上，当数据本身没有显式超图结构时，需要根据节点属性、特征等信息先通过k近邻等方法构建超图结构，从而在超图神经网络中引入该静态超图结构，超图神经网络的性能受到超图结构的影响，如果超图结构不能准确建模数据关联，那么超图神经网络的性能也会大大降低，因此，准确建模数据间的高阶关联具有重要意义。然而，在实际任务中，相关技术受到数据噪声、数据缺失的影响，其通过已有方法构建的超图结构存在大量冗余错误的连接，而且超图结构一旦建立就在整个学习过程中固定，进而难以自适应复杂数据。
[0007]本申请提供一种基于多头自注意力超图神经网络的数据分类方法及装置，以解决相关技术中难以自适应对复杂数据和下游任务的超图建模，并且不利于优化超图结构，无法准确的建模数据关联关系，从而降低了数据标签的预测性能等问题。
[0008]本申请第一方面实施例提供一种基于多头自注意力超图神经网络的数据分类方法，包括以下步骤：提取至少一个样本数据的数据特征；将所述数据特征输入预设的基于多头自注意力机制的超图构建模块中，生成超图结构；将所述超图结构和所述数据特征输入至预设超图神经网络中，输出数据标签预测值，并基于所述数据标签预测值训练模型，得到
用于数据分类的数据分类模型。
[0009]可选地，在本申请的一个实施例中，所述将所述数据特征输入预设的基于多头自注意力机制的超图构建模块中，生成超图结构，包括：基于所述预设的基于多头自注意力机制的超图构建模块，计算所述每个头的注意力分数；根据所述每个头的注意力分数得到关联矩阵，并利用所述关联矩阵表示所述超图结构。
[0010]可选地，在本申请的一个实施例中，所述将所述超图结构和所述数据特征输入至预设超图神经网络中，输出数据标签预测值，包括：计算所述至少一个样本数据的标签向量，得到所有样本数据的标签向量集合；基于所述标签向量集合，计算所述超图结构中超图的超边权重对角矩阵和节点度数对角矩阵；根据所述超边权重对角矩阵和节点度数对角矩阵利用所述预设超图神经网络获取所述至少一个样本数据的数据标签预测值。
[0011]可选地，在本申请的一个实施例中，所述数据标签预测值的计算公式为：
[0012][0013]其中，表示样本数据的标签预测值，Z
(2)
表示输出第二层隐藏层，W
out
和b
out
表示输出层的偏差参数。
[0014]可选地，在本申请的一个实施例中，所述基于所述数据标签预测值训练模型，得到用于数据分类的数据分类模型，包括：根据所述至少一个样本数据的数据标签预测值、初始值、所述数据特征和所述关联矩阵计算所述超图结构的平滑性约束惩罚项和预测误差项；将所述平滑性约束惩罚项和所述预测误差项相加得到损失函数值，并基于所述损失函数值通过反向传播算法计算可学习参数，更新参数值，直至满足收敛条件，得到所述数据分类模型。
[0015]本申请第二方面实施例提供一种基于多头自注意力超图神经网络的数据分类装置，包括：提取模块，用于提取至少一个样本数据的数据特征；生成模块，用于将所述数据特征输入预设的基于多头自注意力机制的超图构建模块中，生成超图结构；分类模块，用于将所述超图结构和所述数据特征输入至预设超图神经网络中，输出数据标签预测值，并基于所述数据标签预测值训练模型，得到用于数据分类的数据分类模型。
[0016]可选地，在本申请的一个实施例中，所述生成模块包括：第一计算单元，用于基于所述预设的基于多头自注意力机制的超图构建模块，计算所述每个头的注意力分数；第二计算单元，用于根据所述每个头的注意力分数得到关联矩阵，并利用所述关联矩阵表示所述超图结构。
[0017]可选地，在本申请的一个实施例中，所述分类模块包括：第三计算单元，用于计算所述至少一个样本数据的标签向量，得到所有样本数据的标签向量集合；第四计算单元，用于基于所述标签向量集合，计算所述超图结构中超图的超边权重对角矩阵和节点度数对角矩阵；获取单元，用于根据所述超边权重对角矩阵和节点度数对角矩阵利用所述预设超图神经网络获取所述至少一个样本数据的数据标签预测值。
[0018]可选地，在本申请的一个实施例中，所述数据标签预测值的计算公式为：
[0019][0020]其中，表示样本数据的标签预测值，Z
(2)
表示输出第二层隐藏层，W
out
和b
out
表示输出层的偏差参数。
[0021]可选地，在本申请的一个实施例中，所述分类模块还包括：第五计算单元，用于根据所述至少一个样本数据的数据标签预测值、初始值、所述数据特征和所述关联矩阵计算所述超图结构的平滑性约束惩罚项和预测误差项；更新单元，用于将所述平滑性约束惩罚项和所述预测误差项相加得到损失函数值，并基于所述损失函数值通过反向传播算法计算可学习参数，更新参数值，直至满足收敛条件，得到所述数据分类模型。
[0022]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于多头自注意力超图神经网络的数据分类方法。
[0023]本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的基于多头自注意力超图神经网络的数据分类方法。...

【技术保护点】

【技术特征摘要】
1.一种基于多头自注意力超图神经网络的数据分类方法，其特征在于，包括以下步骤：提取至少一个样本数据的数据特征；将所述数据特征输入预设的基于多头自注意力机制的超图构建模块中，生成超图结构；以及将所述超图结构和所述数据特征输入至预设超图神经网络中，输出数据标签预测值，并基于所述数据标签预测值训练模型，得到用于数据分类的数据分类模型。2.根据权利要求1所述的方法，其特征在于，所述将所述数据特征输入预设的基于多头自注意力机制的超图构建模块中，生成超图结构，包括：基于所述预设的基于多头自注意力机制的超图构建模块，计算所述每个头的注意力分数；根据所述每个头的注意力分数得到关联矩阵，并利用所述关联矩阵表示所述超图结构。3.根据权利要求2所述的方法，其特征在于，所述将所述超图结构和所述数据特征输入至预设超图神经网络中，输出数据标签预测值，包括：计算所述至少一个样本数据的标签向量，得到所有样本数据的标签向量集合；基于所述标签向量集合，计算所述超图结构中超图的超边权重对角矩阵和节点度数对角矩阵；根据所述超边权重对角矩阵和节点度数对角矩阵利用所述预设超图神经网络获取所述至少一个样本数据的数据标签预测值。4.根据权利要求3所述的方法，其特征在于，所述数据标签预测值的计算公式为：其中，表示样本数据的标签预测值，Z
(2)
表示输出第二层隐藏层，W
out
和b
out
表示输出层的偏差参数。5.根据权利要求3或4所述的方法，其特征在于，所述基于所述数据标签预测值训练模型，得到用于数据分类的数据分类模型，包括：根据所述至少一个样本数据的数据标签预测值、初始值、所述数据特征和所述关联矩阵计算所述超图结构的平滑性约束惩罚项和预测误差项；将所述平滑性约束惩罚项和所述预测误差项相加得到损失...

【专利技术属性】
技术研发人员：高跃，张子昭，闫循石，
申请(专利权)人：清华大学，
类型：发明
国别省市：