【技术实现步骤摘要】
本专利技术涉及自然语言处理和深度学习，尤其涉及一种基于深度迁移学习和图神经网络的知识增强方法。
技术介绍
1、近几年，自然语言处理领域有了显著的发展，主要驱动力是深度学习和大规模文本数据的可用性，尤其是在一些复杂任务上，如情感分析、文本分类、命名实体识别等，深度学习方法已经取得了良好的效果，然而，当面临领域特定的任务或数据稀缺的场景时，这些模型的性能往往会大幅下降，此外，深度学习模型的训练通常需要大量的计算资源和时间，这在实践中也带来了很大的挑战，而且，现有的深度迁移学习方法大部分都是基于语句级别或篇章级别的文本数据进行学习的，忽视了领域知识图谱中包含的丰富知识信息。
技术实现思路
1、本专利技术的目的在于提供一种基于深度迁移学习和图神经网络的知识增强方法，以解决上述
技术介绍
中提出的问题。
2、本专利技术是通过以下技术方案实现的：一种基于深度迁移学习和图神经网络的知识增强方法，具体步骤如下：
3、s1：获取大量的电子商务领域的原始数据，并进行数据预处理；
4、s2：使用深度迁移学习方法对预处理后的数据进行预训练；
5、s3：预训练完成后，得到预训练模型m'，模型参数为θ'，将大量的领域外知识迁移到电子商务领域；
6、s4：构建一个电子商务领域的知识图谱，并采用图神经网络对电子商务领域的知识图谱进行建模和学习，提取电子商务领域关键知识，进行知识增强；
7、s5：知识增强之后，在具体任务上进行微调，并使用元学习策略
8、具体的，所述步骤s1具体包括：
9、数据获取：从公开可用的数据库、网站或其他数据源获取原始数据，所述原始数据包括各类领域的文本数据；
10、数据预处理：将原始的非结构化文本数据转化为模型可处理的结构化数据，
11、具体的，所述步骤s2使用深度迁移学习方法对预处理后的数据进行预训练的具体过程如下：
12、首先定义深度模型m，该模型用于源任务的预训练，利用预训练模型bert作为深度模型m，用向量θ来表示模型m的参数；
13、对于源任务，选择一个大规模的非领域特定的数据集d，在这个数据集上，使用最大似然估计方法来进行预训练，优化目标函数如下：
14、θ'＝argmax[θ*∑_log p(d|θ)]，d∈d
15、其中，θ为模型m的参数，d为大规模非领域特定的数据集，d为d中的一个数据样本，θ'为在d上预训练得到的模型参数，t为目标任务的训练数据，θ”为在t上微调得到的模型参数，p(d|θ)为在给定模型参数θ的条件下，数据d的概率，argmax表示找到使得括号内的表达式最大化的参数。
16、具体的，在预训练完成后，得到预训练模型m'，模型参数为θ'，再进行迁移学习，即把在源任务上学到的知识迁移到目标任务t上，在目标任务的训练数据上进行微调，优化目标如下：
17、θ”＝argmax[θ*∑_log p(t|θ')],t∈t
18、其中，θ为模型m的参数，θ'为在d上预训练得到的模型参数，t为目标任务的训练数据，t为t中的一个数据样本，θ”为在t上微调得到的模型参数，p(t|θ')为在给定模型参数θ'的条件下，数据t的概率。
19、具体的，所述步骤s4具体过程如下：
20、构建一个电子商务领域的知识图谱，其中的节点表示用户、商品、品类等实体，边则表示实体间的关系；
21、图嵌入：将领域知识图谱的结构信息和节点特征转化为低维向量表示，图嵌入的目的是将图结构的复杂信息编码到一个可以输入到神经网络的向量中；
22、信息传播：通过邻接节点的特征加权平均方式来实现，具体如下：
23、h_i(l)＝σ(w(l)*∑_(j∈n(i))*(1/c_ij*h_j(l)))
24、其中，h_i(l)和h_j(l)分别表示在第l层网络中，节点i和节点j的特征，n(i)为节点i的邻居节点，c_{ij}为归一化因子，用于平衡节点的度，w(l)为待学习的权重矩阵，σ为非线性激活函数，∑_(j∈n(i))为对节点i的所有邻居j进行迭代求和；
25、读出函数：在进行了一定层数的信息传播后，每个节点都获取了其邻接节点的信息，使用读出函数将这些节点特征整合成一个图级别的特征表示，供后续任务使用，所述读出函数如下：
26、r(g)＝∑_(i∈n)*h_i
27、其中，r(g)是图g的整体表示，n是图g中节点的数量，h_i是节点i的特征向量。
28、具体的，所述步骤s5具体包括：将元学习策略应用于任务微调阶段，以提升模型在领域内新任务的表现，具体过程如下：
29、任务定义：假设有一个任务分布p(t)，每个任务t_i从分布p(t)中独立地采样，每个任务t_i包括一个支持集s_i和一个查询集q_i，支持集s_i用于训练，查询集q_i用于测试；
30、内循环更新：对于每个任务t_i，首先，在支持集s_i上进行训练，得到模型参数θ_i'：
31、
32、其中，θ_i'为在支持集s_i上训练后的模型参数；θ为初始模型参数，α：学习率，l_s_i(θ)为支持集s_i的损失函数，α为学习率,为参数θ的梯度；
33、外循环更新：在查询集q_i上计算模型性能，用于更新初始模型参数θ：
34、
35、其中，p(t)为任务分布；t_i为任务，q_i为查询集，l_q_i(θ_i')为查询集q_i的损失函数，β为元学习率，θ_i'为在支持集s_i上训练后的模型参数,为参数θ的梯度，∑_[t_i～p(t)]表示对来自某种分布p(t)的所有t_i值进行迭代求和。
36、与现有技术相比，本专利技术达到的有益效果如下：
37、本专利技术提供的一种基于深度迁移学习和图神经网络的知识增强方法，
38、1.高效的迁移学习策略：在现有的nlp任务中，本专利技术通过深度迁移学习策略，使用bert深度模型进行预训练，然后将预训练模型的知识迁移到特定领域的任务中，从而在领域数据稀缺的情况下仍然能够达到出色的性能。
39、2.优秀的知识增强方法：本专利技术通过图神经网络对知识图谱进行建模和学习，使模型可以更深入地理解实体之间的关系和内在的知识信息，极大地丰富了模型对领域知识的理解，并提升了模型的性能。
40、3.强大的元学习策略：本专利技术通过引入元学习策略，使模型可以利用其在其他任务中学习到的知识来快速适应新任务，从而节省了大量的计算资源和时间。
本文档来自技高网...【技术保护点】
1.一种基于深度迁移学习和图神经网络的知识增强方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的一种基于深度迁移学习和图神经网络的知识增强方法，其特征在于，所述步骤S1具体包括：
3.根据权利要求1所述的一种基于深度迁移学习和图神经网络的知识增强方法，其特征在于，所述步骤S2使用深度迁移学习方法对预处理后的数据进行预训练的具体过程如下：
4.根据权利要求3所述的一种基于深度迁移学习和图神经网络的知识增强方法，其特征在于，在预训练完成后，得到预训练模型M'，模型参数为θ'，再进行迁移学习，即把在源任务上学到的知识迁移到目标任务T上，在目标任务的训练数据上进行微调，优化目标如下：
5.根据权利要求1所述的一种基于深度迁移学习和图神经网络的知识增强方法，其特征在于，所述步骤S4具体过程如下包括：
6.根据权利要求1所述的一种基于深度迁移学习和图神经网络的知识增强方法，其特征在于，所述步骤S5具体包括：将元学习策略应用于任务微调阶段，以提升模型在领域内新任务的表现，具体过程如下：
【技术特征摘要】
1.一种基于深度迁移学习和图神经网络的知识增强方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的一种基于深度迁移学习和图神经网络的知识增强方法，其特征在于，所述步骤s1具体包括：
3.根据权利要求1所述的一种基于深度迁移学习和图神经网络的知识增强方法，其特征在于，所述步骤s2使用深度迁移学习方法对预处理后的数据进行预训练的具体过程如下：
4.根据权利要求3所述的一种基于深度迁移学习和图神经网络的知识增强方法，其特征在于，在预训练...
【专利技术属性】
技术研发人员：屠静，王亚，苏岳，万晶晶，李伟伟，
申请(专利权)人：卓世科技海南有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。