一种垂直领域规则常识知识获取方法及系统技术方案

本发明专利技术涉及人工智能技术领域，公开了一种垂直领域规则常识知识获取方法及系统，该获取方法，包括以下步骤：S1，规则常识知识建模规范制定；S2，规则常识知识获取网络基础模型构建；S3，规则常识知识获取网络完整模型构建。本发明专利技术解决了现有技术存在的规则常识知识获取效率较低、准确率较低、成本较高等问题。成本较高等问题。成本较高等问题。

【技术实现步骤摘要】
一种垂直领域规则常识知识获取方法及系统


[0001]本专利技术涉及人工智能
，具体是一种垂直领域规则常识知识获取方法及系统。

技术介绍

[0002]目前，人工智能相关技术已经在自然语言处理、图像识别、音视频合成等多个领域得到了较好的应用效果，其本质上是通过大规模数据训练模型，使得模型能够根据数据特征的不同“学会区分”。但是，通过这种方式得到的智能处理算法模型深受数据质量影响，当数据分布稍有偏差，如部分文本缺失、图像加入轻微噪声等时，模型便会区分错误，其泛化性和鲁棒性较差，更不用说让模型执行逻辑推理、场景理解、决策分析等高阶任务，也难以在未知情形下进行迁移和适应。究其原因，是由于传统机器学习算法没有引入多类型的知识，所以在人工智能领域，知识的重要性愈发凸显。
[0003]在纷繁多样的知识中，有一类特殊的知识——规则常识知识，其获取、表示与处理一直以来是人工智能领域的一大核心难题。众多研究者们发现，一些对于只有几岁的儿童来说非常容易做到的事情，用人工智能的方法经过多年研究仍然无法有效处理。人工智能专家德雷福斯(Dreyfus Hubert)认为：常识问题是实现通用人工智能的最大障碍，如果常识问题解决了，人工智能的研究也就完成了。由此可见，规则常识知识的引入对于人工智能相关技术的突破有着非常重要的意义。对于规则常识知识而言，目前学术界和工业界还没有一个统一公认的定义，一般抽象地描述为，规则常识知识是几乎所有人都能依此感知、理解和判断共享事物，人们都可以合理地期望而不需辩论。同时，在不同的垂直领域，如医疗、金融、军事等，领域特有的一些规则常识知识往往以规则形式呈现，如“核潜艇需要核能”“航空母舰比护卫舰更大”“开炮之前是上膛”等等。对于这一类的垂直领域规则常识知识，也是几乎所有人默认、共识的知识，往往体现在人们的思维、意识和不经意的行为中，而较少显性地记录在文本图像、音频视频等数据载体中。并且，规则常识知识与以知识图谱为主流的百科知识的最大区别在于，百科知识的实体和关系之间容易建模，关系是比较明确的；而规则常识知识的实体间关系是难以确定的，因此采取传统知识获取方式中的抽取式技术无法获得未事先定义的常识关系，造成规则常识知识获取的遗漏，通过抽取式技术来进行规则常识知识的获取并不可取。
[0004]正因为上述原因，目前还没有一种快速的自动化获取规则常识知识的技术途径，通过对Cyc、NELL、ConceptNet等国内外主流的规则常识知识库调研可以发现，当前置信度较高的规则常识知识获取方法主要还是依靠人工众包的方式，需要耗费大量的人力物力。这种规则常识知识获取的模式成本过于高昂，因此，亟需发展出一种全新的垂直领域规则常识知识获取方法，以降低成本，实现大规模的规则常识知识快速获取，支撑基于规则常识知识的下游推理应用研究开展。

技术实现思路

[0005]为克服现有技术的不足，本专利技术提供了一种垂直领域规则常识知识获取方法及系统，解决现有技术存在的规则常识知识获取效率较低、准确率较低、成本较高等问题。
[0006]本专利技术解决上述问题所采用的技术方案是：
[0007]一种垂直领域规则常识知识获取方法，包括以下步骤：
[0008]S1，规则常识知识建模规范制定：根据规则常识知识的涵盖范畴以及规则常识知识对于下游任务的支撑需求，对规则常识知识进行分类并制定建模规范；
[0009]S2，规则常识知识获取网络基础模型构建：利用语言预训练模型从文本学习中具备的语言知识能力，构建规则常识知识获取网络基础模型；并设计符合规则常识知识获取要求的预训练推理任务，向规则常识知识获取网络基础模型输入部分已知领域的规则常识知识从而对规则常识知识获取网络基础模型进行微调，促使规则常识知识获取网络基础模型学习到与规则常识知识相关的内涵从而具备生成规则常识知识的能力；
[0010]S3，规则常识知识获取网络完整模型构建：围绕规则常识知识在下游推理任务中的使用方式的特殊性，对规则常识知识获取网络基础模型进行训练，实现符合人类认知的规则常识知识的获取。
[0011]作为一种优选的技术方案，步骤S2包括以下步骤：
[0012]S21，输入层表示：利用原始输入文本，得到规则常识知识获取网络的输入表示；
[0013]S22，网络模型编码：充分学习文本中的每个词之间的语义关联，得到文本的上下文语义表示；
[0014]S23，网络模型参数优化：计算交叉熵损失，不断优化规则常识知识获取网络基础模型参数，当交叉熵损失小于设定阈值时停止优化，得到最终的规则常识知识获取网络基础模型参数。
[0015]作为一种优选的技术方案，步骤S3中，设计的预训练推理任务包括：掩码语言模型任务、下一句预测任务。
[0016]作为一种优选的技术方案，步骤S3中，执行掩码语言模型任务时，将输入统一规定为两段文本拼接的形式。
[0017]作为一种优选的技术方案，步骤S21中，假设原始输入文本为x1x2…
x
i
…
x
n
，通过掩码操作后的输入文本为x
′1x'2…
x
′
i
…
x'
n
，对掩码后的输入文本进行处理，得到规则常识知识获取网络的输入表示v，的计算公式为：
[0018]v＝InputRepresentation(X)，
[0019]其中，X＝[CLS]x
′1x'2…
x
′
i
…
x'
n
[SEP]，x
i
表示输入文本的第i个词，x
′
i
表示经过掩码处理后的第i个词，[CLS]表示文本序列开始的特殊标记，[SEP]表示文本序列之间的分隔标记。
[0020]作为一种优选的技术方案，步骤S22中，输入表示v经过4层Transformer，借助自注意力机制充分学习文本中的每个词之间的语义关联，最终得到文本的上下文语义表示，计算公式为：
[0021][0022]其中，h
[l]∈R
N
×
d
表示第l层Transformer的隐含层输出，h
[0]＝v，N表示序列长度，d
表示规则常识知识获取网络的隐含层维度。
[0023]作为一种优选的技术方案，步骤S23中，计算掩码表示中的第i个分量对应的词表上的概率分布P
i
，利用P
i
与标签y
i
计算交叉熵损失，P
i
计算公式为：
[0024][0025]其中，Softmax()表示激活函数,i表示掩码表示中的分量编号，m表示被掩码的标记，W表示词向量矩阵，T表示转置操作，表示词向量矩阵的转置矩阵，表示第i个被掩码的词的向量表示，b
o
表示全连接层的偏置。
[0026]作为一种优选的技术方案，步骤S3包括以下步骤：
[0027]S3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种垂直领域规则常识知识获取方法，其特征在于，包括以下步骤：S1，规则常识知识建模规范制定：根据规则常识知识的涵盖范畴以及规则常识知识对于下游任务的支撑需求，对规则常识知识进行分类并制定建模规范；S2，规则常识知识获取网络基础模型构建：利用语言预训练模型从文本学习中具备的语言知识能力，构建规则常识知识获取网络基础模型；并设计符合规则常识知识获取要求的预训练推理任务，向规则常识知识获取网络基础模型输入部分已知领域的规则常识知识从而对规则常识知识获取网络基础模型进行微调，促使规则常识知识获取网络基础模型学习到与规则常识知识相关的内涵从而具备生成规则常识知识的能力；S3，规则常识知识获取网络完整模型构建：围绕规则常识知识在下游推理任务中的使用方式的特殊性，对规则常识知识获取网络基础模型进行训练，实现符合人类认知的规则常识知识的获取。2.根据权利要求1所述的一种垂直领域规则常识知识获取方法，其特征在于，步骤S2包括以下步骤：S21，输入层表示：利用原始输入文本，得到规则常识知识获取网络的输入表示；S22，网络模型编码：充分学习文本中的每个词之间的语义关联，得到文本的上下文语义表示；S23，网络模型参数优化：计算交叉熵损失，不断优化规则常识知识获取网络基础模型参数，当交叉熵损失小于设定阈值时停止优化，得到最终的规则常识知识获取网络基础模型参数。3.根据权利要求2所述的一种垂直领域规则常识知识获取方法，其特征在于，步骤S3中，设计的预训练推理任务包括：掩码语言模型任务、下一句预测任务。4.根据权利要求3所述的一种垂直领域规则常识知识获取方法，其特征在于，步骤S3中，执行掩码语言模型任务时，将输入统一规定为两段文本拼接的形式。5.根据权利要求4所述的一种垂直领域规则常识知识获取方法，其特征在于，步骤S21中，假设原始输入文本为x1x2…
x
i
…
x
n
，通过掩码操作后的输入文本为x'1x'2…
x'
i
…
x'
n
，对掩码后的输入文本进行处理，得到规则常识知识获取网络的输入表示v，的计算公式为：v＝InputRepresentation(X)，其中，X＝[CLS]x'1x'2…
x'
i
…
x'
n
[SEP]，x
i
表示输入文本的第i个词，x
′
i
表示经过掩码处理后的第i个词，[CLS]表示文本序列开始的特殊标记，[SEP]表示文本序列之间的分隔标记。6.根据权利要求5所述的一种垂直领域规则常识知识获取方法，其特征在于，步骤S22中，输入表示v经过4层Transformer，借助自注意力机制充分学习文本中的每个词之间的语义关联，最终得到文本的上下文语义表示，计算公式为：其中，h
[l]
∈R
N
×
d
...

【专利技术属性】
技术研发人员：刘鑫，崔莹，李春豹，刘万里，黄刘，陈莹，
申请(专利权)人：中国电子科技集团公司第十研究所，
类型：发明
国别省市：