词扩展方法技术

本申请公开了一种词扩展方法

【技术实现步骤摘要】
词扩展方法、装置、智能终端及计算机可读存储介质


[0001]本申请涉及计算机
，具体涉及一种词扩展方法
、
装置
、
智能终端及计算机可读存储介质
。

技术介绍

[0002]提示学习
(Prompt Learning)
是研究者们为下游任务设计的一种预训练语言模型的新范式，其通过给定一组合适的提示，就可以直接训练出能够解决下游任务的语言模型
。
为了使语言模型能够按照用户设定的标签词输出预测结果，需要对标签词进行扩展，并构建扩展词到标签词的映射
。
然而，现有标签词的扩展方法依赖人工标注，无法自动搜索出标签词的扩展词
。
[0003]因此，现有技术还有待改进和发展
。

技术实现思路

[0004]本申请实施例提供一种词扩展方法
、
装置
、
智能终端及计算机可读存储介质，旨在解决无法自动搜索出标签词的扩展词的问题
。
[0005]本专利技术解决问题所采用的技术方案如下：
[0006]第一方面，本专利技术实施例提供一种词扩展方法，包括：
[0007]获取预设的训练集及词表，训练集包括标签集，标签集包括若干个标签词，词表包括若干个表达词；
[0008]根据训练集和词表，确定每个表达词在若干个标签词中的每个标签词下的初始词分布概率；
[0009]根据初始词分布概率，确定每个表达词在每个标签词下的更新词分布概率；r/>[0010]根据训练集和更新词分布概率，确定每个标签词对应的目标扩展词
。
[0011]第二方面，本专利技术实施例还提供一种词扩展装置，包括：
[0012]获取模块，用于获取预设的训练集及词表，训练集包括标签集，标签集包括若干个标签词，词表包括若干个表达词；
[0013]确定模块，用于根据训练集和词表，确定每个表达词在若干个标签词中的每个标签词下的初始词分布概率；
[0014]更新模块，用于根据初始词分布概率，确定每个表达词在每个标签词下的更新词分布概率；
[0015]扩展模块，用于根据训练集和更新词分布概率，确定每个标签词对应的目标扩展词
。
[0016]第三方面，本专利技术实施例提供一种智能终端，智能终端包括处理器
、
存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述词扩展方法中的步骤
。
[0017]第四方面，本专利技术实施例提供一种计算机可读存储介质，计算机可读存储介质上
存储有计算机程序，计算机程序被处理器执行时实现上述词扩展方法中的步骤
。
[0018]本专利技术的有益效果：
[0019]根据每个表达词在每个标签词下的初始词分布概率确定每个表达词在每个标签词下的更新词分布概率，并根据训练集和更新词分布概率，确定每个标签词的目标扩展词，可以自动搜索出每个标签词的扩展词，避免人工标注及人工选择标签词映射的过程，提高了
Prompt
的易用性和广泛性
。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0021]图1是本专利技术实施例提供的词扩展方法的流程示意图；
[0022]图2是本专利技术实施例提供的词扩展方法的具体实施例流程示意图；
[0023]图3是本专利技术实施例提供的词扩展装置的原理框图；
[0024]图4是本专利技术实施例提供的智能终端的内部结构原理框图；
[0025]图5是本专利技术实施例提供的计算机可读存储介质的原理框图
。
具体实施方式
[0026]为使本专利技术的目的
、
技术方案及优点更加清楚
、
明确，以下参照附图并举实施例对本专利技术进一步详细说明
。
应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术
。
[0027]需要说明，若本专利技术实施例中有涉及方向性指示
(
诸如上
、
下
、
左
、
右
、
前
、
后
……
)
，则该方向性指示仅用于解释在某一特定姿态
(
如附图所示
)
下各部件之间的相对位置关系
、
运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变
。
[0028]随着预训练语言模型参数量的不断增大，对其进行微调的硬件要求
、
数据需求和实际代价也在不断上涨
。
除此之外，丰富多样的下游任务也使得预训练和微调阶段的设计变得繁琐复杂，提示学习
(Prompt Learning)
是研究者们为下游任务设计的一种预训练语言模型的新范式
。
由于语言模型可以预测出的结果很多，例如，用户需要语言模型输出“science”，但语言模型实际可能输出“mathematics”或“biology”。
为了使基于
Prompt
范式的预训练语言模型能够按照用户设定的标签词输出预测结果，需要对标签词进行扩展，并构建扩展词到标签词的映射，例如，对于标签词“science”，可以得到扩展词“mathematics”和“biology”，并“mathematics”和“biology”到“science”的映射
。
现有标签词的扩展方法包括人工设计和先修建再扩展，人工设计的方法需要进行大量的人工标注，先修建再扩展需要先产生几个可信的答案，再基于这几个可信的答案对标签词进行扩展
。
[0029]为了解决现有技术的问题，本实施例提供一种词扩展方法，根据每个表达词在每个标签词下的初始词分布概率确定每个表达词在每个标签词下的更新词分布概率，并根据训练集和更新词分布概率，确定每个标签词的目标扩展词，可以自动搜索出每个标签词的扩展词，摆脱人工标注及人工选择标签词映射的过程，提高了
Prompt
的易用性和广泛性
。
[0030]示例性方法
[0031]本专利技术实施例提供一种词扩展方法，该方法可以应用于智能终端
。
具体如图1中所示，方法包括：
[0032]步骤
S10、
获取预设的训练集及词表，训练集包括标签集，标签集包括若干个标签词，词表包括若干个表达词
。
[0033]具体地，训练集为预先设置的用于对预训练语言模型进行训练的数据集，训练集中可以包括标签集，标签集包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种词扩展方法，其特征在于，包括：获取预设的训练集及词表，所述训练集包括标签集，所述标签集包括若干个标签词，所述词表包括若干个表达词；根据所述训练集和所述词表，确定每个表达词在所述若干个标签词中的每个标签词下的初始词分布概率；根据所述初始词分布概率，确定所述每个表达词在所述每个标签词下的更新词分布概率；根据所述训练集和所述更新词分布概率，确定所述每个标签词对应的目标扩展词
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述训练集和所述词表，确定每个表达词在所述若干个标签词中的每个标签词下的初始词分布概率，包括：根据所述训练集和所述词表，确定每个表达词在所述若干个标签词中的每个标签词下的条件熵；根据所述条件熵确定所述每个表达词在所述每个标签词下的初始词分布概率
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述训练集和所述词表，确定每个表达词在所述若干个标签词中的每个标签词下的条件熵，包括：根据所述训练集和所述词表，确定每个标签词的第一频率及每个表达词在所述若干个标签词中的每个标签词下的第二频率；其中，所述第一频率为所述每个标签词在所述训练集中出现的频率，所述第二频率为所述每个表达词和所述每个标签词在所述训练集中共同出现的频率；根据所述第一频率和所述第二频率，确定所述每个表达词在所述若干个标签词中的每个标签词下的条件熵
。4.
根据权利要求1所述的方法，其特征在于，所述根据所述初始词分布概率，确定所述每个表达词在所述每个标签词下的更新词分布概率，包括：根据所述初始词分布概率确定若干个抽样语言表达器，所述若干个抽样语言表达器中每个抽样语言表达器均包括所述若干个标签词及与所述若干个标签词一一对应的若干个表达词；根据所述若干个抽样语言表达器，确定所述每个表达词在所述每个标签词下的更新词分布概率
。5.
根据权利要求4所述的方法，其特征在于，所述根据所述初始词分布概率确定若干个抽样语言表达器，包括：根据所述初始词分布概率，确定所述每个表达词在所述每个标签词下的概率分布；根据所述概率分布确定若干个抽样语言表达器
。6.
根据权利要求5所述的方法，其特征在于，所述根据所述初始词分布概率，确定所述每个表达词在所述每个标签词下的概率分布，包括：根据所述初始词分布概率及预设的概率阈值，确定所述每个表达词在所述每个标签词下的条件概率；根据所述条件概率确定所述每个表达词在所述每个标签词下的概率分布
。7.
根据权利要求4所述的方法，其特征在于，所述根据所述若干个抽样语言表达器，确定所述每个表达词在所述每个标签词下的更新词分布概率，包括：
根据所述若干个抽样语言表达器，确定所述每个表达词在所述每个标签词下的若干个词表达分数；其中，所述词表达分数为所述每个表达词作为所述每个标签词的扩展词时，所述每个标签词的预测概率；根据所述若干...

【专利技术属性】
技术研发人员：刘汶霖，胡玉鹏，邢静怡，鹿存哲，
申请(专利权)人：武汉，
类型：发明
国别省市：