一种面向指定目标的步骤序列推理方法及系统技术方案

本发明专利技术公开了一种面向指定目标的步骤序列推理方法及系统

【技术实现步骤摘要】
一种面向指定目标的步骤序列推理方法及系统


[0001]本专利技术涉及步骤推理
，尤其涉及一种面向指定目标的步骤序列推理方法及系统
。

技术介绍

[0002]随着自然语言处理技术的不断发展，它的焦点已从理解文本内容转向了深入的事件理解
。
因此，事件研究成为了
NLP
领域的热门任务之一
。
在事件关系的研究中，有一类特殊的事件被称为程序性事件
。
程序性事件涉及一系列合理有序的动作或步骤，旨在实现某一个或者某些共同的逻辑目标，例如，“逛街买衣服”通常包括“挑选”、“试穿”和“结账”等
。
最近在程序性事件的抽象结构
、
表示方法
、
推理研究
、
下游任务及现实应用场景方面都取得了进展
。
[0003]程序性事件的核心是目标和步骤，例如应用在特定的下游任务：一个
AI
助手帮助用户完成各种任务，需要从候选步骤集中检索出与特定目标匹配的步骤进行排序，其中理解程序事件之间的目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向指定目标的步骤序列推理方法，其特征在于，包括：获取
<
目标，步骤
>
句子对数据集，所述句子对表示为
x
i
＝
{(G
，
S)}∈X
，其中
S
是目标
G
对应的候选步骤集，
X
是所有目标与候选步骤的句子对集合；将所述句子对
x
i
进行分词处理，得到处理后的句子对
{x
j
＝
(t1，
t2，
......
，
t
n
)}
，其中
t
i
是句子对中每个分词对应的位置，
i∈[1
，
n]
；将所述处理后的句子对
x
j
转换为标记序列，对所述处理后的句子对
x
j
中的动词进行词性标注，得到带有特殊标记的向量序列编码；对所述带有特殊标记的向量序列编码进行词特征嵌入和位置嵌入，得到所述
<
目标，步骤
>
句子对
x
i
的最终嵌入表示对所述句子对
x
i
中每个词向量求和取平均作为所述句子对
x
i
的特征嵌入表示获取
<
步骤
s
m
，步骤
s
n
>
步骤对数据集，将所述每一步骤对数据集与指定目标
G
配对，进行词特征嵌入和位置嵌入，得到步骤排序嵌入表示对所述
<
步骤
s
m
，步骤
s
n
>
步骤对中的步骤
s
m
和步骤
s
n
中的动词的嵌入分别取平均值分别作为所述步骤
s
m
和步骤
s
n
的词向量，得到所述
<
步骤
s
m
，步骤
s
n
>
步骤对的特征嵌入表示根据所述带有词特征嵌入和位置嵌入的定义目标
‑
步骤对的查询键值其中
d
QX
、d
kX
和
d
VX
分别是
Q
X
、K
X
和
V
X
的维度；通过生成目标字的注意力
Attention
X
值，得到一个含有目标
‑
步骤上下文信息的编码表示，更新所述句子对
x
i
的特征嵌入表示得到更新后的特征嵌入表示根据所述带有词特征嵌入和位置嵌入的定义候选步骤对的查询键值其中
d
QY
、d
kY
和
d
VY
分别是
Q
Y
、K
Y
和
V
Y
的维度；通过生成目标字的注意力
Attention
Y
值，得到一个含有目标
‑
候选步骤对的上下文信息的编码表示，更新所述句子对
x
i
的特征嵌入表示得到更新后的特征嵌入表示将所述更新后的特征嵌入表示和所述更新后的特征嵌入表示通过前馈神经网络进行线性变换和激活函数
GELU(x)
＝
xP(X≤x)
得到目标和步骤中每个
token
隐藏层状态通过计算所述更新后的特征嵌入表示的置信度分数其中，
g
i
∈G
是指定的目标，
s
j
∈S
是候选步骤，
f(g
i
，
s
j
)
是通过深度神经网络层将所述指定目标
g
i
和所述候选步骤
s
j
进行非线性变换，
exp(f(g
i
，
s
j
))
是以自然常数
e
为底，将
f(g
i
，
s
j
)
的结果进行指数化；
对所有所述得分进行降序排序，选取得分最高的前
k
个候选步骤为关联步骤；基于所述隐藏层状态和更新后的特征嵌入表示通过分别计算步骤
s
m
和步骤
s
n
与目标
G
的预测分数其中，是计算与当前目标
G
的候选步骤
i(i
＝
m
，
n)
，是通过深度神经网络层将进行非线性变换，是以自然常数
e
为底，将的结果进行指数化；通过对比所述步骤
s
m
和所述步骤
s
n
的预测分数大小，将得分较高的步骤赋值为1，并作为当前步骤对的优胜者，以此类推，分别计算候选步骤集中每个步骤的赋值大于其他步骤的赋值的总次数；根据所述候选步骤集中每个步骤的赋值大于其他步骤的赋值的总次数对所有步骤进行降序排序，总次数最多的步骤为第一发生步骤，总次数最少的步骤为最后发生步骤
。2.
如权利要求1所述的面向指定目标的步骤序列推理方法，其特征在于，所述对所述
<
步骤
s
m
，步骤
s
n
>
步骤对中的步骤
s
m
和步骤
s
n
中的动词的嵌入分别取平均值分别作为所述步骤
s
m
和步骤
s
n
的词向量，得到所述
<
步骤
s
m
，步骤
s
n
>
步骤对的特征嵌入表示包括：对所述
<
步骤
s
m
，步骤
s
n
>
步骤对中的步骤
s
m
和步骤
s
n
中的动词的嵌入分别取平均值分别作为所述步骤
s
m
和步骤
s
n
的词向量，将所述步骤
s
m
和步骤
s
n
的词向量相加，得到所述
<
步骤
s
m
，步骤
s
n
>
步骤对的特征嵌入表示
3.
如权利要求1或2所述的面向指定目标的步骤序列推理方法，其特征在于，所述将所述更新后的特征嵌入表示和所述更新后的特征嵌入表示通过前馈神经网络进行线性变换和激活函数
GELU(x)
＝
xP(X≤x)
得到目标和步骤中每个
token
隐藏层状态包括：对所述查询键值和所述候选步骤对的查询键值都使用多头自注意力机制，将多组注意力加权和表示结果拼接起来，最终得到目标
‑
步骤对的上下文编码表示和目标
‑
候选步骤对的上下文编码表示其中，是目标
‑
步骤对中每个位置的特征向量进行自注意力计算后得到的新的特征向量，
Z
G
是目标
‑
步骤对中目标的全局上下文表示，
Z
S
是目标
‑
步骤对中步骤的全局上下文表示，是目标
‑
候选步骤对中每个位置的特征向量进行自注意力计算后得到的新的特征向量，和分别是目标
‑
候选步骤对中步骤
s
m
和步骤
s
n
的全局上下文表示，
Z
[SEP]
用于分隔输入序列中的不同部分；
将所述目标
‑
步骤对的上下文编码表示和目标
...

【专利技术属性】
技术研发人员：王炜华，马维亭，巩政，飞龙，高光来，
申请(专利权)人：内蒙古大学，
类型：发明
国别省市：