一种基于约束生成和扁平事件表示的语音事件抽取方法技术

本发明专利技术公开了一种基于约束生成和扁平事件表示的语音事件抽取方法，包括以下步骤：构建面向语音的事件抽取框架；利用

【技术实现步骤摘要】
一种基于约束生成和扁平事件表示的语音事件抽取方法


[0001]本专利技术属于计算机自然语言处理领域，具体涉及一种基于约束生成和扁平事件表示的语音事件抽取方法
。

技术介绍

[0002]语音作为一种重要的信息载体，已经广泛应用于各种领域，例如智能助理
、
语音识别
、
自动驾驶等
。
在这些应用中，准确地从语音数据中提取事件信息可以帮助我们更好地理解用户意图
、
实现更智能化的交互以及提供个性化的服务
。
传统的文本事件抽取方法已经取得了显著的进展，但随着语音数据的广泛应用，从语音中抽取事件信息变得越来越重要
。
相比于文本数据，语音数据蕴含了丰富的语音特征和情感信息，同时也具备更加真实和生动的表达方式
。
因此，从语音数据中抽取事件信息可以提供更全面
、
多样化的语义理解和应用
。
[0003]语音事件抽取是信息抽取和语音理解交叉领域的一项新任务，目的在于从语音中抽取语义事件，在语音内容分析等领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于约束生成和扁平事件表示的语音事件抽取方法，其特征在于，包括以下步骤：
S1
：构建面向语音的事件抽取框架；
S2
：利用
Text
‑
to
‑
Speech
工具合成语音，设计扁平事件表示方法，构建语音事件抽取数据集；
S3
：以端到端的方式训练语音事件抽取模型；
S4
：在推理过程注入事件模式知识，实现可控文本生成，
S5
：在触发词识别
、
事件类型识别
、
触发词分类
、
论元识别
、
论元角色识别
、
论元和角色分类这些子任务上进行性能评估，
S6
：重复步骤
S2
‑
S5
，直至没有新的任务需要进行处理
。2.
根据权利要求1所述的一种基于约束生成和扁平事件表示的语音事件抽取方法，其特征在于，所述步骤
S1
中面向语音的事件抽取框架具体为：
A1
：语音特征提取器，首先，输入语音被重新采样到
16kHz
，随后，语音被转换成
80
声道对数幅度梅尔声谱图表示，这些表示是归一化的并且遍历两个卷积层，其中每个层的滤波器宽度为3，并且应用于非线性映射的
GELU
激活函数，语音特征表示为：
F
＝
FeatureExtractor(x)
＝
f1,f2,
…
,f
x
其中，
x
表示语音的时间步数，
f
i
表示第
i
个时间步的语音特征向量，
F
表示语音特征表示，由多个语音特征向量组成的向量序列，
A2
：语音编码器，根据上一步得到的语音特征表示，经过多层
Transformer
编码器计算隐藏向量表示，其中每层编码器是具有自注意力机制和前馈神经网络组成的编码器模块，隐藏层向量表示为：
H
＝
AudioEncoder(f1,f2,
…
,f
x
)
＝
h1,h2,
…
,h
x
其中，
H
表示编码器状态向量，
h
i
表示第
i
个时间步的隐藏向量，
A3
：文本解码器，解码器通过迭代地产生单个单词来逐步地产生目标文本，其中每个单词的产生依赖于先前产生的单词和输入语音的编码表示，其中解码器的每一层包含具有解码器状态向量的自注意力和具有编码器状态向量的交叉注意力，其中，
y
i
表示第
i
个时间步生成的单词
,
表示第
i
个时间步的解码器状态向量
,
表示第
i
‑1个时间步的解码器状态向量
。3.
根据权利要求1所述的一种基于约束生成和扁平事件表示的语音事件抽取方法，其特征在于，所述步骤
S1
中语音事件抽取任务的定义具体为：给定音频
x
作为输入，目标是提取语义事件
y
＝
[e1,e2,
…
,e
n
]
，序列中的每个事件
e
i
是语义事件元素集合，包括触发
t
i
、
事件类型
c
i
、
论元列表
a
i
＝
[a1,a2,
…
,a
m
]
，和论元角色列表
r
i
＝
[r1,r2,
…
,r
m
]。4.
根据权利要求1所述的一种基于约束生成和扁平事件表示的语音事件抽取方法，其特征在于，所述步骤
S2
中
TTS
工具合成语音的方法具体为：首先使用
...

【专利技术属性】
技术研发人员：康婧淇，吴桐桐，漆桂林，
申请(专利权)人：东南大学，
类型：发明
国别省市：