一种无监督句法控制释义生成系统及方法技术方案

本发明专利技术公开一种无监督句法控制释义生成系统及方法，所述释义生成系统包括数据预处理模块、语义编码器、句法序列化模块、句法编码器、混合注意力模块和Double

【技术实现步骤摘要】
一种无监督句法控制释义生成系统及方法

：
[0001]本专利技术属于人工智能下控制文本生成领域的
，具体涉及一种无监督句法控制释义生成方法。

技术介绍
：
[0002]释义指的是以另一种形式对文本进行重述。释义生成(Paraphrase Generation，简记PG)
[1]是自然语言处理(Natural Language Processing，简记NLP)中一个长期存在的任务。最近先进的机器学习方法和大数据集大大提升了释义生成任务的性能。释义生成任务证明了机器在语义抽取和句子重组方面的潜在性能，并已经应用于许多NLP的下游应用，例如问答
[2
–
4]、聊天机器人引擎
[5
–
7]、句子简化
[8
–
11]、数据增强
[12
–
17]和摘要抽取
[18
–
21]。
[0003]近年来，学习具有特定风格的可控释义生成(Controllable Paraphrase Generation，简记CPG)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督句法控制释义生成系统，其特征在于：所述释义生成系统包括数据预处理模块、语义编码器、句法序列化模块、句法编码器、混合注意力模块和Double
‑
GRU解码器；其中：所述预处理模块包括数据集、解析单元；所述混合注意力模块包括单调注意力单元、短语间注意力单元和短语内注意力单元；包括如下步骤：所述数据集中原始英文侧句子作为输入全局语义信息x
i
；所述解析单元分解目标句获得目标选区句法树t
i
；所述句法序列化模块将目标选区句法树t
i
转换为句法三序列(s
i
，p
i
，pa
i
)；其中：)；其中：表示句法结点序列，其是通过深度优先遍历t
i
得到；表示结点位置序列，其中是在序列s
i
的绝对位置；表示父结点位置序列，其中是的父结点在序列s
i
的绝对位置；所述语义编码器对全局语义信息x
i
进行编码生成语义向量；所述句法编码器采用选区句法树嵌套结构对句法三序列(s
i
，p
i
，pa
i
)扩散生成句法上下文嵌入向量；所述混合注意力模块将句法编码器最后一层得到的句法上下文嵌入向量与Double
‑
GRU解码器上一时刻隐藏层状态h
t
‑1输入混合注意力模块，捕捉与目标单词相关的句法子结构生成目标句法子结构syn
t
；所述Double
‑
GRU解码器通过两个独立的GRU单元分别对提取的目标句法子结构syn
t
与上一时刻目标单词y
t
‑1迭代解码获得结合目标句法以及语义信息的目标句。2.根据权利要求1所述的一种无监督句法控制释义生成系统，其特征在于：所述句法编码器生成句法上下文嵌入向量过程，包括如下步骤：利用结点位置序列p
i
和父结点位置序列pa
i
得到第一层句法编码器的可视化矩阵a1：如果结点和结点是兄弟结点或者是父子结点，则两者在第一层句法编码器中是可以相互作用的；第一层句法编码器将句法结点序列s
i
和结点位置序列p
i
作为输入：其中：e(
·
)，pos(
·
)分别表示单词编码和位置编码，表示第一层句法编码器得到的句法上下文表示；同理，基于a1可以得到第l层句法编码器的可视化矩阵a
l
以及句法上下文表示文表示如果句法结点和句法结点之间相对距离小于等于l
‑
1，并且句法结点与句法结点之间相对距离为1，则句法结点与结点之间相对距离小于等于l；表示第l
‑
1层句法编码器输出的句法上下文向量表示。3.根据权利要求1所述的一种无监督句法控制释义生成系统，其特征在于：所述混合注
意力模块生成目标句法子结构syn
t
过程，包括如下步骤：所述单调注意力单元确定目标单词对应的词性结点位置：o
t
＝σ(r
t
+ε)其中：V，和b
mon
均是可训练参数，r
t
表示句法结点序列s
i
中每个结点与目标单词的相关性；ε～N(0，I)，σ(
·
)表示sigmoid函数，o
t
表示目标单词对应的词性结点分布；词性结点在句法结点序列s
i
中存在单调性，使用上一时刻词性结点分布α
t
‑1对o
t
进行约束得到当前时刻词性结点分布α
t
；其中：；其中：所述短语间注意力单元采用引入句法结点之间相对距离来表示句法级别，获得不同级别句法结构的注意力分布，表述如下：dis
i
＝a
i
‑
a
i
‑1其中：γ
i
是级别为i的句法子结构对应的可学习权重；dis
i
表示句法结点之间相对距离恰好为i的矩阵，其可通过第i层和第i
‑
1层句法编码器的可视化矩阵a
i
和a
i
‑1得到；所述短语内注意力单元计算同一级别下不同句法结点的注意力分布δ
t
：其中：分别表示将句法上下文嵌入h
syn
映射到查询矩阵Q和键矩阵K，d表示参数的维度；Q与K转置相乘，表示直接计算句法结点之间的语义相关性。所述混合注意力模块结合三种注意力机制，从句法结点序列s
i
中抽取与目标单词相关的句法子结构syn
t
：η
t
＝α
t
*(β
t
+δ
t
)其中：α
t
表示...

【专利技术属性】
技术研发人员：张小旺，孙悦，
申请(专利权)人：天津大学，
类型：发明
国别省市：