基于深度神经网络的司法审理首问题生成方法、装置、介质制造方法及图纸

本发明专利技术提供了一种基于深度神经网络的司法审理首问题生成方法、装置、介质。所述方法包括：1)获取法律文书，包括原告诉称文本和庭审记录问题，提取审理过程中的首问题和争议焦点，并构建训练样本；2)结合注意力机制和LSTM(长短时记忆模型)搭建序列到序列模型，分别完成司法审理首问题生成和争议焦点生成任务；3)搭建多任务学习框架，利用争议焦点生成任务作为首问题生成任务的辅助任务，更好地完成首问题生成。本发明专利技术将深度神经网络和多任务学习技术应用于司法审理首问题的生成，从而帮助提升法庭审理工作的效率。相比一般的自然语言的生成算法，本发明专利技术利用多任务学习框架，有效保留了争议焦点与首问题间的共享特征，提升了首问题的生成效果。题的生成效果。题的生成效果。

【技术实现步骤摘要】
基于深度神经网络的司法审理首问题生成方法、装置、介质


[0001]本专利技术涉及自然语言处理领域，尤其涉及一种基于深度神经网络的司法审判首问题生成技术。

技术介绍

[0002]目前自然语言处理主要包括自然语言的认知，理解和生成等部分。通过这些部分，自然语言处理技术可以帮助人们快速地对大量的文本数据进行理解并据此提取生成有效信息。这一点能够很好地在法律领域发挥作用。在庭审法律文书的处理中，有一个非常关键的工作是首问题(leading question)的获取。首问题所指的就是法官所提出的第一个质询性问题，也将在很大程度上将决定后续质询性问题的方向。法官通常在决定首问题上会花费可观的时间和精力，来确保首问题之后的后续质询性问题可以准确地围绕案由核心展开。除了首问题之外，另一个非常重要的庭审文书处理工作是争议焦点的获取。争议焦点所指的就是在案由中最关键的核心信息。在民事案件的审理中，争议焦点主要通过分析原告与被告提供的信息所获取。这也是法官在做出判决时非常重要的一个信息依据。因此如果能够利用自然语言处理技术获取首问题和争议焦点便可以为法院节省可观的时间和精力从而加快案情审理的速度。
[0003]在自然语言处理领域，常常通过基于长短时记忆模型(LSTM)的循环神经网络(RNN)建立序列到序列模型，从而完成对自然语言的生成。近年来，注意力机制也被引入了序列到序列模型从而产生了序列到序列结合注意力模型，从而更进一步提升了自然语言生成的表现。然而，自然语言处理领域很常见的一个问题就是学习效果不佳。该专利技术所采用的多任务学习可以通过辅助任务的学习来提升学习效果。

技术实现思路

[0004]本专利技术的目的是克服现有技术的不足，提供一种基于深度神经网络的司法审判首问题生成方法。
[0005]本专利技术的专利技术构思是：获取法律文书，包括原告诉称文本和庭审记录问题，提取审理过程中的首问题和争议焦点，并构建训练样本；对已建立的训练样本进行训练，针对首问题生成和争议焦点生成，利用LSTM搭建序列到序列结合注意力机制模型；基于序列到序列结合注意力机制模型，进行多任务学习，利用辅助任务争议焦点的生成，为主要任务首问题生成提供更多信息，从而提升首问题生成的效果。
[0006]为实现上述专利技术目的，本专利技术具体采用的技术方案如下：
[0007]一种基于深度神经网络的司法审理首问题生成方法，其包括如下步骤：
[0008]S1：获取法律文书，包括原告诉称文本和庭审记录文本，提取审理过程中的首问题(1eading question)和争议焦点，并构建成训练样本；
[0009]S2：针对首问题生成任务和争议焦点生成任务，利用LSTM搭建序列到序列结合注意力机制模型；
[0010]S3：基于序列到序列结合注意力机制模型，搭建多任务学习框架，利用争议焦点生成作为辅助任务，帮助完成首问题生成任务。
[0011]作为优选，所述S1的具体步骤如下：
[0012]S101：利用正则表达式从司法判决书中抽取原告诉称文本，利用jieba分词将原告诉称文本分割成词语构成的序列{x1，x2，...，x
M
}，其中x
i
为原告诉称文本词语序列的第i个词语，M为原告诉称文本词语序列长度，i∈[1，M]；
[0013]S102：利用正则表达式从司法庭审文本中抽取首问题文本，利用jieba分词将首问题文本分割成词语构成的序列{y1，y2，...，y
N
}，其中y
j
为首问题文本词语序列的第j个词语，N为首问题文本词语序列长度，j∈[1，N]；
[0014]S103：将庭审记录文本利用jieba分词分割为词语构成的序列{x
′1，x
′2，...，x
′
P
}，其中x
′
k
为庭审记录文本词语序列的第k个词语，P为庭审记录文本词语序列长度，k∈[1，P]；抽取庭审记录文本中的争议焦点文本，利用jieba分词将其分割为词语构成的序列{y
′1，y
′2，...，y
′
Q
}，其中y
′
f
为争议焦点文本词语序列中第f个词语，Q为争议焦点文本词语序列中序列长度，f∈[1，Q]；
[0015]S104：将S101～S103中获得的词语序列构建为训练样本。
[0016]作为优选，所述S2的具体步骤如下：
[0017]S201：利用长短时记忆模型(LSTM)搭建一个两层的bidirectional LSTM编码器，用于对原告诉称文本词语序列进行编码，得到文本向量{h1，h2，...，h
M
}，其中通过bidirectional LSTM编码器更新得到的文本表征向量为其中表示正向的隐藏状态，表示逆向的隐藏状态；再根据更新得到的文本表征向量，计算得到上下文向量其中为第l层隐藏层的权重，l∈[1，M]；
[0018]S202：利用LSTM搭建一个单层的单向LSTM-RNN解码器，并根据上下文向量和所有之前预测所得的词语{y1，...，y
t-1
}来预测第t步的词y
t
：
[0019][0020]其中，p(y)表示生成词序列y的概率，y＝(y1，...，y
t
)，为第t步的上下文向量，l∈[1，N]；
[0021]S203：基于利用LSTM所搭建的编码器和解码器，使用序列到序列结合注意力机制模型(sequence to sequence attentionmodel)将原告诉称文本词语序列{x1，x2，...，x
M
}映射到词汇空间：
[0022][0023]其中st为解码器状态，为上下文向量，V，V
′
，b和b
′
是待学习的参数；
[0024]最后预测的词的概率分布为P(w)＝P
vocab
(w)，P
vocab
(w)表示词w在词汇空间P
vocab
中出现的概率；
[0025]S204：针对序列到序列结合注意力机制模型，设定训练样本的损失函数为：
[0026][0027]其中P(w
t
)为首问题文本词语序列中第t个词语的概率。
[0028]作为优选，所述的步骤S201中，计算上下文向量时，所采用的隐藏层权重的生成机制为：
[0029][0030]其中，h
l
为文本向量，s
j
为解码器状态，其中v，W
h
，W
s
，b
attn
是待学习的参数。
[0031]作为优选，所述S3的具体步骤如下：
[0032]S301：利用两个不同的双层LSTM分别对原告诉称和庭审记录文本进行编码得到文本向量{h1，h2，...，h
M
}和{h
′1，h<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的司法审理首问题生成方法，其特征在于，包括如下步骤：S1：获取法律文书，包括原告诉称文本和庭审记录文本，提取审理过程中的首问题和争议焦点，并构建成训练样本；S2：针对首问题生成任务和争议焦点生成任务，利用LSTM搭建序列到序列结合注意力机制模型；S3：基于序列到序列结合注意力机制模型，搭建多任务学习框架，利用争议焦点生成作为辅助任务，帮助完成首问题生成任务。2.如权利要求1中所述的基于深度神经网络的司法审理首问题生成方法，其特征在于，所述S1的具体步骤如下：S101：利用正则表达式从司法判决书中抽取原告诉称文本，利用jieba分词将原告诉称文本分割成词语构成的序列{x1，x2，...，x
M
}，其中x
i
为原告诉称文本词语序列的第i个词语，M为原告诉称文本词语序列长度，i∈[1，M]；S102：利用正则表达式从司法庭审文本中抽取首问题文本，利用jieba分词将首问题文本分割成词语构成的序列{y1，y2，...，y
N
}，其中y
j
为首问题文本词语序列的第j个词语，N为首问题文本词语序列长度，j∈[1，N]；S103：将庭审记录文本利用jieba分词分割为词语构成的序列{x
′1，x
′2，...，x
′
P
}，其中x
′
k
为庭审记录文本词语序列的第k个词语，P为庭审记录文本词语序列长度，k∈[1，P]；抽取庭审记录文本中的争议焦点文本，利用jieba分词将其分割为词语构成的序列{y
′1，y
′2，...，y
′
Q
}，其中y
′
f
为争议焦点文本词语序列中第f个词语，Q为争议焦点文本词语序列中序列长度，f∈[1，Q]；S104：将S101～S103中获得的词语序列构建为训练样本。3.如权利要求2中所述的基于深度神经网络的司法审理首问题生成方法，其特征在于，所述S2的具体步骤如下：S201：利用长短时记忆模型(LSTM)搭建一个两层的bidirectional LSTM编码器，用于对原告诉称文本词语序列进行编码，得到文本向量{h1，h2，...，h
M
}，其中通过bidirectional LSTM编码器更新得到的文本表征向量为其中表示正向的隐藏状态，表示逆向的隐藏状态；再根据更新得到的文本表征向量，计算得到上下文向量其中为第l层隐藏层的权重，l∈[1，M]；S202：利用LSTM搭建一个单层的单向LSTM-RNN解码器，并根据上下文向量和所有之前预测所得的词语{y1，...，y
t-1
}来预测第t步的词y
t
：其中，p(y)表示生成词序列y的概率，y＝(y1，...，y
t
)，为第t步的上下文向量，l∈[1，N]；S203：基于利用LSTM所搭建的编码器和解码器，使用序列到序列结合注意力机制模型将原告诉称文本词语序列{x1，x2，...，x
M
}映射到词汇空间：
其中s
t
为解码器状态，为上下文向量，V，V
′
，b和b
′
是待学习的参数；最后预测的词的概率分...

【专利技术属性】
技术研发人员：吴飞，况琨，钱天驰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：