一种基于多尺度特征融合和门控单元的预测系统及方法技术方案

本发明专利技术公开了一种基于多尺度特征融合和门控单元的预测系统及方法，通过案情描述、法律条文信息、法条名称信息进行有组织的多尺度嵌入和特殊的门控单元，克服了现有技术在法律判决预测中针对案情描述信息分析的缺点与不足。本发明专利技术可以有效的将多项预测内容进行巧妙的结合，只需要明确预测内容的拓扑顺序，同时取出每一步的预测结果与预测依据信息，增强了司法领域的可解释性；本发明专利技术使用的属性提取功能在排除噪声的同时，有效的提升犯罪特征预测性能和泛用性，使其可以更好地标注出案情描述中的关键点。

【技术实现步骤摘要】
一种基于多尺度特征融合和门控单元的预测系统及方法
本专利技术属于辅助判决预测
，涉及一种基于多尺度特征融合和门控单元的预测系统及方法。
技术介绍
目前，司法工作者的工作量巨大。事实上，一名司法工作者审结一起案件要查阅大量的相关材料，需要在长期的工作经验积累下，经过深思熟虑之后，并在短时间内要完成书写最终的判决书等文本任务。这对于司法工作者来说，无论是职业能力，还是身体素质，都受到极大的挑战。如果应用基于深度学习的人工智能方法来处理、解决这些案件，则可以节省大部分人力和物力，极大地提高了其工作效率并减轻了压力。相关研究表明，智能应用可以减少30％以上的办公桌工作。在实际调研中发现司法工作者使用的统一判案平台对于法律文书和案卷仅有人工填写和批注功能，缺乏对于案件内容的智能化关键信息提取和智能化分析。这表示人工智能在司法领域中的应用还远远不足。目前的法律判决预测方法主要有以下三种：一是端到端模型，直接将案情描述输入，通过深度学习模型可以直接预测出罪名、法条等。但是，这种方法没有对原始的文本内容进行分类输入，导致输入信息间产生混淆本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征融合和门控单元的预测系统，其特征在于，包括：/n案情描述与特征编码模块，用于采用双重注意力网络对案情描述进行编码，通过句编码到文章编码递进处理长文本，并使用BERT-Text-CNN属性预测器对属性信息进行属性预测；/n多标签法条预测模块，用于对所有标签进行得分计算，再通过设定阈值表示对最后留下的法条内容进行法条预测；/n多标签罪名预测模块，用于将案情描述和法条内容的信息进行建模对应，最终将法条标签、含有注意力信息的案情描述和属性同时融入模型，进行多标签罪名的预测；/n刑期预测模块，用于通过设定的门控机制对法条进行过滤，再结合犯罪事实内容进行最终刑期的决定。/n

【技术特征摘要】
1.一种基于多尺度特征融合和门控单元的预测系统，其特征在于，包括：
案情描述与特征编码模块，用于采用双重注意力网络对案情描述进行编码，通过句编码到文章编码递进处理长文本，并使用BERT-Text-CNN属性预测器对属性信息进行属性预测；
多标签法条预测模块，用于对所有标签进行得分计算，再通过设定阈值表示对最后留下的法条内容进行法条预测；
多标签罪名预测模块，用于将案情描述和法条内容的信息进行建模对应，最终将法条标签、含有注意力信息的案情描述和属性同时融入模型，进行多标签罪名的预测；
刑期预测模块，用于通过设定的门控机制对法条进行过滤，再结合犯罪事实内容进行最终刑期的决定。


2.一种基于多尺度特征融合和门控单元的预测方法，其特征在于，包括以下步骤：
阶段0：数据预处理与标记
步骤0：将案情描述数据利用分词工具将句子分解为单词序列，并给出每条案情描述所对应的法条、罪名、刑期标签；
步骤1：对于民法中的多任务判决预测任务定义如下：假设一个案情描述L是由一个单词序列所构成，即L＝{x,x1,...,xn}，其中每个单词xi来自一个固定词汇W，且n表示x的长度；对于每个案情描述L，得到其属性集为A＝{a1,a2,...,a10}，其中ai表示第i个属性的值，且ai∈{0,1}；
阶段1：案情描述与犯罪特征嵌入
步骤2：对于包含n个词语的案情描述L＝{x1,x2,...,xn}，每个词语均被表示为向量Wi；
xi＝WwrdVi(1)
其中，是由Word2vec训练得到的向量矩阵，dw是词向量的维度，|V|是词典的大小，Vi是输入词语的词袋表示，R是实数范围；
步骤3：使用双向GRU网络对每个句子顺向和逆向都输入一遍，得到两个不同的隐藏层表示，然后将顺向、逆向的在每一个t时刻的隐藏层表示向量进行拼接表示；
步骤4：将双向GRU的前向隐藏层和后向隐藏层乘以注意权矩阵，并利用softmax得到最有效的特征输出表示，且词级输出Sw由下式计算：
uij＝tanh(Wwhij+bw)(2)



Sw＝∑jαijhij(4)
其中uij表示目标矩阵，i，j表示向量维度，tanh表示激活函数，hij表示词级隐藏层分量，αij表示词级注意力分量，表示目标矩阵转置，T为转置标记，Ww和bw表示权重矩阵和偏差，cw表示随机初始化矩阵；
步骤5：对于双向GRU而言，假设前向得到的隐藏层表示为Hf，后向得到的隐藏层表示为Hb；需要将前向和后向结果进行拼接操作；之后再次输入到双向GRU中，得到隐藏层输出



其中，表示包含词级注意力的隐层表示；
步骤6：使用句子层注意力机制从句子集中提取特征，句子集的输出Ss由以下列公式进行计算：
ui＝tanh(Wshi+bs)(6)



Ss＝∑iαihi(8)
其中，Ws和bs表示权重矩阵和偏差，hi表示句子级隐层分量，αi表示句子级注意力分量，表示目标矩阵转置，cs为随机初始化矩阵，αs表示注意力权重矩阵，将Ss作为案情描述的目标嵌入矩阵；
步骤7：将句子的矩阵表示输入到BERT预训练模型中，进行参数微调，得到BERT的token-level输出作为编码输入，使用BERT的句子表示矩阵输出；之后、进行卷积操作，并利用多尺度卷积核提取出相邻词的联合信息和语义；对于句子矩阵A∈Rs×d，使用A[i:j]表示第i行到第j行的子矩阵；在卷积子矩阵上反复应用卷积核得到卷积的输出序列o∈Rs-h+1；
o(i)＝w*A[i:i+h-1](9)
其中，i＝1...s-h+1，*表示乘法运算；w表示权重矩阵；对于每个卷积结果表示为：
C(i)＝f(o(i))(10)
选取大小为3、4、5的卷积核，得到不同感受野的数据；将处理后的结果连接起来后，加入全连接层，使两层网络间所有神经元之间都有权重连接，用于预测最终的类别；最后得到输出层结果，使用Softmax生成最终的分类结果；将属性进行维度为dw的嵌入处理，形成属性嵌入矩阵SAttr，并将案情描述嵌入更新为：



其中，β为调节参数，dw为向量维度；并将SFcat作为最终的输入层表示；
阶段2：法条预测
步骤8：应用Softmax函数计算每一篇案件描述文本的分数，首先对SFcat接入全连接层之后，采用Max-poolin...

【专利技术属性】
技术研发人员：饶元，李薛，王婉臻，吴连伟，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61