一种基于多任务人工神经网络的刑期预测方法技术

本发明专利技术涉及一种基于多任务人工神经网络刑期预测方法，用于对裁判文书进行数据分析与挖掘，对新获得的犯罪事实描述与嫌疑人基本信息进行刑期预测。该方法以裁判文书引用法律条款的属性关注点为指导，通过全面利用裁判文书中的多维度相关数据，构造具有相互支撑效果的多任务神经网络模型，并以预处理的裁判文书数据进行训练，获得了具有精度高、实用性强的刑期预测方法。该方法以罪名、伤害程度、涉案金额等21项法律条文关注属性为辅助任务，并且对无期和死刑另做分类处理，实现了对刑期的准确预测。与不使用基于此类属性的单任务神经网络模型相比，本发明专利技术提出的方法预测准确率更高，表明本发明专利技术提出的方法是有效、实用的。

【技术实现步骤摘要】
一种基于多任务人工神经网络的刑期预测方法
本专利技术涉及一种基于多任务人工神经网络刑期预测方法，属于自然语言处理

技术介绍
刑期预测问题是裁判文书信息挖掘与分析重要的基本问题之一，其目标是根据犯罪事实描述，预测此犯罪事实在法律等相关信息基础上，将会被处以的刑期。可用于后续自动审判、法律智能咨询。近年来，以神经网络为基础的自然语言处理技术发展和应用极大地推动了裁判文书信息处理与挖掘的发展。传统基于人工神经网络的刑期预测方法基于犯罪事实描述，直接预测刑期。随着人工智能相关技术的发展，利用自然语言处理方法对裁判文书进行处理、分析与应用已成为研究的热点。通过刑期预测方法，可根据犯罪事实描述，利用现有的大规模显示裁判文书中包含的信息，给出准确的刑期预测，并且其中涉及到的各种中间计算结果可以进一步应用于诸如罪名预测、文书检索等领域。基于刑期预测方法，可以实现自动审判、法律智能咨询等服务，为法律相关行业提供高效、有效的参考。基于人工神经网络的刑期预测方法虽然在一定程度上实现了智能化地裁判文书信息挖掘与利用，但是，传统的基于人工神经网络的刑期预测方法，根据犯罪事实描述直接预测刑期，未能充分利用裁判文书中包含的大量信息，忽略了刑期与其他维度各种信息的相关关系，基于单任务人工神经网络的刑期预测方法，仅仅以犯罪事实为输入、仅以刑期为输出，忽略了裁判文书中各个维度的有用信息之间的关联，例如罪名、嫌疑人基本信息、犯罪事实描述的属性信息，因此，导致模型训练的收敛性差、实际预测结果偏差大等问题，难以满足实际应用需求。因此，如何充分利用裁判文书中所包含的各个维度的有用信息，实现准确、有效地刑期预测，是现在要解决的重要问题。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于多任务人工神经网络刑期预测方法；本专利技术可以有效的利用裁判文书中包含的多维度信息，来提高刑期预测的精度。术语解释：1、分词处理：是指将一个文本以词语为最小单元分开，即将一句话拆分成单个词语存储，以便于下一步的构建词典。2、最大化池化方式，是指在一个矩阵中，根据核的大小，取核所覆盖范围内的最大值最为该区域的代表。3、自注意力机制，根据人的大脑处理信息的原理，人在处理眼睛看到的信息或者耳朵听到的信息的时候，通常注意力只会放在重点区域或者重点信息段上面。本专利技术的中的注意力机制是指在特征信息从LSTM层传输到下一层的时候，有一个权重矩阵将对于结果重要的信息放大传输到下一层，不重要的信息减小比重。4、神经网络前向传播计算，是指信息流在网络里向前传播，这里的前是指从输入到输出，每一层的结果都是经过上一层的结果经过本层的权重矩阵加上偏置项，最终经过激活函数得到最终输出。5、全连接神经网络：第N层的每个节点都与第N-1层的所有节点相连，即第N层的每个节点都是上一层的所有节点的加权和。6、反向传播原理，是指信息反向传播，根据模型最后预测器的输出和目标之间的误差，反向调整模型中的参数，以使输出与真实值之间的误差尽量的小。本专利技术的技术方案为：一种基于多任务人工神经网络刑期预测方法，包括步骤如下：(1)对原始数据进行预处理：抽取所需信息，实现数据结构化，构造结构化数据集；(2)训练阶段：把结构化数据集随机分为两部分，比例为8：2，大的部分数据集打乱后分成N份，每次取N-1份做训练，1份做验证，做N次交叉验证，评估模型性能，小的部分作为测试数据集；获得当前训练阶段所需要的训练数据，将训练数据依次进行分词处理、词向量映射后，输入模型，获得输出；所述模型包括词向量嵌入层、双向LSTM层、最大池化层、注意力机制层、平均池化层、分类器、计算损失层、更新参数层；所述词向量嵌入层、所述双向LSTM层、所述最大池化层依次连接；所述双向LSTM层、所述注意力机制层、所述平均池化层依次连接；所述分类器包括罪名分类器、法律属性分类器、刑期回归预测器，所述罪名分类器、所述法律属性分类器、所述刑期回归预测器都是二分类；所述最大池化层、所述计算损失层、所述更新参数层依次连接；所述双向LSTM层、所述注意力机制层、所述法律属性分类器、所述计算损失层、所述更新参数层依次连接；所述最大池化层、所述平均池化层均连接所述刑期回归预测器，所述刑期回归预测、所述计算损失层、所述更新参数层依次连接；所述罪名分类器为M分类，M罪名类型的数量；所述法律属性分类器有18个；包括步骤如下：A、所述词向量嵌入层将样本从原始数据转换为词向量；方便后面模型输入；B、所述双向LSTM层以词向量为输入，将词向量转换为具有某种语义的特征，输出固定长度的特征向量；C、所述最大池化层以双向LSTM层输出的特征向量为输入，作用是简化模型复杂度使之容易计算，提取主要特征，输出一维向量；D、所述注意力机制层以双向LSTM层输出的特征向量为输入，从特征向量中根据不同的任务提取出不同的信息，输出为每个任务一个一维向量，即法律属性的特征向量；E、所述平均池化层将所述注意力机制层的输出的多个一维向量合并为一个矩阵，并计算成一个一维向量；作用与最大池化层一样，输出为一个一维向量；F、所述计算损失层将所述最大池化层的输出与所述平均池化层的输出拼接为一个一维向量，该一维向量经过两层神经网络转化为长度和数据标签一样形式的数据，对于预测罪名和法律属性的分类任务，采用交叉熵形式分类误差，计算输出与目标的误差；对于刑期回归任务，采用均方差形式进行计算误差，计算目标与实际刑期之间的均方误差；将所有误差累计，称之为总损失；G、所述罪名分类器将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，变为一个267长度(即为现阶段本专利技术已有数据库中罪名的数量)的向量，归一化处理后，数值最大的对应位置上的罪名类型即为本条数据预测的罪名；H、所述法律属性分类器将所述注意力机制层的输出向量变为一个2长度的向量，归一化处理后，数值最大的对应位置上的法律属性型即为本条数据预测的法律属性，即第一个位置的数字大，代表该属性为是，第二个位置的数据大，代表该属性为否；I、所述刑期回归预测器将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，再加上嫌疑人基本信息，变为一个数字，该数字即是对该条数据刑期的预测；嫌疑人基本信息为一维，长度为3，包括年龄、性别，是否有前科；J、所述更新参数层采用反向传播原理，计算输出目标对各个参数节点的梯度，每一层的梯度都是间接由上一层的梯度求出，根据梯度下降的方向更新参数，参数是指上述各层中的参数，包括所述词向量嵌入层的词向量、所述双向LSTM层的参数、所述注意力机制层的参数、所述罪名分类器的参数、所述法律属性分类器的参数和所述刑期回归预测器的参数，直到达到预设的迭代次数，将误差最小的模型保存至本地；(3)测试阶段：加载训练阶段中保存的模型，对测试数据集进行采样，获得测试所用数据，将测试所用数据输入模型，依次进行分词、词向量映射、神经网络前向传播计算，输出刑期预测值，显示预测刑期，并与实际刑期进行比对，评估模型性能。进一步优选的，所述步骤(2)中，对于预测罪名和中间属性的分类任务，采用交叉熵形式分类误差，计算输出与目标的误差；交叉熵计算公式如式(Ⅰ)所示：式(Ⅰ)中，y′i为标签中的第i个值，yi为对应的预测分量，当交叉熵越小时，说明分类越本文档来自技高网...

【技术保护点】
1.一种基于多任务人工神经网络刑期预测方法，其特征在于，包括步骤如下：(1)对原始数据进行预处理：抽取所需信息，实现数据结构化，构造结构化数据集；(2)训练阶段：把结构化数据集随机分为两部分，比例为8：2，大的部分数据集打乱后分成N份，每次取N‑1份做训练，1份做验证，做N次交叉验证，评估模型性能，小的部分作为测试数据集；获得当前训练阶段所需要的训练数据，将训练数据依次进行分词处理、词向量映射后，输入模型，获得输出；所述模型包括词向量嵌入层、双向LSTM层、最大池化层、注意力机制层、平均池化层、分类器、计算损失层、更新参数层；所述词向量嵌入层、所述双向LSTM层、所述最大池化层依次连接；所述双向LSTM层、所述注意力机制层、所述平均池化层依次连接；所述分类器包括罪名分类器、法律属性分类器、刑期回归预测器，所述罪名分类器、所述法律属性分类器、所述刑期回归预测器都是二分类；所述最大池化层、所述计算损失层、所述更新参数层依次连接；所述双向LSTM层、所述注意力机制层、所述法律属性分类器、所述计算损失层、所述更新参数层依次连接；所述最大池化层、所述平均池化层均连接所述刑期回归预测器，所述刑期回归预测、所述计算损失层、所述更新参数层依次连接；所述罪名分类器为M分类，M罪名类型的数量；所述法律属性分类器有18个；包括步骤如下：A、所述词向量嵌入层将样本从原始数据转换为词向量；B、所述双向LSTM层以词向量为输入，将词向量转换为具有某种语义的特征，输出固定长度的特征向量；C、所述最大池化层以双向LSTM层输出的特征向量为输入，提取主要特征，输出一维向量；D、所述注意力机制层以双向LSTM层输出的特征向量为输入，从特征向量中根据不同的任务提取出不同的信息，输出为每个任务一个一维向量，即法律属性的特征向量；E、所述平均池化层将所述注意力机制层的输出的多个一维向量合并为一个矩阵，并计算成一个一维向量；F、所述计算损失层将所述最大池化层的输出与所述平均池化层的输出拼接为一个一维向量，该一维向量经过两层神经网络转化为长度和数据标签一样形式的数据，对于预测罪名和法律属性的分类任务，采用交叉熵形式分类误差，计算输出与目标的误差；对于刑期回归任务，采用均方差形式进行计算误差，计算目标与实际刑期之间的均方误差；将所有误差累计，称之为总损失；G、所述罪名分类器将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，变为一个267长度的向量，归一化处理后，数值最大的对应位置上的罪名类型即为本条数据预测的罪名；H、所述法律属性分类器将所述注意力机制层的输出向量变为一个2长度的向量，归一化处理后，数值最大的对应位置上的法律属性型即为本条数据预测的法律属性，即第一个位置的数字大，代表该属性为是，第二个位置的数据大，代表该属性为否；I、所述刑期回归预测器将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，再加上嫌疑人基本信息，变为一个数字，该数字即是对该条数据刑期的预测；嫌疑人基本信息为一维，长度为3，包括年龄、性别，是否有前科；J、所述更新参数层采用反向传播原理，计算输出目标对各个参数节点的梯度，每一层的梯度都是间接由上一层的梯度求出，根据梯度下降的方向更新参数，参数是指上述各层中的参数，包括所述词向量嵌入层的词向量、所述双向LSTM层的参数、所述注意力机制层的参数、所述罪名分类器的参数、所述法律属性分类器的参数和所述刑期回归预测器的参数，直到达到预设的迭代次数，将误差最小的模型保存至本地；(3)测试阶段：加载训练阶段中保存的模型，对测试数据集进行采样，获得测试所用数据，将测试所用数据输入模型，依次进行分词、词向量映射、神经网络前向传播计算，输出刑期预测值，显示预测刑期，并与实际刑期进行比对，评估模型性能。...

【技术特征摘要】
2018.10.29 CN 20181126845941.一种基于多任务人工神经网络刑期预测方法，其特征在于，包括步骤如下：(1)对原始数据进行预处理：抽取所需信息，实现数据结构化，构造结构化数据集；(2)训练阶段：把结构化数据集随机分为两部分，比例为8：2，大的部分数据集打乱后分成N份，每次取N-1份做训练，1份做验证，做N次交叉验证，评估模型性能，小的部分作为测试数据集；获得当前训练阶段所需要的训练数据，将训练数据依次进行分词处理、词向量映射后，输入模型，获得输出；所述模型包括词向量嵌入层、双向LSTM层、最大池化层、注意力机制层、平均池化层、分类器、计算损失层、更新参数层；所述词向量嵌入层、所述双向LSTM层、所述最大池化层依次连接；所述双向LSTM层、所述注意力机制层、所述平均池化层依次连接；所述分类器包括罪名分类器、法律属性分类器、刑期回归预测器，所述罪名分类器、所述法律属性分类器、所述刑期回归预测器都是二分类；所述最大池化层、所述计算损失层、所述更新参数层依次连接；所述双向LSTM层、所述注意力机制层、所述法律属性分类器、所述计算损失层、所述更新参数层依次连接；所述最大池化层、所述平均池化层均连接所述刑期回归预测器，所述刑期回归预测、所述计算损失层、所述更新参数层依次连接；所述罪名分类器为M分类，M罪名类型的数量；所述法律属性分类器有18个；包括步骤如下：A、所述词向量嵌入层将样本从原始数据转换为词向量；B、所述双向LSTM层以词向量为输入，将词向量转换为具有某种语义的特征，输出固定长度的特征向量；C、所述最大池化层以双向LSTM层输出的特征向量为输入，提取主要特征，输出一维向量；D、所述注意力机制层以双向LSTM层输出的特征向量为输入，从特征向量中根据不同的任务提取出不同的信息，输出为每个任务一个一维向量，即法律属性的特征向量；E、所述平均池化层将所述注意力机制层的输出的多个一维向量合并为一个矩阵，并计算成一个一维向量；F、所述计算损失层将所述最大池化层的输出与所述平均池化层的输出拼接为一个一维向量，该一维向量经过两层神经网络转化为长度和数据标签一样形式的数据，对于预测罪名和法律属性的分类任务，采用交叉熵形式分类误差，计算输出与目标的误差；对于刑期回归任务，采用均方差形式进行计算误差，计算目标与实际刑期之间的均方误差；将所有误差累计，称之为总损失；G、所述罪名分类器将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，变为一个267长度的向量，归一化处理后，数值最大的对应位置上的罪名类型即为本条数据预测的罪名；H、所述法律属性分类器将所述注意力机制层的输出向量变为一个2长度的向量，归一化处理后，数值最大的对应位置上的法律属性型即为本条数据预测的法律属性，即第一个位置的数字大，代表该属性为是，第二个位置的数据大，代表该属性为否；I、所述刑期回归预测器将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，再加上嫌疑人基本信息，变为一个数字，该数字即是对该条数据刑期的预测；嫌疑人基本信息为一维，长度为3，包括年龄、性别，是否有前科；J、所述更新参数层采用反向传播原理，计算输出目标对各个参数节点的梯度，每一层的梯度都是间接由上一层的梯度求出，根据梯度下降的方向更新参数，参数是指上述各层中的参数，包括所述词向量嵌入层的词向量、所述双向LSTM层的参数、所述注意力机制层的参数...

【专利技术属性】
技术研发人员：李玉军，冀先朋，马浩洋，韩均雷，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37