【技术实现步骤摘要】
一种多罪名预测方法
[0001]本专利技术涉及一种多罪名预测方法。
技术介绍
[0002]当今社会，在政府相关部门以及各大信息平台的大力宣传之下，人们通过法律手段维护自身权益的意识日益提高。目前人工智能技术在智慧法院各建设领域呈不断拓展的趋势，深度学习模型在经过大量数据训练之后，能够快速学习到案件事实中的重要信息并做出相应判断，从而为司法从业人员减轻负担，提高工作效率。
[0003]罪名预测任务是智慧审判领域的核心任务之一，其旨在依据犯罪事实自动预测出犯罪主体触犯的罪名。现有研究通常将罪名预测任务建模为多标签分类问题进行求解，通过编码器把案情描述文本压缩为一个融合语义信息的上下文向量，然后将该向量输入分类器生成每个罪名的概率，最后设定一个先验阈值，如果概率大于阈值就认为罪名与案情对应。
[0004]此类方法在单罪名案例上表现尚可，但在多罪名案例上表现不佳，主要存在以下问题：首先，将多罪名预测转化为多个单罪名预测没有考虑到罪名之间潜在的逻辑关系，不具有解释性；其次，将不同罪名以数字或者符号加以区分，不仅没有考虑...
【技术保护点】
【技术特征摘要】
1.一种多罪名预测方法，其特征在于，包括如下步骤：步骤1，对文本摘要模型进行训练，将案情描述输入训练好的文本摘要模型，得到案情摘要；步骤2，将案情描述与案情摘要拼接；步骤3，将所有罪名精简为长度为X1的字符串；步骤4，取步骤2得到的案情编码向量作为解码过程中的当前隐藏状态，计算得到当前时间步的案情和罪名注意力编码向量；步骤5，将案情编码向量与案情和罪名注意力编码向量拼接作为解码过程中的当前时间步的输入，将所述输入经过全连接层映射到中文字典的维度，取概率最大的位置对应的罪名即当前时间步预测出的罪名。2.根据权利要求1所述的方法，其特征在于，步骤1包括：文本摘要模型选择UniLM模型，在训练文本摘要模型时，输入内容包括：[CLS]新闻内容[SEP]新闻摘要[SEP]，其中[CLS]为开始标记，[SEP]为结束标记，通过UniLM模型的掩码机制掩盖新闻摘要中的字，让UniLM模型学习逐个恢复被掩盖的字，训练目标是基于上下文最大化被掩盖字的似然度，结束标记[SEP]也能够被掩盖，模型预测到结束标记即结束预测。3.根据权利要求2所述的方法，其特征在于，步骤2包括：案情描述与案情摘要之间加入@@@作为分隔符，通过字级分词器和中文字典分别进行分词和词嵌入，将输入文本转化为向量序列，采用UniLM模型的双向语言模型对向量序列进行编码，取输出的最后一个向量作为当前时间步的案情编码向量。4.根据权利要求3所述的方法，其特征在于，步骤2中，训练时案情描述和对应罪名以句子对的形式进行输入，测试时仅输入案情描述，格式为：[CLS]案情描述@@@案情摘要[SEP]，其中@@@用于区分案情描述和案情摘要，每个字的表征方式由词嵌入、位置嵌入和分段嵌入组合而成。5.根据权利要求4所述的方法，其特征在于，步骤2中，首先由Bert的字级分词器对拼接的案情描述和案情摘要进行分词，返回分词后的字的数组，再根据中文字典中字和数值的一一对应关系将字的数组转化为值的数组，通过深度学习pytorch框架的nn.embedding方法将每个字的独热编码转化为768维的稠密向量；位置嵌入将单词的位置信息编码成特征向量，从而引入单词位置关系。6.根据权利要求5所述的方法，其特征在于，步骤2还包括：对于长度512的输入，词向量维度为768，位置嵌入是(512，768)的查询表，序列的每个位置的位置嵌入对应表中相应的行，其中的值在模型训练过程中不断学习。7.根据权利要求6所述的方法，其特征在于，步骤2还包括：UniLM模型的骨干网络包括24层Transformer网络，经过词嵌入之后，UniLM模型的输入向量转化为由768维词向量组成的序列H0＝[x1，...，x
|x|
]，送入24层Transformer网络，在不同层融合上下文信息，每层Transformer使用多头注意力融合上一层输出的向量，第l层编码输出为层Transformer使用多头注意力融合上一层输出的向量，第l层编码输出为表示词向量在第l层编码对应位置的输出；对于第l层Tran...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。