基于小样本学习的智能审判系统技术方案

技术编号:26505793 阅读:34 留言:0更新日期:2020-11-27 15:33
基于小样本学习的智能审判系统,包括相似案件检索模型,用于根据输入的目标案情和推送法条从案件库中检索出若干个相似案件,形成相似案件集输出,所述案件库存储有案件,所述案件包括案情、法条、审判结果;审判要素推理模型,用于根据输入的目标案情在相似案件集的基础上给出审判要素预测。本发明专利技术解决案情、法条的一对多和长短文匹配问题,解决数据标注成本高,且模型无法向新增类型扩展及复用的问题,解决案情审判对象无法结构化,审判错误等问题。

【技术实现步骤摘要】
基于小样本学习的智能审判系统
本专利技术属于自然语言处理领域,涉及一种基于小样本学习的智能审判系统。
技术介绍
智慧司法通过运用人工智能技术、大数据技术打造“融合、智能、开放、阳光”的司法智能服务,从而为解决法官数量少、人民检察院工作日益增长、老百姓“诉讼难”等一系列问题提供了有效手段。其中,如何提高司法部门的审判、调解等工作效率和准确性成为相关部门努力的重要方向。智能法官作为提高审判效率的有效途径,涌现出大量相关技术产品。例如阿里的AI辅助审判,英国的CaseCruncherAlpha智慧法官等。但是,这些智慧审判技术还存在多种问题,首先,可审判案件领域较窄,例如,法研杯针对刑事案件,阿里针对电子商务,CaseCruncher则针对金融保险理赔等。通常,这些案情较为简单,即案情要素数量少且较易结构化。例如,在法研杯刑事案件审判数据集中,审判算法甚至可被结构化为三到四个分类模型。这种方法在民商法案件上很难复用,因为它们的判决结果要复杂得多。其次,案情类型被限定在标注数据已知类型范围内,针对新出现刑事类型需准备标注数据,并进行模型重新训练。这就意味着无法进行增量数据微调训练,导致训练时间成本高,从而限制了大型模型的使用。为了解决此问题,研究者提出基于元学习的方法,例如基于拓扑学习的审判预测,基于小样本(Few-Shot)的审判预测和基于端到端的记忆网络审判预测算法等。这些方法使用类比推理的原理,通过检索相似案例,根据相似案例的判决结果,推理当前案件的判决预期。智慧审判可以被解构为{案情,法条}匹配和{案情,法条,问题}阅读理解两个子任务。案情法条匹配的相关研究为长文本匹配,不同于短文匹配,长文匹配因为样本长度,无法直接移植短文本模型。有研究无视长度,使用直接截断文本的方法,套用Bert模型,将文本转为向量,并计算向量间相似度。实验结果显示被截断的后半部分文本可能是长文的实际重点,这会削弱语义匹配度,导致精度较差。有研究使用具有长距离注意模型,如Transorfomer-XL,但此模型仅能部分实现长距离注意。还有研究将长文匹配解构为短文间匹配,通过计算top-n条短句BERT向量加权匹配度的方法,此方法计算的长文向量实际忽略了短句间词、字符之间的相互关系,削弱了BERT对句子上下文的融合。
技术实现思路
为了克服现有技术中存在的不足,本专利技术在于提供了一种基于小样本学习的智能审判系统,解决案情、法条的一对多和长短文匹配问题,解决数据标注成本高,且模型无法向新增类型扩展及复用的问题,解决案情审判对象无法结构化,审判错误等问题。本专利技术采用的技术方案是:基于小样本学习的智能审判系统,其特征在于:包括相似案件检索模型,用于根据输入的目标案情和推送法条从案件库中检索出若干个相似案件,形成相似案件集输出,所述案件库存储有案件,所述案件包括案情、法条、审判结果;审判要素推理模型,用于根据输入的目标案情在相似案件集的基础上给出审判要素预测。进一步,还包括:法条匹配模型,用于根据输入的目标案情从法条条文集中匹配出若干条法条条文,形成推送法条输出,所述法条条文集存储有法条。进一步,所述法条匹配模型从法条匹配模型训练模块获取,所述法条匹配模型训练模块包括输入获取模块I,用于从案件数据集中获取N_train个案件Si,形成训练集DSTrain,案件Si包括案情AQi、法条FTi、审判结果SPi,案情AQi包括zs个字符,AQi={x1,x2,...,xm,...,xzs}|AQi,法条FTi包括ts个条文,FTi={y1,y2,...,yn,...,yts}|FTi;其中正样本集:取自训练集DSTrain的NPTrain个案件Si,形成正样本集DSPTrain;负样本集:取自训练集DSTrain的NNTrain个案件Si,将Si对应的案情法条中任意一条或多条换成其他案件法条,形成负样本集DSNTrain;滑动窗Albert编码器I,包括一个预处理模块I和多个结构相同的编码单元I,所述预处理模块接收输入获取模块I的数据,进行预处理后输出窗向量给第一个编码单元,多个编码单元依次连接,最后一个编码单元输出与窗向量对应的表征向量给法条匹配网络I;法条匹配网络I,包括依次连接的多头自注意层II、全连接层I、sigmoid层I,所述多头自注意层II的输入端与滑动窗Albert编码器I的输出端连接,所述sigmoid层I输出案情与法条条文相关的概率值;训练单元I,包括损失评估I,采用MSE损失函数,训练集乱序分批进行训练,每次训练计算MSE损失函数,判断损失函数是否满足训练结束条件,若不满足训练结束条件,则最小化惩罚函数策略迭代训练多头自注意力层II、全连接层I的模型参数;若满足训练结束条件,则完成法条匹配模型训练,训练结束后的滑动窗Albert编码器I、法条匹配网络I,构成法条匹配模型。本专利技术基于滑动窗ALBert预训练向量+多头自注意层构建案情法条匹配网络,并使用匹配回归惩罚函数,解决案情、法条的一对多和长短文匹配问题。进一步,所述预处理模块I利用滑动窗提取案件Si的案情AQi、法条FTi的编码矩阵Matrix_AFi,Matrix_AFi包括MM条案情窗向量和1条法条窗向量,窗向量包含LEN个编码元素,编码元素包括:字符编码、字符所在位置编码、字符标记编码:Matrix_AFi=[XX1,XX2,...,XXmm,...,XXMM,YY1]T|SiXXmm={xxmm,1,xxmm,2,...,xxmm,len,...,xxmm,LEN}YY1={yy1,1,yy1,2,...,yy1,len,...,yy1,LEN}其中,LEN为Albert编码器处理文本的编码元素长度,XXmm为编码矩阵中第mm条案情窗向量,MM为案情窗向量条数,xxmm,len为第mm条案情窗向量中第len个编码元素,YY1为编码矩阵中法条窗向量;具体计算:1)滑动窗2)对案情AQi,按滑动窗提取编码元素,编码元素包括:字符编码、字符所在位置编码、字符标记编码,其中编码元素xxmm,len,对应的字符xlen+(mm-1)dis,编码元素xxmm,len,对应的字符所在位置len+(mm-1)dis,编码元素xxmm,len,对应的字符标记E(AQi),表示属于案情AQi的字符;编码元素xxmm,len,对应的字符xlen+(mm-1)dis,当mm取1,len取1时,len+(mm-1)dis=1+(1-1)dis=1,第1条案件窗向量中的第1个编码元素xx1,1对应的字符为案情AQi的第1个字符x1;当mm取MM,len取LEN时,len+(mm-1)dis=LEN+(MM-1)dis=zs,第MM条案件窗向量中的第LEN个编码元素xxMM,LEN对应的字符为xzs;3)对法条FTi,提取编码元素,采用和案情AQi一样的处理方式。进一步,所述编码单元I包括:多头自注意力层I、相加和规范层I、前向反本文档来自技高网
...

【技术保护点】
1.基于小样本学习的智能审判系统,其特征在于:包括/n相似案件检索模型,用于根据输入的目标案情和推送法条从案件库中检索出若干个相似案件,形成相似案件集输出,所述案件库存储有案件,所述案件包括案情、法条、审判结果;/n审判要素推理模型,用于根据输入的目标案情在相似案件集的基础上给出审判要素预测。/n

【技术特征摘要】
1.基于小样本学习的智能审判系统,其特征在于:包括
相似案件检索模型,用于根据输入的目标案情和推送法条从案件库中检索出若干个相似案件,形成相似案件集输出,所述案件库存储有案件,所述案件包括案情、法条、审判结果;
审判要素推理模型,用于根据输入的目标案情在相似案件集的基础上给出审判要素预测。


2.根据权利要求1所述的基于小样本学习的智能审判系统,其特征在于:还包括:
法条匹配模型,用于根据输入的目标案情从法条条文集中匹配出若干条法条条文,形成推送法条输出,所述法条条文集存储有法条。


3.根据权利要求2所述的基于小样本学习的智能审判系统,其特征在于:所述法条匹配模型从法条匹配模型训练模块获取,所述法条匹配模型训练模块包括
输入获取模块I,用于从案件数据集中获取N_train个案件Si,形成训练集DSTrain,案件Si包括案情AQi、法条FTi、审判结果SPi,案情AQi包括zs个字符,AQi={x1,x2,...,xm,...,xzs}|AQi,法条FTi包括ts个条文,FTi={y1,y2,...,yn,...,yts}|FTi;
其中正样本集:取自训练集DSTrain的NPTrain个案件Si,形成正样本集DSPTrain;
负样本集:取自训练集DSTrain的NNTrain个案件Si,将Si对应的案情法条中任意一条或多条换成其他案件法条,形成负样本集DSNTrain;
滑动窗Albert编码器I,包括一个预处理模块I和多个结构相同的编码单元I,所述预处理模块接收输入获取模块I的数据,进行预处理后输出窗向量给第一个编码单元,多个编码单元依次连接,最后一个编码单元输出与窗向量对应的表征向量给法条匹配网络I;
法条匹配网络I,包括依次连接的多头自注意层II、全连接层I、sigmoid层I,所述多头自注意层II的输入端与滑动窗Albert编码器I的输出端连接,所述sigmoid层I输出案情与法条条文相关的概率值;
训练单元I,包括损失评估I,采用MSE损失函数,训练集乱序分批进行训练,每次训练计算MSE损失函数,判断损失函数是否满足训练结束条件,若不满足训练结束条件,则最小化惩罚函数策略迭代训练多头自注意力层II、全连接层I的模型参数;若满足训练结束条件,则完成法条匹配模型训练,训练结束后的滑动窗Albert编码器I、法条匹配网络I,构成法条匹配模型。


4.根据权利要求3所述的基于小样本学习的智能审判系统,其特征在于:所述预处理模块I利用滑动窗提取案件Si的案情AQi、法条FTi的编码矩阵Matrix_AFi,Matrix_AFi包括MM条案情窗向量和1条法条窗向量,窗向量包含LEN个编码元素,编码元素包括:字符编码、字符所在位置编码、字符标记编码:
Matrix_AFi=[XX1,XX2,...,XXmm,...,XXMM,YY1]T|Si
XXmm={xxmm,1,xxmm,2,...,xxmm,len,...,xxmm,LEN}
YY1={yy1,1,yy1,2,...,yy1,len,...,yy1,LEN}
其中,LEN为Albert编码器处理文本的编码元素长度,XXmm为编码矩阵中第mm条案情窗向量,MM为案情窗向量条数,xxmm,len为第mm条案情窗向量中第len个编码元素,YY1为编码矩阵中法条窗向量;
具体计算:
1)滑动窗



2)对案情AQi,按滑动窗提取编码元素,编码元素包括:字符编码、字符所在位置编码、字符标记编码,其中编码元素xxmm,len,对应的字符xlen+(mm-1)dis,编码元素xxmm,len,对应的字符所在位置len+(mm-1)dis,编码元素xxmm,len,对应的字符标记E(AQi),表示属于案情AQi的字符;
编码元素xxmm,len,对应的字符xlen+(mm-1)dis,当mm取1,len取1时,len+(mm-1)dis=1+(1-1)dis=1,第1条案件窗向量中的第1个编码元素xx1,1对应的字符为案情AQi的第1个字符x1;当mm取MM,len取LEN时,len+(mm-1)dis=LEN+(MM-1)dis=zs,第MM条案件窗向量中的第LEN个编码元素xxMM,LEN对应的字符为xzs;
3)对法条FTi,提取编码元素,采用和案情AQi一样的处理方式。


5.根据权利要求3所述的基于小样本学习的智能审判系统,其特征在于:所述编码单元I包括:多头自注意力层I、相加和规范层I、前向反馈层I、相加和规范层II,编码单元的输入x,作为多头自注意力层I的输入x,多头自注意层I的输出为MAlayer(x),与多头自注意层I的输入x一起作为相加和规范层I的输入,相加和规范层I的输出为LayerNormI(MAlayer(x)+x),作为前向反馈层I的输入,前向反馈层I的输出为FFN(LayerNormI(MAtlayer(x)+x)),与相加和规范层I的输出一起作为相加和规范层II的输入,相加和规范层II的输出为LayerNormII(FFN(LayerNormI(MAlayer(x)+x))+LayerNormI(MAlayer(x)+x)),作为编码单元的输出;
所述多头自注意力层I:
1)接收输入x,
2)从每个输入创建3个向量,Q、K、V,
3)计算多头注意力函数:MultiHead(Q,K,V)=Concat(head1,...,headh)WO,其中,headi=Attention(QWiQ,KWiK,VWiV),h为头个数,WO、WiQ、WiK、WiV是已训练好的权值参数矩阵;Concat(head1,...,headh)表示将h头的Attention结果进行拼接,Attention为自注意力函数:dk是Q、K的维度;
4)输出:MAlayer(x)=MultiHead(Q,K,V);
所述相加和规范层I、相加和规范层II:
1)接收输入x、MAlayer(x),
2)采用LayerNormalizaiton方法进行归一化处理,
3)输出LayerNormI(MAlayer(x)+x),其中,LayerNormI()表示归一化处理函数;
所述前向反馈层I:
1)接收输入LayerNormI(MAlayer(x)+x),作为x',
2)计算:FFN(x')=max(0,x'W1+b1)W2+b2,其中W1、W2、b1、b2为已训练好的模型参数,
3)输出:FFN(LayerNormI(MAtlayer(x)+x));
所述相加和规范层II:
1)接收输入FFN(LayerNormI(MAtlayer(x)+x))、LayerNormI(MAlayer(x)+x),
2)采用LayerNormalizaiton方法进行归一化处理,...

【专利技术属性】
技术研发人员:丁锴李建元宋慧慧陈涛王开红
申请(专利权)人:银江股份有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1