一种基于司法多维评估的模型评估系统技术方案

一种基于司法多维评估的模型评估系统其主要特征是通过搭建多阶段自动化大规模评估系统对司法模型进行评估筛选，给出司法模型在司法多维指标下的表现可以从侧面消解“算法黑箱”带来的隐患，从而保障司法办案过程中所重视的“可视正义”，其中司法多维评估指标分为基础性指标和变异性指标，基础性指标是在传统的

【技术实现步骤摘要】
一种基于司法多维评估的模型评估系统


[0001]本专利技术属于软件工程领域，尤其是司法模型评估领域的应用
。
系统对上传的包装成容器压缩文件的司法模型进行评估，给出相应的评估
。

技术介绍

[0002]随着大数据时代的到来，各类基于人工智能技术的司法办案辅助系统的使用也越来越频繁
。
司法办案辅助系统有效地提升了司法办案的效率，缓解了“案多人少”的司法困境，充分发挥了人工智能技术对司法行业的优化重塑效应
。
但人工智能与司法行业的深入结合也面临着诸多挑战，例如人工智能模型所隐含的“算法黑箱”与司法办案过程中所重视的“可视正义”背道而驰，但完备的司法模型评估体系缺还未建立起来，与此同时现存的司法数据质量也不能保证人工智能模型得到充分的训练，这些问题的存在使得一些学者开始探讨人工智能技术在司法领域的应用边界，但寻找问题解决方案的步伐也从未停止
。
[0003]现有研究司法模型评估系统中往往使用传统的
AI
评估指标对司法模型进行评估，这些传统的
AI
评估指标在系统中没有给出具体的司法含义，在司法领域的解释性较弱，同时针对各类指标提出的计算方法对各类司法模型的评估没有很好的泛化和迁移能力
。
因此本系统将搭建司法多维评估指标体系，根据当前司法模型在司法行业使用过程中的所关注的问题设计相应的评估指标并给出其具体的司法含义
。

技术实现思路

[0004]本专利技术要解决的问题是：设计并实现司法多维评估指标体系并搭建多阶段自动化大规模模型评估筛选系统
。
[0005]本专利技术的技术方案为：一种基于司法多维评估的模型评估系统，其设计的司法多维评估指标包括基础性评估指标和变异性评估指标，基础性指标的实现是基于传统的多分类评估指标，在具体实现时为其赋予了特定的司法含义，而变异性指标的计算则基于模型在使用系统默认数据集分类时和使用变异数据集分类时的准确率差异，不同领域变异算法的使用决定对应变异性指标的含义，司法多维评估指标体系包括准确性
、
泛化性
、
可参考性
、
公平性和鲁棒性，其中前三种数据基础性评估指标，后两种属于变异性评估指标，变异性评估指标包含的变异算法以及评估指标的计算方式如下所示：
[0006]一
、
变异性指标包含的变异算法
[0007]1）鲁棒性指标：
[0008]1.1
）基于
TF
‑
IDF
的特征裁剪，首先，对待变异文本进行初始化操作，包括分词
、
去停用词，然后基于分词后的结果生成依存句法树，使用
TF
‑
IDF
模型计算词语的
TF
‑
IDF
值后，计算依存句法树中节点的
TF
‑
IDF
值，按照节点的
TF
‑
IDF
值进行排序，最后根据排序结果对文本进行剪枝，获得变异后的文本；
[0009]1.2) 基于依存句法的特征变换，首先，生成待变异文本的依存句法树，然后根据长度参数筛选待替换的树枝，将其中存在包含关系的树枝合并，根据依存关系匹配待交换
的树枝集合，最后随机选择树枝集合中的树枝对进行交换生成变异后的文本；
[0010]1.3) 基于词典的随机插入，首先，对待变异文本进行分词操作，然后根据插入比例计算插入词数，加载文本所在语料库的词典文件，从词典中随机选择词语，最有在待变异文本中随机选择位置后插入词语生成变异后的文本；
[0011]2) 公平性变异：
[0012]2.1) 基于语义的歧视性文本插入，首先，根据语义确认待插入文本的位置，然后从歧视性语料库中选择歧视性文本，最后将选择的文本插入至对应位置中，生成待变异文本；
[0013]二
、
评估指标计算方式
[0014]1) 准确性，表示分类正确的样本个数占总样本，在司法模型的评估中该指标可以直观的表示刑期模型的分类性能，是最常用的评估指标，其计算公示如下所示，其中是第个样本的预测值，是相应的真实值，是指示函数；
[0015]可参考性，表示模型分类的总体可参考性，以刑期预测模型为例，刑期模型的分类标签代表了预测的具体刑期值，当分类标签错误时，具体的标签值偏离程度反映了分类结果的可参考性，可参考性计算公示如下所示：
[0016]泛化性，用以表示模型分类的偏向性，使用
kappa
系数计算该指标的值，
kappa
系数的计算基于混淆矩阵，取值为
‑1到1，计算公示如下所示：其中等于“对角线元素之和”除以“整个矩阵的元素之和”，等于所有刑期类别对应的“实际与预测数量的乘积”的总和，除以“样本总数的平方”，对
kappa
系数使用如下公示进行归一化：
[0017]4)
鲁棒性和公平性，变异性指标具有统一的计算公式，计算公式如下所示：
,
其中是模型在变异数据集上的准确率，是模型在原始数据集上的准确率，是由正向参数和逆向参数计算得到的影响因子，计算公式如下所示：
该公式的前半部分表示正向参数的影响因子，后半部分表示逆向参数的影响因子，在前半部分中表示正向参数的总个数，表示第个正向参数的取值，表示该正向参数的最小取值，表示该正向参数的最大取值，后半部分变量的含义类似
。
[0018]本专利技术的特点在于：
1.
设计和实现具有特定司法含义的司法模型多维评估指标体系；
2.
设计司法领域的数据变异算法并与特定的评估指标进行关联；
3.
搭建多阶段自动化大规模模型筛选评估系统；将这3点结合，本专利技术可以完成针对大规模模型筛选评估任务，给出司法模型的评估报告和改进方向
。
[0019]本专利技术的有益效果是：通过对不同司法模型进行评估给出模型在司法多维指标的具体评估分值，从而筛选出符合司法领域特性的司法模型
。
附图说明
[0020]图1为本专利技术整体架构图
。
[0021]图2为本专利技术多阶段筛选流程图
。
[0022]图3为本专利技术容器导入流程图
。
[0023]图4为本专利技术系统服务器节点数据流图
。
[0024]图5为本专利技术容器生命周期时序图
。
[0025]图6为本专利技术模型评估报告示例图
。
具体实施方式
[0026]本专利技术中设计的几项关键技术是
Spring Cloud
微服务
、Docker
技术
、FastDFS
技术
、
中文文本分词技术
、
依存句法分析
、TF
‑
IDF
算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于司法多维评估的模型评估系统其主要特征是通过搭建多阶段自动化大规模评估系统对司法模型进行评估筛选，给出司法模型在司法多维指标下的表现可以从侧面消解“算法黑箱”带来的隐患，从而保障司法办案过程中所重视的“可视正义”；其设计的司法多维评估指标包括基础性评估指标和变异性评估指标，基础性指标的实现是基于传统的多分类评估指标，在具体实现时为其赋予了特定的司法含义，而变异性指标的计算则基于模型在使用系统默认数据集分类时和使用变异数据集分类时的准确率差异，不同领域变异算法的使用决定对应变异性指标的含义，司法多维评估指标体系包括准确性
、
泛化性
、
可参考性
、
公平性和鲁棒性，其中前三种数据基础性评估指标，后两种属于变异性评估指标，变异性评估指标包含的变异算法有基于
TF
‑
IDF
的特征裁剪
、
基于依存句法的特征变换
、
基于词典的随机插入以及基于语义的歧视性文本插入，每种算法的具体实现流程如下所示：1）基于
TF
‑
IDF
的特征裁剪：首先，对待变异文本进行初始化操作，包括分词
、
去停用词，然后基于分词后的结果生成依存句法树，使用
TF
‑
IDF
模型计算词语的
TF
‑
IDF
值后，计算依存句法树中节点的
TF
‑
IDF
值，按照节点的
TF
‑
IDF
值进行排序，最后根据排序结果对文本进行剪枝，获得变异后的文本；2）基于依存句法的特征变换：首先，生成待变异文本的依存句法树，然后根据长度参数筛选待替换的树枝，将其中存在包含关系的树枝合并，根据依存关系匹配待交换的树枝集合，最后随机选择树枝集合中的树枝对进行交换生成变异后的文本；3）基于词典的随机插入：首先，对待变异文本进行分词操作，然后根据插入比例计算插入词数，加载文本所在...

【专利技术属性】
技术研发人员：陈振宇，贺璐，刘佳玮，
申请(专利权)人：南京大学深圳研究院，
类型：发明
国别省市：