【技术实现步骤摘要】
神经网络模型预测置信度校准方法、系统及存储介质
本专利技术涉及机器学习
，尤其涉及一种神经网络模型预测置信度校准方法、系统及存储介质。
技术介绍
伴随着计算机及电子技术发展，企业和工业界逐渐积累了大量数据，使得数据驱动的机器学习技术落地到实际场景中。在机器学习建模时，通常假设收集数据与实际数据同分布，因此利用收集的数据建立神经网络模型，对新的测试数据进行预测。但是在实际生产场景中，特别是在一些高风险领域，如设备故障检测、医疗诊断、自动驾驶等领域，往往会遇到与收集数据分布不一致的测试数据，称之为分布外样本，分布外样本主要来源于两种情况：人为操作不当引入了测量误差、以及应用设备之间存在参数差异，导致了异常数据的产生或数据域漂移(domaindrift)；收集样本多样性不足，即用于模型训练所收集到的数据样本分布不能代表真实世界的样本空间。模型预测置信度反映的是模型预测结果正确的可能性，用于评判模型本身的结果是否可靠。如果用模型预测分布外样本，容易预测错误且预测置信度过高(模型预测过度自信)。此时预测置信度无法准确地衡量模型预...
【技术保护点】
1.一种神经网络模型预测置信度校准方法，其特征在于包括：/n采集含类别标签的样本数据并对其进行数据清洗和归一化处理获得收集数据；/n训练神经网络模型并将其保存；/n读取待测数据以及收集数据并分别输入至完成训练的神经网络模型中，从神经网络模型隐含层中获取待测特征嵌入向量和收集特征嵌入向量；/n根据收集特征嵌入向量得到各类别投影簇，对混叠的收集样本进行过滤处理，计算各投影簇的密度自适应因子以及测试样本属于各类别投影簇的局部距离，采用密度自适应因子修正局部距离并归一化到预设区间内获得该测试样本与各类别收集样本的分布一致性得分，基于分布一致性得分和神经网络模型的原始预测概率获得校准...
【技术特征摘要】
1.一种神经网络模型预测置信度校准方法，其特征在于包括：
采集含类别标签的样本数据并对其进行数据清洗和归一化处理获得收集数据；
训练神经网络模型并将其保存；
读取待测数据以及收集数据并分别输入至完成训练的神经网络模型中，从神经网络模型隐含层中获取待测特征嵌入向量和收集特征嵌入向量；
根据收集特征嵌入向量得到各类别投影簇，对混叠的收集样本进行过滤处理，计算各投影簇的密度自适应因子以及测试样本属于各类别投影簇的局部距离，采用密度自适应因子修正局部距离并归一化到预设区间内获得该测试样本与各类别收集样本的分布一致性得分，基于分布一致性得分和神经网络模型的原始预测概率获得校准后的神经网络的模型预测置信度。
2.根据权利要求1所述的方法，其特征还在于：对混叠的收集样本进行过滤时：根据K邻近算法理论查询收集样本最近k个邻居样本的类别获得每个样本邻域的混叠程度q，设置过滤阈值，将小于过滤阈值的混叠程度q对应的收集样本过滤从而保留大于过滤阈值对应的收集样本。
3.根据权利要求1所述的方法，其特征还在于：计算测试样本与各投影簇的局部距离时：设定一个类别个数为C的多分类问题，计算测试样本xtest与第c类别投影簇中最近的k个样本的平均距离，记为dc(xtest)，其中c＝0，1，2,...,C-1
4.根据权利要求3所述的方法，其特征还在于：计算分布一致性得分时：采用密度平衡因子平衡不同类别簇的分布密度，将C类已收集样本点之间的平均距离估计作为C类的密度自适应因子γc：
采用类别密度自适应因子γc对平均距离dc(xtest)进行修正从而得到分布一致性得分d′c(xtest)：
对分布一致性得分进行归一化，使得分布一致性得分计算结果的值域分布在预...
【专利技术属性】
技术研发人员：王新琪，于丹，来关军，李雪，
申请(专利权)人：大连东软教育科技集团有限公司，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。