一种用于人工智能模型的校准方法技术

基于人工智能的检测仪器越来越普及，但人工智能检测仪器的校准是一个一直没有得到很好解决的难题，其中，人工智能模型的校准方法的缺失是造成这一被动局面的关键。建立人工智能模型(AI模型)后，利用AI模型对未知点进行预测,不能仅仅满足于预测点的取值，更重要的是要能够给出预测点在某一置信度下的置信区间。然而，目前的AI模型建模方法中，普遍未能给出AI模型置信区间的计算公式。本发明专利技术提出一种用于人工智能模型的校准方法，其利用AI模型的训练样本集，通过K折交叉验证方法构造出预测结果的误差集。当AI模型的训练样本数大于30个时，将Z检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的置信区间。当AI模型的训练样本数不超过30个时，将t检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的置信区间。与现有技术相比，本发明专利技术技术方案的有益效果是：通过AI模型，不仅能够给出预测点的取值，而且能够给出预测点在某一置信度下的置信区间，为人工智能检测仪器的校准奠定了基础。

A calibration method for artificial intelligence model

【技术实现步骤摘要】
一种用于人工智能模型的校准方法
本专利技术涉及计量领域，更具体地，涉及一种用于人工智能模型的校准方法。
技术介绍
人工智能在社会经济发展中正发挥越来越重要的作用，随着人工智能与虚拟仪器的深度结合，更具智慧的检测仪器正在迎来蓬勃发展的契机，校准是任何仪器都不可或缺的核心环节，然而,目前的AI模型建模方法中，普遍未能给出AI模型置信区间的计算公式，导致人们在建立人工智能模型(AI模型)后，能够利用AI模型对未知点进行预测,但仅能获得预测点的取值，不能给出预测点在某一置信度下的置信区间，这一缺陷，严重制约了更具智慧的检测仪器的发展空间。Z检验法则及t检验法则的发展，为检验总体误差的平均值和单点误差是否有统计关联，提供了理论依据。独立于AI模型之外的主元法，给出了一般分布情况下置信区间计算的基本理论，为AI模型置信区间的计算奠定了理论基础。根据AI模型的特点，将Z检验法则及t检验法则分别与独立于AI模型之外的主元法相结合，为AI模型置信区间的计算带来了希望。本专利技术正是在这一背景下提出的。
技术实现思路
针对目前的AI模型建模方法中，普遍未能给出AI模型置信区间的计算公式的现状，本专利技术提出一种用于人工智能模型的校准方法，实施步骤如下：S1：利用AI模型的训练样本集，制定K折交叉验证规划，对AI模型进行K折交叉验证；S2：利用K折交叉验证的训练样本集与相同规模的预测样本集，构造误差集；S3：构造单点预测的误差表达式；S4：当用于AI模型训练的样本数大于30个时，将Z检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的置信区间；S5：当用于AI模型训练的样本数不超过30个时，将t检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的置信区间。优选地，步骤S1的过程与内容，可以完全包含在AI模型的训练与优选的过程与内容中。或者说，在本专利技术技术方案的第一阶段，并不需要其他额外的工作，只需充分利用AI模型的正常训练过程与内容即可。优选地，步骤S2中K折交叉验证的训练样本集与预测样本集的规模完全相同。优选地，步骤S2中构造的误差集E中的任一误差项，是由训练样本与预测样本的误差所构成，且同一误差项对应的训练样本与预测样本是在同一输入参数下的结果。优选地，步骤S3是在假设误差总体服从正态分布的情况下得到的。优选地，步骤S3中单点预测的误差，它来自误差总体，且与误差集E中元素相互独立。优选地，步骤S4是将Z检验法则与独立于AI模型之外的主元法相结合，来确定AI模型在给定置信度下的置信区间的。优选地，步骤S5是将t检验法则与独立于AI模型之外的主元法相结合，来确定AI模型在给定置信度下的置信区间的。与现有技术相比，本专利技术技术方案的有益效果是：通过AI模型，不仅能够给出预测点的取值，而且能够给出预测点在某一置信度下的置信区间。附图说明图1为本专利技术的方法流程图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制，下面结合附图和实施例对本专利技术的技术方案做进一步的说明。实施例1，对于某一AI模型，为实现AI模型的校准，步骤如下：S1：利用AI模型的训练样本集，制定K折交叉验证规划，对AI模型进行K折交叉验证。在给定的AI模型训练样本中，拿出大部分样本用于构建模型，留出小部分样本用刚建立的模型进行预测，并求这小部分样本的预测误差，记录它们的平方和。这个过程一直进行，直到所有的样本都被预测了一次而且仅被预测一次。为进一步说明，考虑到在K-交叉验证方法中，十折交叉验证最为常用，它也是对验证样本数要求最少的一种方法，在本具体实施方式中，不妨以十折交叉验证方法为例加以说明(下同)。假设训练样本共有n组，根据十折交叉验证方法，将n组训练样本分成10份，轮流将其中9份作为训练数据，1份作为验证数据，进行误差估计。每次验证都会得出相应的正确率(或差错率)。10次结果的正确率(或差错率)的平均值作为对AI模型精度的估计。同时，从10次结果中挑选出正确率最高的结果作为AI模型的最优参数。S2：利用K折交叉验证的训练样本集与相同规模的预测样本集，构造误差集。按照十折交叉验证方法，经过10轮交叉验证后，由训练样本集T＝{(x1，y1)，(x2，y2)，...，(xn，yn)}能够得到规模与训练样本集相同的预测样本集：令则得到了误差集E：E＝{e1，e2，...，en}S3：构造单点预测的误差表达式。不妨假设误差总体服从正态分布：e～N(0，δ2)则有E为e的样本，同时令en+1为单点预测的误差，它来自误差总体，且与E中元素相互独立。S4：当用于AI模型训练的样本数大于30个时，利用Z检验法则，借助独立于AI模型之外的主元法，来确定AI模型在给定置信度下的置信区间。S4：当用于AI模型训练的样本数大于30个时，利用Z检验法则，借助独立于AI模型之外的主元法，来确定AI模型在给定置信度下的置信区间。根据Z检验法则(正态检验法则)，对于假设H0：e＝en+1，在H0成立的前提下，检验总体误差的平均值和单点误差是否有统计关联，于是，由检验统计量可知：其中：于是，根据主元法确定相对置信区间的一般方法，求解P(|η|≤λ)＝1-α得：于是有：由式(1)得yn+1的预测区间为：当训练样本数n＝100时，则式(4)可简化为：式(4)及(5)即为任意置信度1-α对应的相对置信区间，其中，为AI模型给出的预测点的取值；为由式(2)计算得到的来自十折交叉验证时的预测样本集与训练样本集的平均误差值；为通过查正态分布表得到的单侧置信度为的标准正态分布上α分位点的单侧区间值；Se为由式(3)计算得到的来自十折交叉验证时的预测样本集与训练样本集的误差的均方根值。对显著性水平α＝0.05，相应的双侧置信度为1-α＝95％，相应地，单侧置信度为查正态分布表得正态分布的单侧区间值：代入(5)进一步得简化可得当AI模型的训练样本数n＝100、双侧置信度95％对应的yn+1预测区间：于是，当AI模型的训练样本数n＝100、双侧置信度95％时，AI模型的相对不确定度为：S5：当用于AI模型训练的样本数不超过30个时，利用t检验法则，借助独立于AI模型之外的主元法，来确定AI模型在给定置信度下的置信区间。根据t检验法则，对于假设H0：e＝en+1，在H0成立的前提下，检验总体误差的平均值和单点误差是否有统计关联，于是，由检验统计量可知：其中：于是，根据主元法确定置信区间的一般方法，求解：P(|η|≤λ)＝1-α得：于是有：由式(1)得yn+1的预测区间为：式(10)即为本文档来自技高网...

【技术保护点】
1.一种用于人工智能模型的校准方法，其特征在于：通过K折交叉验证方法构造出预测结果的误差集，当用于AI模型训练的样本数大于30个时，将Z检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的相对置信区间；当用于AI模型训练的样本数不超过30个时，则将t检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的置信区间，具体实施步骤如下：/nS1：利用AI模型的训练样本集，制定K折交叉验证规划，对AI模型进行K折交叉验证；/nS2：利用K折交叉验证的训练样本集与相同规模的预测样本集，构造误差集；/nS3：构造单点预测的误差表达式；/nS4：当用于AI模型训练的样本数大于30个时，将Z检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的置信区间；/nS5：当用于AI模型训练的样本数不超过30个时，将t检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的置信区间。/n

【技术特征摘要】
1.一种用于人工智能模型的校准方法，其特征在于：通过K折交叉验证方法构造出预测结果的误差集，当用于AI模型训练的样本数大于30个时，将Z检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的相对置信区间；当用于AI模型训练的样本数不超过30个时，则将t检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的置信区间，具体实施步骤如下：
S1：利用AI模型的训练样本集，制定K折交叉验证规划，对AI模型进行K折交叉验证；
S2：利用K折交叉验证的训练样本集与相同规模的预测样本集，构造误差集；
S3：构造单点预测的误差表达式；
S4：当用于AI模型训练的样本数大于30个时，将Z检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的置信区间；
S5：当用于AI模型训练的样本数不超过30个时，将t检验法则与独立于AI模型之外的主元法相结合，以确定AI模型在给定置信度下的置信区间。


2.根据权利要求1所述的一种用于人工智能模型的校准方法，其特征在于：步骤S1“利用AI模型的训练样本集，制定K折交叉验证规划，对AI模型进行K折交叉验证”，其过程与内容，可以完全包含在AI模型的训练与优选的过程与内容中，或者说，在本发明技术方案的第一阶段，并不需要其他额外的工作，只需充分利用AI模型的正常训练...

【专利技术属性】
技术研发人员：涂晓威，雷正保，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南;43