确定预测的可靠性度量的方法、设备和存储介质技术

本公开的实施例涉及用于确定预测的可靠性度量的方法、设备和存储介质。该方法包括：获取与针对目标预测结果的多个置信度取值区间相对应的准确度，多个置信度取值区间是基于与目标预测结果相关联的置信度集而被确定，置信度集是基于将预定的参考样本集应用于一个或多个预测模型中的预测模型获得的；获取目标预测结果相关联的目标置信度，目标置信度是基于将目标数据应用于一个或多个预测模型中的预测模型获得的；获取与目标置信度所在的置信度取值区间相对应的准确度；以及基于准确度确定针对目标预测结果的可靠性度量。基于这样的方式，可以确定更为准确的可靠性度量。

METHODS, EQUIPMENT AND STORAGE MEDIA FOR DETERMINING RELIABILITY MEASURES OF PREDICTION

【技术实现步骤摘要】
确定预测的可靠性度量的方法、设备和存储介质
本公开的实施例涉及计算机领域，并且更具体地，涉及确定预测的可靠性度量的方法、设备和存储介质。
技术介绍
随着计算机技术的发展，诸如深度神经网络等预测模型越来越多地被应用于图像识别、语音识别和目标检测等任务中。在利用模型进行预测的过程中，预测模型还可以为所生成的预测标签确定对应的置信度。然而，不同的模型的置信度生成机制不同，预测模型所生成的置信度的值难以准确地反映预测模型对于预测标签的可靠性。因而，如何准确地反映预测模型对于预测标签的可靠性成为当前的一个关注焦点。
技术实现思路
本公开的实施例提供一种用于确定预测的可靠性度量的方案。根据本公开的第一方面，提出了一种用于确定预测的可靠性度量的方法。该方法包括：获取与针对目标预测结果的多个置信度取值区间相对应的准确度，多个置信度取值区间是基于与目标预测结果相关联的置信度集而被确定，置信度集是基于将预定的参考样本集应用于一个或多个预测模型中的预测模型获得的；获取目标预测结果相关联的目标置信度，目标置信度是基于将目标数据应用于一个或多个预测模型中的预测模型获得的；获取与目标置信度所在的置信度取值区间相对应的准确度；以及基于准确度确定针对目标预测结果的可靠性度量。根据本公开的第二方面，提出了一种用于确定预测的可靠性度量的设备。该设备包括：至少一个处理单元；至少一个存储器，该至少一个存储器被耦合到该至少一个处理单元并且存储用于由该至少一个处理单元执行的指令，该指令当由该至少一个处理单元执行时，使得该设备执行动作，该动作包括：获取与针对目标预测结果的多个置信度取值区间相对应的准确度，多个置信度取值区间是基于与目标预测结果相关联的置信度集而被确定，置信度集是基于将预定的参考样本集应用于一个或多个预测模型中的预测模型获得的；获取目标预测结果相关联的目标置信度，目标置信度是基于将目标数据应用于一个或多个预测模型中的预测模型获得的；获取与目标置信度所在的置信度取值区间相对应的准确度；以及基于准确度确定针对目标预测结果的可靠性度量。在本公开的第三方面，提供了一种计算机可读存储介质。该计算机可读存储介质具有存储在其上的计算机可读程序指令，所述计算机可读程序指令用于执行根据第一方面所描述的方法。提供
技术实现思路
部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。附图说明通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。图1图示了本公开实施例可以在其中执行的环境的示意图；图2图示了根据本公开实施例的确定预测的可靠性度量的过程的流程图；图3图示了根据本公开实施例的确定与置信度取值区间对应的准确度的过程的流程图；图4图示了根据本公开实施例的示例置信度区间分布的示意图；以及图5图示了可以用来实施本公开内容的实施例的示例设备的示意性框图。具体实施方式下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其它明确的和隐含的定义。如上文所描述的，随着人工智能技术的不断发展，诸如神经网络、决策树、支持向量机SVM等预测模型越来越多地被应用于图像识别、语音识别和目标检测等任务中。人们越来越依赖于预测模型对模型输入数据的预测结果，尤其是在医疗诊断、金融投资、商业及公共决策等关键领域，预测结果的可靠性及稳定性尤为重要。此外，在多标签分类的预测模型中，同一预测模型所输出的不同标签的置信度得分彼此可能不具备可比性。传统技术通过简单地选择具有较高置信度得分的标签作为最终标签的方式容易导致预测标签不准确。同时，不同预测模型生成置信度得分的机制也可能不同，两个不同的预测模型所生成的置信度得分彼此可能不具备可比性或者参照性。这使得在利用多个模型对于同一样本进行预测时，难以进行预测标签的有效筛选。因此，人们越来越关注如何能够更为准确地反映预测模型对于预测标签的可靠性。根据本公开的实施例，提供了一种确定预测的可靠性度量的方案。在该方案中，首先获取与针对目标预测结果的多个置信度取值区间相对应的准确度，其中多个置信度取值区间是基于与目标预测结果相关联的置信度集而被确定，并且置信度集是基于将预定的参考样本集应用于一个或多个预测模型中的预测模型获得的。随后，获取目标预测结果相关联的目标置信度，其中目标置信度是基于将目标数据应用于一个或多个预测模型中的预测模型获得的。随后，可以基于目标置信度来获取与目标置信度所在的置信度取值区间相对应的准确度，并且基于准确度来确定针对目标预测结果的可靠性度量。基于这样的方式，本公开的方案通过获取参考样本集中不同置信度取值所对应的真实准确度，可以确定更为准确的可靠性度量以指示预测模型对于预测结果的可靠性。以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。如图1所示，该示例环境100包括计算设备170，其可以用于实施本公开中的多种实现中的确定预测的不确定度量。计算设备170可以接收目标置信度150和置信度区间分布130，从而确定与目标置信度150所对应的可靠性度量180，其中置信度区间分布130可以指示与目标预测结果160的多个置信度取值区间相对应的准确度。在一些实施例中，如图1所示，置信度区间分布130可以是基于利用预测模型120来处理参考样本集110所获得的。应当理解，图1中所述的二维图表只是指示置信度区间分布130的一个示例，可以采用其它任何合适的形式来指示置信度区间分布130。在一些实施例中，参考样本集110可以被构造以接近于预定的分布，其中预定的分布可以是基于对与预测模型120相对应的场景的多次采样而被确定。例如，在利用预测模型来处理疾病图片以判断是否发生疾病的场景中，可以通过在门诊采集不同的疾病图片的样本，并且使得样本中存在疾病的概率接近客观的分布概率，其中客观的分布概率可以是通过对大量人群进行调研所确定的，或者可以是基于已有的权威报道或论文而确定的。附加地，所确定的预定的分布还可以使得参考样本集110中样本的特征形态分布也可以接近于与预测模型120相对应的场景，例如，疾病图片中病变出现的不同位置、不同程度、不同数目等。应当理解，可以使用与计算设备170相同或者不同的计算设备来运行预测模型120以处理参考样本集110，从而获得针对参考样本集110中不同样本的与目标预测结果(也被称为目标预测标签)相关联的置信度。例如，预测模型120可以是用于确定是否存本文档来自技高网...

【技术保护点】
1.一种确定预测的可靠性度量的方法，包括：获取与针对目标预测结果的多个置信度取值区间相对应的准确度，所述多个置信度取值区间是基于与所述目标预测结果相关联的置信度集而被确定，所述置信度集是基于将预定的参考样本集应用于一个或多个预测模型中的预测模型获得的；获取所述目标预测结果相关联的目标置信度，所述目标置信度是基于将目标数据应用于一个或多个预测模型中的预测模型获得的；获取与所述目标置信度所在的所述置信度取值区间相对应的所述准确度；以及基于所述准确度确定针对所述目标预测结果的可靠性度量。

【技术特征摘要】
1.一种确定预测的可靠性度量的方法，包括：获取与针对目标预测结果的多个置信度取值区间相对应的准确度，所述多个置信度取值区间是基于与所述目标预测结果相关联的置信度集而被确定，所述置信度集是基于将预定的参考样本集应用于一个或多个预测模型中的预测模型获得的；获取所述目标预测结果相关联的目标置信度，所述目标置信度是基于将目标数据应用于一个或多个预测模型中的预测模型获得的；获取与所述目标置信度所在的所述置信度取值区间相对应的所述准确度；以及基于所述准确度确定针对所述目标预测结果的可靠性度量。2.根据权利要求1所述的方法，其中所述参考样本集被构造以使得所述参考样本中样本的分布接近预定的分布。3.根据权利要求1所述的方法，其中与所述多个置信度取值区间相对应所述准确度基于以下过程被确定：确定所述参考样本集中与所述多个置信度取值区间中的第一区间相关联的参考样本子集；确定所述参考样本子集中所述目标预测结果准确的样本的第一数目；以及基于所述第一数目和所述参考样本子集中样本的第二数目，确定与所述第一区间相对应的准确度。4.根据权利要求1所述的方法，其中与所述多个置信度取值区间相对应所述准确度基于以下过程被确定：调整与所述多个置信度取值区间相对应的所述准确度，以使得与所述多个置信度取值区间中的第一区间相对应的第一准确度小于或等于与所述多个置信度取值区间中的第二区间相对应的第二准确度，其中所述第一区间的上限小于或等于所述第二区间的下限。5.根据权利要求4所述的方法，其中调整与所述多个置信度取值区间相对应的所述准确度包括：针对所述多个置信度取值区间中连续的第三区间和第四区间，其中第三区间的上限小于或等于所述第四区间的下限：响应于与所述第三区间对应的第三准确度大于与所述第四区间对应的第四准确度，将所述第四准确度的值修改为所述第三准确度的值。6.根据权利要求1所述的方法，其中基于所述准确度确定针对所述目标预测结果的所述可靠性度量包括：将所述可靠性度量的值确定为所述准确度的值。7.根据权利要求1所述的方法，其中所述准确度指示在所述置信度取值区间内所述目标预测结果正确的样本的占比。8.一种用于确定预测的可靠性度量的设备，包括：至少一个处理单元；至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述...

【专利技术属性】
技术研发人员：何希僖，
申请(专利权)人：北京致远慧图科技有限公司，
类型：发明
国别省市：北京,11