样本标签置信度计算方法、装置、设备及模型训练方法制造方法及图纸

本发明专利技术公开了一种样本标签置信度计算方法、装置、设备及模型训练方法。其中样本标签置信度计算方法，用于对图像深度学习模型训练的样本标签置信度进行计算，包括以下步骤：根据当前样本的学习结果计算样本初始标签的初始标签置信度；判断初始标签置信度是否满足预设置信度条件，当初始标签置信度满足预设置信度条件时，保持当前样本的最终标签为初始标签不变；当初始标签置信度不满足预设置信度条件时，从所有预设类标签中选择置信度最大的标签作为当前样本的最终标签。该方法能够应用到深度学习模型中，使得深度学习模型在学习的过程中能够保留对训练样本的历史学习记忆。能够对错标样本进行纠错，从而使得模型能够得到更好的训练。

【技术实现步骤摘要】
样本标签置信度计算方法、装置、设备及模型训练方法
本专利技术涉及，尤其涉及一种样本标签置信度计算方法、装置、设备及模型训练方法。
技术介绍
深度学习网络模型在医学领域已经取得了突出的成果，在图像分类、图像分割以及目标检测等领域均已打败传统图像处理技术。在图像分类方面，深度学习的研究者们针对性地提出了多种经典模型，如VggNet、GoogleNet以及ResNet等。目前，研究者们已经将这些经典模型应用于医学图像分类中。与传统的自然图像不同，医学图像强依赖于医学的领域知识，在实现某一特定医学影像的疾病分类时，研究者们需要专业的医生对医学图像进行标注，并且标注的精确度越高，深度学习模型的性能会越好。然而，由于医生的专业水平不同，对于医学影像的理解和判断也会有出入，收集的医学影像数据很难保证较高的纯度。此外，医生在标注过程中也会由于各种因素，如疲倦、疏忽，而导致误标的情况。对于学习资料不纯的情况，目前并没有针对性的处理方法，大多是通过发现一例错误样本纠错一例的方法进行样本集的沉淀。此外，算法模型的一些防止过拟合的方法也一定程度上抵御了数据纯度低的风险，如参数正则化、dropout处理等。还有一种特殊的网络结构teacher-studentnetwork，这类网络首先通过teacher网络学习样本集，然后student网络基于teacher网络学到的参数进行学习。Teacher网络能够在学习阶段降低错误样本的权重，student网络在学习时受到错误样本的影响会相对小些。但是，从根本上将，深度学习模型是以数据驱动的算法，数据的纯度能够影响模型在真实应用场景的最终性能。虽然无监督模型和半监督模型的发展能够一定程度上控制数据纯度低所带来的风险，但其应用场景远比有监督模型要少。目前，有监督深度学习模型通过拓展模型宽度和深度，能够高效地学习训练样本的特征，当然也包括训练样本中的一些噪音特征。随着深度学习模型的学习能力不断加强，医学影像学习资料中的错误会以过拟合的形式被模型学习到，这会让模型的能力大打折扣。深度学习模型是人工智能领域最先进的代表算法，但相比真正的智能仍存在很多不足，其中之一表现在对训练数据的学习方面。目前的深度学习模型不会对输入的训练数据有自己的判断，而是一味地按照所给的标签，机械式地通过梯度下降等优化算法进行学习。即使模型对某一正确标签样本学习了100次，当将该样本的标签人为地标错，并输入模型进行学习时，模型不会记得前100次的正确学习，而是以百分之百的置信度去学习错误标签样本。在训练样本中存在较多错标数据时，这样的学习方式显然是不合适的，尤其是在医学影像的学习方面。
技术实现思路
基于此，有必要针对上述样本标签不准确的问题，提供一种能够对样本标签进行修正的样本标签置信度计算方法。本专利技术提供的一种样本标签置信度计算方法，用于对图像深度学习模型训练的样本标签置信度进行计算，包括一下步骤：根据当前样本的学习结果计算样本初始标签的初始标签置信度；判断所述初始标签置信度是否满足预设置信度条件，并得到判断结果；根据所述判断结果，当所述初始标签置信度满足预设置信度条件时，保持所述当前样本的最终标签为所述初始标签不变；根据所述判断结果，当所述初始标签置信度不满足预设置信度条件时，从所有预设类标签中选择置信度最大的标签作为所述当前样本的最终标签；其中，包含所述初始标签的所有预设标签的数量两个以上。其中一个实施例的样本标签置信度计算方法中，所述初始标签置信度包括基础置信度和调整置信度两部分。其中一个实施例的样本标签置信度计算方法中，对于所述初始标签的初始标签置信度在最初预设学习次数内初始标签置信度为100％。其中一个实施例的样本标签置信度计算方法中，所述根据当前样本的学习结果计算样本初始标签的初始标签置信度，包括：计算当前样本初始标签的基础置信度，其计算公式如下：其中，nstart最初预设学习次数，n表示当前学习的次数，k表示输入样本的标签权重衰减度，b表示标签的滑动平均系数；计算当前样本历史学习结果的调整置信度，其计算公式如下：其中p(n)m表示在第n次学习中，第m类标签的置信度；p(0)m表示第m类标签的置信度初始值；函数I(m＝i)表示的是当标签类别为i时输出1，否则输出0；N表示标签的类别数目；，b表示标签的滑动平均系数；计算样本总的初始标签置信度，计算公式如下：其中一个实施例的样本标签置信度计算方法中，所述初始标签置信度的预设置信度条件为初始标签置信度大于等于1。基于同一专利技术，还提供一种图像深度学习模型训练的样本标签置信度计算的装置，包括：初始标签置信度计算模块，用于根据当前样本的学习结果计算样本初始标签的初始标签置信度；结果判断模块，用于判断所述初始标签置信度是否满足预设置信度条件，并得到判断结果；第一处理模块，用于根据所述判断结果，当所述初始标签置信度满足预设置信度条件时，保持所述当前样本的最终标签为所述初始标签不变；第二处理模块，用于根据所述判断结果，当所述初始标签置信度不满足预设置信度条件时，从所有的预设类标签中选择置信度最大的标签作为所述当前样本的最终标签；其中，包含所述初始标签的所有预设标签的数量两个以上。还提供一种用于图像深度学习模型训练的样本标签置信度计算的设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现前述任一实施例的样本标签置信度计算方法。还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现前述任一实施例的样本标签置信度计算方法。还提供一种图像深度学习模型训练的方法，包括：接收输入的样本图像，并获取每个输入样本图像的标签数据；使用前述任一实施例所述的样本标签置信度计算方法计算输入样本的置信度；图像分类网络模型前向传播；输出前向传播结果；模型训练；图像分类网络模型反向传播；调整图像分类网络模型参数。还提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现前述图像深度学习模型训练的方法。本专利技术的有益效果包括：本专利技术提供的一种样本标签置信度计算方法，用于对图像深度学习模型训练的样本标签置信度进行计算，该方法能够应用到深度学习模型中，使得深度学习模型在学习的过程中能够保留对训练样本的历史学习记忆。输入的带有标签的样本以一定概率会被当作相反标签的样本进行学习，然而我们不必担心正确标注的样本会被错误地学习，该方法的主要目的是对错标样本进行纠错，从而使得模型能够得到更好的训练。当模型对每一个样本进行学习时，模型会结合该样本的历史学习结果来给出该样本的标签置信度，基于样本的标签置信度，模型以样本置信度为指标选择置信度最大的标签作为样本的标签进行学习。附图说明图1为本专利技术一种样本标签置信度计算的方法的一具体实施例的流程图；图2为眼底图像出血与否深度学习模型loss下降曲线对比示意图；图3为本专利技术一种图像深度学习模型训练的样本标签置信度计算的装置的结构示意图；图4为本专利技术一种图像深度学习模型训练方法一个实施例的流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图对本专利技术的样本标签置信度计算方法，对应的装置、设备，本文档来自技高网...

【技术保护点】
1.一种样本标签置信度计算方法，用于对图像深度学习模型训练的样本标签置信度进行计算，其特征在于，包括：根据当前样本的学习结果计算样本初始标签的初始标签置信度；判断所述初始标签置信度是否满足预设置信度条件，并得到判断结果；根据所述判断结果，当所述初始标签置信度满足预设置信度条件时，保持所述当前样本的最终标签为所述初始标签不变；根据所述判断结果，当所述初始标签置信度不满足预设置信度条件时，从所有预设类标签中选择置信度最大的标签作为所述当前样本的最终标签；其中，包含所述初始标签的所有预设标签的数量两个以上。

【技术特征摘要】
1.一种样本标签置信度计算方法，用于对图像深度学习模型训练的样本标签置信度进行计算，其特征在于，包括：根据当前样本的学习结果计算样本初始标签的初始标签置信度；判断所述初始标签置信度是否满足预设置信度条件，并得到判断结果；根据所述判断结果，当所述初始标签置信度满足预设置信度条件时，保持所述当前样本的最终标签为所述初始标签不变；根据所述判断结果，当所述初始标签置信度不满足预设置信度条件时，从所有预设类标签中选择置信度最大的标签作为所述当前样本的最终标签；其中，包含所述初始标签的所有预设标签的数量两个以上。2.根据权利要求1所述的样本标签置信度计算方法，其特征在于，所述初始标签置信度包括基础置信度和调整置信度两部分。3.根据权利要求1所述的样本标签置信度计算方法，其特征在于，对于所述初始标签的初始标签置信度在最初预设学习次数内初始标签置信度为100％。4.根据权利要求3所述的样本标签置信度计算方法，其特征在于，所述根据当前样本的学习结果计算样本初始标签的初始标签置信度，包括：计算当前样本初始标签的基础置信度，其计算公式如下：其中，nstart最初预设学习次数，n表示当前学习的次数，k表示输入样本的标签权重衰减度；计算当前样本历史学习结果的调整置信度，其计算公式如下：其中p(n)m表示在第n次学习中，第m类标签的置信度；p(0)m表示第m类标签的置信度初始值；函数I(m＝i)表示的是当标签类别为i时输出1，否则输出0；N表示标签的类别数目；b表示标签的滑动平均系数；计算样本总的初始标签置信度，计算公式如下：且当所述初始标签置信度不满足预设置信度条件时，从样本所有预设类标签中选择置信度最大的标签作为所述当前样本的最终标签，先计算其他预设类标签的置信度，计算公式如下：再选择置信度最...

【专利技术属性】
技术研发人员：姜泓羊，杨康，高孟娣，代黎明，
申请(专利权)人：代黎明，
类型：发明
国别省市：北京,11