一种图像处理方法及装置制造方法及图纸

本申请公开了一种图像处理方法及装置。该方法使用有标注数据和无标注数据对教师模型和学生模型进行半监督训练得到的学生模型作为图像数据处理模型进行图像分割。在进行半监督训练时，学生模型的总损失函数为分割损失函数和一致性损失函数的加权和，其中，分割损失函数的函数值是根据有标注的训练数据的训练结果和标注数据得到的，而一致性损失函数的函数值则是根据学生模型的分割结果和教师模型的分割结果得到的，一致性损失函数的权重值则通过教师模型获取的特征不确定性度量结果和分割不确定性度量结果来确定。如此，可充分利用有标注数据的准确性和无标注数据的泛化能力，使模型的精度更高，进而使图像分割的结果更为准确。

【技术实现步骤摘要】
一种图像处理方法及装置
本申请涉及计算机图像处理技术，尤其涉及一种图像处理方法及装置。
技术介绍
近年来，基于深度学习的图像分割技术如U-Net和V-Net取得了很大的发展。这些模型的准确性和鲁棒性很大程度上取决于训练数据的数量和质量。然而，众所周知，由于需要领域知识，高质量的标注数据非常昂贵。因此，人们试图引入半监督学习模型，通过使用未标记数据进行图像分割，其中，教师模型-学生模型框架是目前较为流行的半监督方法，已成功地应用于医学图像的分割任务。具体来说，教师模型是现有模型的一个带有扰动的集合，可以得到更精确的目标。学生模型通过对他们之间的不一致预测进行惩罚来从教师模型中学习，定义为一致性损失。但是，对于未标记的训练数据，由于没有给出确定正确的标注(groundtruth)，很难判断教师模型是否提供了准确的预测。为了缓解这个问题，不确定性度量结果度量被认为是最优策略，因为它们能够检测何时何地模型可能做出错误的预测。最近对不确定性度量结果估计的研究主要有基于dropout的贝叶斯不确定性度量结果估计和网络模型集成方法。但这些方法依赖于手动设置阈值来控制从教师到学生的信息流，因此，不能解决低不确定性度量结果的错误预测，并可能错误的过滤掉有价值的指导信息。
技术实现思路
本申请人专利技术人创造性地提供一种图像处理方法及装置。根据本申请实施例第一方面，提供一种图像处理方法，该方法包括：接收第一图像数据；使用第一模型对第一图像数据进行处理得到第一分割结果，第一模型是训练学生模型得到的，学生模型的一致性损失函数对总损失函数的影响程度由第一权重决定，第一权重是根据教师模型获取的特征不确定性度量结果和分割不确定性度量结果确定的；输出第一分割结果。根据本申请一实施例，在使用第一模型处理第一图像数据得到第二图像数据之前，该方法还包括训练学生模型得到第一模型，具体包括：接收训练图像数据，训练图像数据包括有标注的图像数据和无标注的图像数据；使用训练图像数据对学生模型进行训练；根据总损失函数调整学生模型的参数以达到预设的模型精度。根据本申请一实施例，使用训练图像数据对学生模型进行训练，包括：使用学生模型对训练图像数据进行处理得到第二分割结果及分割损失函数；使用教师模型对训练图像数据进行处理得到第三分割结果、特征不确定性度量结果和分割不确定性度量结果；根据第二分割结果和第三分割结果确定一致性损失函数的值；根据特征不确定性度量结果和分割不确定性度量结果确定第一权重；根据分割损失函数、一致性损失函数和第一权重确定总损失函数。根据本申请一实施例，使用教师模型对训练图像数据进行处理得到第三分割结果、特征不确定性度量结果和分割不确定性度量结果，包括：使用教师模型对训练图像数据中的每一组输入数据进行T次处理得到T个中间特征向量和T个分割结果，T为大于等于2的自然数；根据T个分割结果确定第三分割结果；根据T个中间特征向量确定特征不确定性度量结果；根据T个分割结果确定分割不确定性度量结果。根据本申请一实施例，根据T个中间特征向量确定特征不确定性度量结果，包括：根据T个中间特征向量中每两个中间特征向量的差量，确定特征不确定性度量结果。根据本申请一实施例，根据T个中间特征包括C个通道，C为大于等于2的自然数，相应地，根据T个中间特征向量确定特征不确定性度量结果，包括：根据T个中间特征向量确定每个通道的特征不确定性度量结果；根据每个通道的特征不确定性度量结果确定特征不确定性度量结果。根据本申请一实施例，在使用教师模型对训练图像数据进行处理的过程中，该方法还包括：随机生成噪音数据，使用教师模型处理噪音数据；和/或在教师模型的网络运算中使用dropout机制。根据本申请一实施例，根据第二分割结果和第三分割结果确定一致性损失函数，包括：根据第二分割结果和分割不确定性度量结果，对第三分割结果进行调整得到第四分割结果；根据第一分割结果和第四分割结果确定一致性损失函数。根据本申请一实施例，根据特征不确定性度量结果和分割不确定性度量结果确定第一权重，包括：根据特征不确定性度量结果、分割不确定性度量结果和可设定的第一权重计算方法确定第一权重。根据本申请实施例第二方面，一种图像处理装置，该装置包括：图像数据接收模块，用于接收第一图像数据；图像数据处理模块，用于使用第一模型对第一图像数据进行处理得到第一分割结果，第一模型是训练学生模型得到的，学生模型的一致性损失函数对总损失函数的影响程度由第一权重决定，第一权重是根据教师模型获取的特征不确定性度量结果和分割不确定性度量结果确定的；分割结果输出模块，用于输出第一分割结果。本申请实施例提供一种图像处理方法及装置，该方法使用有标注数据和无标注数据对教师模型和学生模型进行半监督训练得到的学生模型作为图像数据处理模型进行图像分割。在进行半监督训练时，学生模型的总损失函数为分割损失函数和一致性损失函数的加权和，其中，分割损失函数的函数值是根据有标注的训练数据的训练结果和标注数据得到的，而一致性损失函数的函数值则是根据学生模型的分割结果和教师模型的分割结果得到的，一致性损失函数的权重值则通过教师模型获取的特征不确定性度量结果和分割不确定性度量结果来确定。如此，当教师模型获取的特征不确定性度量结果和分割不确定性度量结果表明其预测结果的稳定，可认为教师模型预测的分割结果是可信的或准确的，此时一致性损失函数的权重值随之提高，可以使学生模型预测的分割结果逼近教师模型预测的分割结果，从而可充分利用无标注数据提高学生模型的泛化能力和鲁棒性；当教师模型获取的特征不确定性度量结果和分割不确定性度量结果表明其预测结果不稳定时，可认为教师模型预测的分割结果是不可信的或不准确的，此时一致性损失函数的权重值随之降低，可使学生模型预测的分割结果受教师模型预测的分割结果影响的程度降低，更靠近带标注的数据产生的分割结果，从而使学生模型分割图像的准确度得以保证。如此训练得到的学生模型可充分利用有标注数据的准确性和无标注数据的泛化能力，取得较佳的训练效果，使模型的精度更高，相应地，本申请图像处理方法使用如此训练得到的学生模型作为图像处理模型进行图像分割，可使图像分割的结果更为准确。附图说明通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：在附图中，相同或对应的标号表示相同或对应的部分。图1为本申请图像处理方法一实施例的实现流程示意图；图2为本申请图像处理方法另一实施例的实现流程示意图；图3为本申请图像处理装置一实施例的组成结构示意图。具体实施方式为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在本文档来自技高网...

【技术保护点】
1.一种图像处理方法，所述方法包括：/n接收第一图像数据；/n使用第一模型对所述第一图像数据进行处理得到第一分割结果，所述第一模型是训练学生模型得到的，所述学生模型的一致性损失函数对总损失函数的影响程度由第一权重决定，所述第一权重是根据教师模型获取的特征不确定性度量结果和分割不确定性度量结果确定的；/n输出所述第一分割结果。/n

【技术特征摘要】
1.一种图像处理方法，所述方法包括：
接收第一图像数据；
使用第一模型对所述第一图像数据进行处理得到第一分割结果，所述第一模型是训练学生模型得到的，所述学生模型的一致性损失函数对总损失函数的影响程度由第一权重决定，所述第一权重是根据教师模型获取的特征不确定性度量结果和分割不确定性度量结果确定的；
输出所述第一分割结果。


2.根据权利要求1所述的方法，在所述使用第一模型处理所述第一图像数据得到第二图像数据之前，所述方法还包括训练所述学生模型得到所述第一模型，具体包括：
接收训练图像数据，所述训练图像数据包括有标注的图像数据和无标注的图像数据；
使用所述训练图像数据对所述学生模型进行训练；
根据所述总损失函数调整所述学生模型的参数以达到预设的模型精度。


3.根据权利要求2所述的方法，所述使用所述训练图像数据对所述学生模型进行训练，包括：
使用所述学生模型对所述训练图像数据进行处理得到第二分割结果及分割损失函数；
使用所述教师模型对所述训练图像数据进行处理得到第三分割结果、所述特征不确定性度量结果和所述分割不确定性度量结果；
根据所述第二分割结果和所述第三分割结果确定一致性损失函数的值；
根据所述特征不确定性度量结果和所述分割不确定性度量结果确定所述第一权重；
根据所述分割损失函数、所述一致性损失函数和所述第一权重确定所述总损失函数。


4.根据权利要求3所述的方法，使用所述教师模型对所述训练图像数据进行处理得到第三分割结果、所述特征不确定性度量结果和所述分割不确定性度量结果，包括：
使用教师模型对所述训练图像数据中的每一组输入数据进行T次处理得到T个中间特征向量和T个分割结果，T为大于等于2的自然数；
根据T个分割结果确定第三分割结果；
根据T个中间特征向量确定所述特征不确定性度量结果；
根据T个分割结果确定所述分割不确定性度量结果。

【专利技术属性】
技术研发人员：王艺昕，田疆，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京;11