一种图像识别模型训练的方法、图像识别的方法及装置制造方法及图纸

本申请公开了一种图像识别模型训练的方法，包括：获取待训练图像集合；基于待训练图像集合，通过待训练图像识别模型获取第一预测概率、第二预测概率、第三预测概率以及第四预测概率；根据第一预测概率、第二预测概率、第三预测概率以及第四预测概率，确定目标损失函数；基于目标损失函数训练待训练图像识别模型，得到图像识别模型。本申请还公开了一种图像识别的方法和装置。本申请采用有标注的，且针对不同任务的医学图像和未标注的医学图像共同对模型进行训练，有效利用了已标注图像和未标注图像，不但降低了对图像标注的需求，还增加了训练的数据量，从而在节省标注资源的同时还能提升模型的预测效果。

An image recognition model training method, image recognition method and device

【技术实现步骤摘要】
一种图像识别模型训练的方法、图像识别的方法及装置
本申请涉及人工智能领域，尤其涉及一种图像识别模型训练的方法、图像识别的方法及装置。
技术介绍
随着人口的不断增加，医疗系统的负荷与日俱增，对于医疗资源的需求度也越来越大。在实际应用中，医护人员可通过医学图像对患者的病情进行分析。为了能够帮助医护人员更快且更准确地诊断病情，还可以借助自动诊断设备对医学图像进行识别。目前，在自动诊断的过程中需要采用大量的医学图像进行训练，其中，这些医学图像需要经过医护人员的标注，即医护人员可按照临床习惯对每个医学图像做出判断，例如，标注该医学图像是否存在疾病，以及标注该医学图像中病灶所在的位置等。然而，随着医学图像的数量不断累积，病灶的复杂度越来越高，标注的难度也越来越大。而标注资源有限，导致模型训练过程中仅能够使用少部分已标注的医学图像。而且由于模型训练通常需要结合具体的任务来实现，针对不同的任务需要采用与该任务对应的训练集，导致已经标注好的医学图像并未得到有效的利用以及部分任务的训练集的数据不足，导致模型预测效果的准确度较低。
技术实现思路
本申请实施例提供了一种图像识别模型训练的方法、图像识别的方法及装置，采用有标注的，且针对不同任务的医学图像和未标注的医学图像共同对模型进行训练，有效利用了已标注图像和未标注图像，不但降低了对图像标注的需求，还增加了训练的数据量，从而在节省标注资源的同时还能提升模型的预测效果。有鉴于此，本申请第一方面提供一种图像识别模型训练的方法，包括：获取待训练图像集合，其中，所述待训练图像集合至少包括第一图像集合、第二图像集合和第三图像集合，所述第一图像集合包括至少一个第一图像，所述第二图像集合包括至少一个第二图像以及至少一个干扰图像，所述第三图像集合包括至少一个第三图像，所述第一图像为第一任务所对应的已标注图像，所述第二图像为第一任务所对应的未标注图像，所述第三图像为第二任务所对应的已标注图像，所述第一任务与所述第二任务属于不同的任务；基于所述待训练图像集合，通过待训练图像识别模型获取第一预测概率、第二预测概率、第三预测概率以及第四预测概率，其中，所述第一预测概率为基于所述第一图像集合输出的一个预测结果，所述第二预测概率和所述第三预测概率为基于所述第二图像集合输出的一个预测结果，所述第四预测概率为基于所述第三图像集合输出的一个预测结果；根据所述第一预测概率、第二预测概率、第三预测概率以及第四预测概率，确定目标损失函数，其中，所述目标损失函数至少包括第一损失函数、第二损失函数以及第三损失函数，所述第一损失函数为根据所述第一预测概率确定的，所述第二损失函数为根据所述第二预测概率和所述第三预测概率确定的，所述第三损失函数为根据所述第四预测概率确定的；基于所述目标损失函数训练所述待训练图像识别模型，得到图像识别模型。本申请第二方面提供一种图像识别的方法，包括：获取待识别图像；通过图像识别模型获取所述待识别图像所对应的图像识别结果，其中，所述图像识别模型为上述第一方面提供的图像识别模型；展示所述图像识别结果。本申请第三方面提供一种图像识别模型训练装置，包括：获取模块，用于获取待训练图像集合，其中，所述待训练图像集合至少包括第一图像集合、第二图像集合和第三图像集合，所述第一图像集合包括至少一个第一图像，所述第二图像集合包括至少一个第二图像以及至少一个干扰图像，所述第三图像集合包括至少一个第三图像，所述第一图像为第一任务所对应的已标注图像，所述第二图像为第一任务所对应的未标注图像，所述第三图像为第二任务所对应的已标注图像，所述第一任务与所述第二任务属于不同的任务；所述获取模块，还用于基于所述待训练图像集合，通过待训练图像识别模型获取第一预测概率、第二预测概率、第三预测概率以及第四预测概率，其中，所述第一预测概率为基于所述第一图像集合输出的一个预测结果，所述第二预测概率和所述第三预测概率为基于所述第二图像集合输出的一个预测结果，所述第四预测概率为基于所述第三图像集合输出的一个预测结果；所述获取模块，还用于通过所述待训练图像识别模型获取所述第二图像集合所对应的第二预测结果集合，其中，所述第二预测结果集合包括至少一个第二预测概率以及至少一个第三预测概率，所述至少一个第二预测概率为所述待训练图像识别模型输出的一个预测结果，所述至少一个第三预测概率为所述待训练图像识别模型输出的另一个预测结果；所述获取模块，还用于通过所述待训练图像识别模型获取所述第三图像集合所对应的第三预测结果集合，其中，所述第三预测结果集合包括至少一个第四预测概率，每个第四预测概率对应一个第三图像；确定模块，用于根据所述第一预测概率、第二预测概率、第三预测概率以及第四预测概率，确定目标损失函数，其中，所述目标损失函数至少包括第一损失函数、第二损失函数以及第三损失函数，所述第一损失函数为根据所述第一预测概率确定的，所述第二损失函数为根据所述第二预测概率和所述第三预测概率确定的，所述第三损失函数为根据所述第四预测概率确定的；训练模块，用于根据所述确定模块确定的所述目标损失函数训练所述待训练图像识别模型，得到图像识别模型。在一种可能的设计中，在本申请实施例的第三方面的第一种实现方式中，所述获取模块，具体用于基于所述第一图像集合，通过所述待训练图像识别模型获取所述第一预测概率；基于所述第二图像集合，通过所述待训练图像识别模型获取所述第二预测概率和所述第三预测概率；基于所述第三图像集合，通过所述待训练图像识别模型获取所述第四预测概率。在一种可能的设计中，在本申请实施例的第三方面的第二种实现方式中，所述获取模块，具体用于基于所述至少一个第一图像，通过所述待训练图像识别模型所包括的全连接层获取第一预测值；对所述第一预测值进行归一化处理，得到所述第一预测概率。在一种可能的设计中，在本申请实施例的第三方面的第三种实现方式中，所述获取模块，具体用于根据所述至少一个第二图像生成第一干扰图像集合，其中，所述第一干扰图像集合包括至少一个第一干扰图像，所述第一干扰图像与所述第二图像具有对应关系，所述第一干扰图像属于所述干扰图像；根据所述至少一个第二图像生成第二干扰图像集合，其中，所述第二干扰图像集合包括至少一个第二干扰图像，所述第二干扰图像与所述第二图像具有对应关系，所述第二干扰图像属于所述干扰图像；基于所述至少一个第二图像以及所述第一干扰图像集合，通过所述待训练图像识别模型获取所述第二预测概率；基于所述至少一个第二图像以及所述第二干扰图像集合，通过所述待训练图像识别模型获取所述第三预测概率。在一种可能的设计中，在本申请实施例的第三方面的第四种实现方式中，所述获取模块，具体用于基于所述至少一个第三图像，通过所述待训练图像识别模型所包括的全连接层获取所述第四预测值；对所述第四预测值进行归一化处理，得到所述第四预测概率。在一种可能的设计中，本文档来自技高网...

【技术保护点】
1.一种图像识别模型训练的方法，其特征在于，包括：/n获取待训练图像集合，其中，所述待训练图像集合至少包括第一图像集合、第二图像集合和第三图像集合，所述第一图像集合包括至少一个第一图像，所述第二图像集合包括至少一个第二图像以及至少一个干扰图像，所述第三图像集合包括至少一个第三图像，所述第一图像为第一任务所对应的已标注图像，所述第二图像为第一任务所对应的未标注图像，所述第三图像为第二任务所对应的已标注图像，所述第一任务与所述第二任务属于不同的任务；/n基于所述待训练图像集合，通过待训练图像识别模型获取第一预测概率、第二预测概率、第三预测概率以及第四预测概率，其中，所述第一预测概率为基于所述第一图像集合输出的一个预测结果，所述第二预测概率和所述第三预测概率为基于所述第二图像集合输出的一个预测结果，所述第四预测概率为基于所述第三图像集合输出的一个预测结果；/n根据所述第一预测概率、第二预测概率、第三预测概率以及第四预测概率，确定目标损失函数，其中，所述目标损失函数至少包括第一损失函数、第二损失函数以及第三损失函数，所述第一损失函数为根据所述第一预测概率确定的，所述第二损失函数为根据所述第二预测概率和所述第三预测概率确定的，所述第三损失函数为根据所述第四预测概率确定的；/n基于所述目标损失函数训练所述待训练图像识别模型，得到图像识别模型。/n...

【技术特征摘要】
1.一种图像识别模型训练的方法，其特征在于，包括：
获取待训练图像集合，其中，所述待训练图像集合至少包括第一图像集合、第二图像集合和第三图像集合，所述第一图像集合包括至少一个第一图像，所述第二图像集合包括至少一个第二图像以及至少一个干扰图像，所述第三图像集合包括至少一个第三图像，所述第一图像为第一任务所对应的已标注图像，所述第二图像为第一任务所对应的未标注图像，所述第三图像为第二任务所对应的已标注图像，所述第一任务与所述第二任务属于不同的任务；
基于所述待训练图像集合，通过待训练图像识别模型获取第一预测概率、第二预测概率、第三预测概率以及第四预测概率，其中，所述第一预测概率为基于所述第一图像集合输出的一个预测结果，所述第二预测概率和所述第三预测概率为基于所述第二图像集合输出的一个预测结果，所述第四预测概率为基于所述第三图像集合输出的一个预测结果；
根据所述第一预测概率、第二预测概率、第三预测概率以及第四预测概率，确定目标损失函数，其中，所述目标损失函数至少包括第一损失函数、第二损失函数以及第三损失函数，所述第一损失函数为根据所述第一预测概率确定的，所述第二损失函数为根据所述第二预测概率和所述第三预测概率确定的，所述第三损失函数为根据所述第四预测概率确定的；
基于所述目标损失函数训练所述待训练图像识别模型，得到图像识别模型。


2.根据权利要求1所述的方法，其特征在于，所述基于所述待训练图像集合，通过待训练图像识别模型获取第一预测概率、第二预测概率、第三预测概率以及第四预测概率，包括：
基于所述第一图像集合，通过所述待训练图像识别模型获取所述第一预测概率；
基于所述第二图像集合，通过所述待训练图像识别模型获取所述第二预测概率和所述第三预测概率；
基于所述第三图像集合，通过所述待训练图像识别模型获取所述第四预测概率。


3.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像集合，通过所述待训练图像识别模型获取所述第一预测概率，包括：
基于所述至少一个第一图像，通过所述待训练图像识别模型所包括的全连接层获取第一预测值；
对所述第一预测值进行归一化处理，得到所述第一预测概率。


4.根据权利要求2所述的方法，其特征在于，所述基于所述第二图像集合，通过所述待训练图像识别模型获取所述第二预测概率和所述第三预测概率，包括：
根据所述至少一个第二图像生成第一干扰图像集合，其中，所述第一干扰图像集合包括至少一个第一干扰图像，所述第一干扰图像与所述第二图像具有对应关系，所述第一干扰图像属于所述干扰图像；
根据所述至少一个第二图像生成第二干扰图像集合，其中，所述第二干扰图像集合包括至少一个第二干扰图像，所述第二干扰图像与所述第二图像具有对应关系，所述第二干扰图像属于所述干扰图像；
基于所述至少一个第二图像以及所述第一干扰图像集合，通过所述待训练图像识别模型获取所述第二预测概率；
基于所述至少一个第二图像以及所述第二干扰图像集合，通过所述待训练图像识别模型获取所述第三预测概率。


5.根据权利要求2所述的方法，其特征在于，所述基于所述第三图像集合，通过所述待训练图像识别模型获取所述第四预测概率，包括：
基于所述至少一个第三图像，通过所述待训练图像识别模型所包括的全连接层获取所述第四预测值；
对所述第四预测值进行归一化处理，得到所述第四预测概率。


6.根据权利要求1所述的方法，其特征在于，所述根据所述第一预测概率、第二预测概率、第三预测概率以及第四预测概率，确定目标损失函数，包括：
根据所述第一预测概率与所述第一图像集合所对应的标注信息，计算所述第一损失函数；
根据所述第二预测概率以及所述第三预测概率，计算所述第二损失函数；
根据所述第四预测概率与所述第三图像集合所对应的标注信息，计算所述第三损失函数；
获取熵损失函数以及正则化损失函数；
根据所述第一损失函数、所述第二损失函数、所述第三损失函数、所述熵损失函数以及所述正则化损失函数，计算得到所述目标损失函数。


7.根据权利要求6所述的方法，所述根据所述第一预测概率与所述第一图像集合所对应的标注信息，计算所述第一损失函数，包括：
根据所述第一预测概率与所述第一图像集合所对应的标注信息，计算所述第一损失函数；
所述根据所述第一预测概率与所述第一图像集合所对应的标注信息，计算所述第一损失函数，包括：
采用如下方式计算所述第一损失函数：
LCE(p0,y0)＝-log(p0[y0])；
其中，所述LCE表示所述第一损失函数，所述p0表示第一预测概率，所述y0表示所述第一图像集合所对应的标注信息。


8.根据权利要求6所述的方法，其特征在于，所述根据所述第二预测概率以及所述第三预测概率，计算所述第二损失函数，包括：
根据所述第二预测概率以及所述第三预测概率，计算所述第二...

【专利技术属性】
技术研发人员：尚鸿，郑瀚，孙钟前，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44