图像多任务识别方法及电子设备技术

本发明专利技术提供一种图像多任务识别方法及电子设备，其中，图像多任务识别方法包括：将图像输入训练好的多任务机器学习模型；由多任务机器学习模型从图像中提取第一特征数据，并且根据第一特征数据确定第一识别结果，第一识别结果指示图像中的每个像素的类别；由多任务机器学习模型从图像和第一识别结果在通道维度上的堆叠图像中提取第二特征数据，并且根据第二特征数据确定第二识别结果，第二识别结果指示图像的类别；以及，由多任务机器学习模型输出第一和第二识别结果。多任务机器学习模型既具备高层次的综合语义分析能力，也具备像素级的识别能力，可以准确、可信地执行图像多任务识别。别。别。

【技术实现步骤摘要】
图像多任务识别方法及电子设备


[0001]本专利技术涉及图像识别
，具体而言，涉及一种图像多任务识别方法及电子设备。

技术介绍

[0002]随着物质生活水平的提高，越来越多的人借助定期体检来了解自身的健康状况，定期体检能够帮助人们及时发现疾病从而及时诊治疾病，但定期体检伴随有流程复杂、具有侵入性等缺点。研究人员发现，高血压、动脉硬化、糖尿病等疾病在视网膜上会呈现相应的病理特征改变，而眼底图像的采集具有无创和便捷等优点，因此采集并识别眼底图像对人们的全身健康(包括眼健康)的高频率监测提供了可能性。
[0003]目前，基于深度学习的眼底图像智能识别技术已广泛应用于健康监测。例如，通过训练分类模型从眼底图像中提取近视眼底的豹纹、病理性近视的弥漫性萎缩等占据整个眼底绝大部分区域的特征，并根据提取出的特征识别疾病类别；或者，通过训练分割模型从眼底图像中识别出类似高血压眼底的动静脉交叉压迫症等尺寸为几十个像素的中小病灶，甚至糖网眼底前期的微血管瘤、零星出血点等尺寸为几个像素的微小病灶。然而，当前的分类模型仅关注全局性的高层次语义信息，缺乏细粒度的监督信号，难以识别出中小、微小病灶；当前的分割模型关注局部重点区域，甚至具备像素级的识别能力，但缺乏全局性的综合语义分析能力。
[0004]由于发病机理的不同，属于同一形态类别的病灶可能是由不同的疾病引起的，而同一类别的疾病也可能同时伴随多个类别的病灶，因此疾病类别和病灶类别之间存在多对多的关系。另外，不同类别病灶的组合在医学上也可能会对应不同类别的疾病。可见，仅识别出疾病类别可能无法准确地定位到病灶，而仅根据识别出的病灶也可能无法准确地判断疾病类别，因此需要一种模型同时具备全局疾病类别的综合语义分析能力和局部中小、微小病灶的识别能力，用于从眼底图像中识别出疾病类别以及相应的病灶。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种图像多任务识别方法及电子设备，以解决上述现有技术中存在的问题。
[0006]本专利技术的一个方面提供一种图像多任务识别方法，该方法包括：将图像输入训练好的多任务机器学习模型；由多任务机器学习模型从所述图像中提取第一特征数据，并且根据第一特征数据确定第一识别结果；由多任务机器学习模型从所述图像和第一识别结果在通道维度上的堆叠图像中提取第二特征数据，并且根据第二特征数据确定第二识别结果；以及，由多任务机器学习模型输出第一识别结果和第二识别结果。其中，第一识别结果指示所述图像中的每个像素的类别，第二识别结果指示所述图像的类别。
[0007]所述图像可以是眼底图像；所述图像中的每个像素的类别为多种眼底生理结构类别、多种病灶类别或多种症状类别中的一种；所述图像的类别为多种疾病类别中的至少一
种。
[0008]上述方法中，多任务机器学习模型包括共享特征提取器和第一识别器。上述方法中，从图像中提取第一特征数据并且根据第一特征数据确定第一识别结果包括：由共享特征提取器从图像中提取共享特征数据；以及，由第一识别器从共享特征数据中提取第一特征数据，并且根据第一特征数据确定第一识别结果。
[0009]上述方法包括将图像通过共享特征提取器中的第一组N层特征提取网络，以提取共享特征数据。其中，N为大于1的整数，第一组第1层特征提取网络的输入为所述图像，第一组第2至N层特征提取网络的输入为前一层特征提取网络的输出，并且第一组第N层特征提取网络的输出为共享特征数据。上述方法还包括将共享特征数据通过第一识别器中的第二组N层特征提取网络，以提取第一特征数据。其中，第二组第1层特征提取网络的输入为共享特征数据，第二组第i(其中2≤i≤N)层特征提取网络的输入是通过在通道维度上堆叠前一层特征提取网络的输出和第一组第N
‑
i+1层特征提取网络的输出得到的，并且第二组第N层特征提取网络的输出为第一特征数据。
[0010]上述方法中，多任务机器学习模型还包括第二识别器。上述方法中，从所述图像和第一识别结果在通道维度上的堆叠图像中提取第二特征数据并且根据第二特征数据确定第二识别结果包括：将堆叠图像通过第二识别器中的第三组N层特征提取网络，以提取第二特征数据；以及，由第二识别器根据第二特征数据确定第二识别结果。其中，第三组第1层特征提取网络的输入为所述堆叠图像，第三组第i(其中2≤i≤N)层特征提取网络的输入是通过在通道维度上堆叠前一层特征提取网络的输出、第一组第i
‑
1层特征提取网络的输出和第二组第N
‑
i+1层特征提取网络的输出得到的，并且第三组第N层特征提取网络的输出为第二特征数据。
[0011]上述方法中，第一组N层特征提取网络和第三组N层特征提取网络中的每层特征提取网络包括一个或多个卷积块，或者包括一个或多个基于自注意力的Transformer块；第二组N层特征提取网络中的每层特征提取网络包括反卷积层。在第二组N层特征提取网络中的每层特征提取网络为反卷积层时，上述方法还包括：在堆叠前一层特征提取网络的输出和第一组第N
‑
i+1层特征提取网络的输出得到第二组第i层特征提取网络的输入之后，减少该第二组第i层特征提取网络的输入的通道数。
[0012]上述方法还可以包括训练多任务机器学习模型。其中，根据第一识别器的输出和训练数据计算第一损失并且根据第二识别器的输出和训练数据计算第二损失，根据第一损失和第二损失计算总损失。其中，基于第二损失对第二识别器执行梯度计算与参数更新，以及基于总损失对共享特征提取器和第一识别器执行梯度计算与参数更新。
[0013]本专利技术的另一个方面提供一种电子设备，该电子设备包括处理器和存储器，其中存储器存储有能够被处理器执行的计算机程序。当计算机程序被处理器执行时，可以实现上述的图像多任务识别方法。
[0014]本专利技术实施例的技术方案可以提供以下有益效果：
[0015]本专利技术通过训练好的多任务机器学习模型对图像进行多任务识别，该多任务机器学习模型既具备高层次的综合语义分析能力，也具备像素级的识别能力，能够从(诸如眼底图像的)图像中识别出(诸如疾病类别的)分类结果，同时也能够识别出关于人体某部位(诸如眼底)的生理结构区域、中小微小病灶区域或症状类别的分割结果。与现有的实现单一任
务的分类模型或分割模型相比，更符合现实生活中人类医生对患者图像的认知。
[0016]多任务机器学习模型中的第一识别器(后文也称为分割子模型)与第二识别器(后文也称分类子模型)共用共享特征提取器所提取的特征数据。第二识别器还融合了来自第一识别器的识别结果以及共享特征提取器和第一识别器提取的特征数据，将所得到的高度融合的特征数据用于识别图像的类别，其对于整个图像的理解更为充分，使得识别结果更为准确和可信。在训练模型时，将根据第一识别器的输出得到的损失用于共享特征提取器和第一识别器的梯度计算及参数更新，并且将根据第二识别器的输出得到的损失用于共享特征提取器、第一识别器和第二识别器的梯度计算及参数更新。与单一任务的分割模型或分类模型相比，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像多任务识别方法，其特征在于，所述方法包括：将图像输入训练好的多任务机器学习模型；由所述多任务机器学习模型从所述图像中提取第一特征数据，并且根据所述第一特征数据确定第一识别结果；其中，所述第一识别结果指示所述图像中的每个像素的类别；由所述多任务机器学习模型从所述图像和所述第一识别结果在通道维度上的堆叠图像中提取第二特征数据，并且根据所述第二特征数据确定第二识别结果；其中，所述第二识别结果指示所述图像的类别；以及由所述多任务机器学习模型输出所述第一识别结果和所述第二识别结果。2.根据权利要求1所述的方法，其特征在于，所述多任务机器学习模型包括共享特征提取器和第一识别器；以及，从所述图像中提取第一特征数据并且根据所述第一特征数据确定第一识别结果包括：由所述共享特征提取器从所述图像中提取共享特征数据；以及由所述第一识别器从所述共享特征数据中提取所述第一特征数据，并且根据所述第一特征数据确定所述第一识别结果。3.根据权利要求2所述的方法，其特征在于，将所述图像通过所述共享特征提取器中的第一组N层特征提取网络，以提取所述共享特征数据；其中，N为大于1的整数，第一组第1层特征提取网络的输入为所述图像，第一组第2至N层特征提取网络的输入为前一层特征提取网络的输出，并且第一组第N层特征提取网络的输出为所述共享特征数据；以及将所述共享特征数据通过所述第一识别器中的第二组N层特征提取网络，以提取所述第一特征数据；其中，第二组第1层特征提取网络的输入为所述共享特征数据，第二组第i层特征提取网络的输入是通过在通道维度上堆叠前一层特征提取网络的输出和第一组第N
‑
i+1层特征提取网络的输出得到的，2≤i≤N，并且第二组第N层特征提取网络的输出为所述第一特征数据。4.根据权利要求3所述的方法，其特征在于，所述多任务机器学习模型还包括第二识别器；以及，从所述图像和所述第一识别结果在通道维度上的堆叠图像中提取第二特征数据并且根据所述第二特征数据确定第二识别结果包括：将所述堆叠图像通过所述第二识别器中的第三组N层特征提取网络，以提取所述第二特征数据；其中，第三组第1层特征提取网络的输入为所述堆叠图像，第三组第i层特征提取网络的输入是通过在通道维度上堆叠前一层特征提取网络的输出、第一组第i
‑<...

【专利技术属性】
技术研发人员：杨志文，吴星，马子伟，王欣，贺婉佶，姚轩，赵昕，和超，张大磊，
申请(专利权)人：上海鹰瞳医疗科技有限公司，
类型：发明
国别省市：