图像分类方法、训练方法、装置、电子设备以及存储介质制造方法及图纸

本公开提供了一种图像分类方法、训练方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域。具体实现方案为：根据与目标医学图像对应的多个目标切片图像，获取多个目标切片图像各自的目标图像特征向量，其中，目标图像特征向量是用于表征目标切片图像的全局特征和局部特征的特征向量；根据多个目标切片图像各自的目标图像特征向量，获取多个目标切片图像各自的目标分类向量；对多个目标切片图像各自的目标分类向量进行处理，得到多个目标切片图像各自的分类结果。各自的分类结果。各自的分类结果。

【技术实现步骤摘要】
图像分类方法、训练方法、装置、电子设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及计算机视觉和深度学习
具体地，涉及一种图像分类方法、训练方法、装置、电子设备以及存储介质。

技术介绍

[0002]医学图像数据是医学领域中的重要数据，在辅助医生进行诊断和病理研究等方面有着重要的作用。针对医学图像的图像分类是基于医学图像的智能分析中的一个基础任务。
[0003]随着人工智能技术的发展，人工智能技术在各个领域得到了广泛的应用。例如，可以利用人工智能技术对医学图像进行分类。

技术实现思路

[0004]本公开提供了一种图像分类方法、图像分类模型的训练方法、装置、电子设备以及存储介质。
[0005]根据本公开的一方面，提供了一种图像分类方法，包括：根据与目标医学图像对应的多个目标切片图像，获取上述多个目标切片图像各自的目标图像特征向量，其中，上述目标图像特征向量是用于表征上述目标切片图像的全局特征和局部特征的特征向量；根据上述多个目标切片图像各自的目标图像特征向量，获取上述多个目标切片图像各自的目标分类向量；以及，对上述多个目标切片图像各自的目标分类向量进行处理，得到上述多个目标切片图像各自的分类结果。
[0006]根据本公开的另一方面，提供了一种训练方法，包括：根据与样本医学图像对应的多个样本切片图像，获取上述多个样本切片图像各自的样本图像特征向量，其中，上述样本图像特征向量是用于表征上述样本切片图像的全局特征和局部特征的特征向量；根据上述多个样本切片图像各自的样本图像特征向量，获取上述多个样本切片图像各自的样本分类向量；对上述多个样本切片图像各自的样本分类向量进行处理，得到上述多个样本切片图像各自的第一预测分类结果；以及，利用上述第一预测分类结果和真实分类结果，训练图像分类模型，得到经训练的图像分类模型。
[0007]根据本公开的一方面，提供了一种图像分类装置，包括：第一获取模块，用于根据与目标医学图像对应的多个目标切片图像，获取上述多个目标切片图像各自的目标图像特征向量，其中，上述目标图像特征向量是用于表征上述目标切片图像的全局特征和局部特征的特征向量；第二获取模块，用于根据上述多个目标切片图像各自的目标图像特征向量，得到上述多个目标切片图像各自的目标分类向量；以及，第一获得模块，用于对上述多个目标切片图像各自的目标分类向量进行处理，得到上述多个目标切片图像各自的分类结果。
[0008]根据本公开的另一方面，提供了一种训练装置，包括：第三获取模块，用于根据与样本医学图像对应的多个样本切片图像，获取上述多个样本切片图像各自的样本图像特征向量，其中，上述样本图像特征向量是用于表征上述样本切片图像的全局特征和局部特征
的特征向量；第四获取模块，用于根据上述多个样本切片图像各自的样本图像特征向量，获取上述多个样本切片图像各自的样本分类向量；第二获得模块，用于对上述多个样本切片图像各自的样本分类向量进行处理，得到上述多个样本切片图像各自的第一预测分类结果；以及，第一训练模块，用于利用上述第一预测分类结果和真实分类结果，训练图像分类模型，得到经训练的图像分类模型。
[0009]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如本公开所述的方法。
[0010]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如本公开所述的方法。
[0011]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如本公开所述的方法。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1示意性示出了根据本公开实施例的可以应用图像分类方法、训练方法及装置的示例性系统架构；
[0015]图2示意性示出了根据本公开实施例的图像分类方法的流程图；
[0016]图3示意性示出了根据本公开实施例的图像分类过程的示例示意图；
[0017]图4示意性示出了根据本公开实施例的训练方法的流程图；
[0018]图5示意性示出了根据本公开实施例的训练过程的示例示意图；
[0019]图6示意性示出了根据本公开实施例的图像分类装置的框图；
[0020]图7示意性示出了根据本公开实施例的训练装置的流程图；以及
[0021]图8示意性示出了根据本公开实施例的适于实现图像分类方法和训练方法的电子设备的框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]医学图像可以包括多个二维的切片图像。医学图像包括的切片图像的数目可以在百级别。医学图像可以包括以下一项：CT(Computerized Tomography，计算机断层扫描)图像、ECT(Emission Computed Tomography，发射型计算机层析成像)图像、PET(Positron Emission Computed Tomography，正电子发射计算机断层显像)图像、MRI(Magnetic Resonance Imaging，磁共振成像)图像、超声图像、OCT(Optical Coherence Tomography，
光学相干层析成像)图像和X射线摄影。
[0024]针对医学图像的图像分类，可以对切片图像进行处理，确定与切片图对应的图像分类结果。图像分类结果可以包括以下至少一项：与切片图像对应的部位、与切片图像对应的组织和与切片图像对应的病灶。可以利用基于卷积神经网络模型的图像分类方案实现针对医学图像的图像分类。即，利用卷积神经网络模型处理医学图像包括的每个切片图像，得到与每个切片图像对应的图像分类结果。
[0025]卷积神经网络模型倾向于捕捉切片图像的局部特征，而忽略了切片图像的其他特征，因此，使得图像分类的准确性欠佳。
[0026]为此，本公开实施例提出了一种图像分类方案。通过对与目标医学图像对应的多个目标切片图像进行全局特征和局部特征的提取，增强了表征学习能力。在此基础上，通过对包括目标切片图像的全局特征和局部特征的目标图像特征向量进行处理，得到与多个目标切片图像各自的目标分类向量，再通过对每个目标分类向量进行处理，得到与多个目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分类方法，包括：根据与目标医学图像对应的多个目标切片图像，获取所述多个目标切片图像各自的目标图像特征向量，其中，所述目标图像特征向量是用于表征所述目标切片图像的全局特征和局部特征的特征向量；根据所述多个目标切片图像各自的目标图像特征向量，获取所述多个目标切片图像各自的目标分类向量；以及对所述多个目标切片图像各自的目标分类向量进行处理，得到所述多个目标切片图像各自的分类结果。2.根据权利要求1所述的方法，其中，所述根据与目标医学图像对应的多个目标切片图像，获取所述多个目标切片图像各自的目标图像特征向量，包括：根据第一自注意力和局部特征，对与所述目标医学图像对应的多个目标切片图像进行处理，得到所述多个目标切片图像各自的目标图像特征向量。3.根据权利要求2所述的方法，其中，所述根据第一自注意力和局部特征，对与所述目标医学图像对应的多个目标切片图像进行处理，得到所述多个目标切片图像各自的目标图像特征向量，包括：对与所述目标医学图像对应的多个目标切片图像进行处理，得到所述多个目标切片图像各自的多个目标图像块；对所述多个目标切片图像各自的多个目标图像块进行处理，得到与每个所述目标图像块对应的图像向量；针对每个所述目标切片图像中的每个目标图像块，根据与所述目标图像块对应的图像向量和位置编码，得到与所述每个目标图像块对应的目标中间向量；以及根据所述第一自注意力和所述局部特征，对所述多个目标切片图像各自的多个目标中间向量进行处理，得到所述多个目标切片图像各自的目标图像特征向量。4.根据权利要求1～3中任一项所述的方法，其中，所述根据所述多个目标切片图像各自的目标图像特征向量，获取所述多个目标切片图像各自的目标分类向量，包括：对所述多个目标切片图像各自的目标图像特征向量进行并行处理，得到所述多个目标切片图像各自的目标分类向量。5.根据权利要求4所述的方法，其中，所述对所述多个目标切片图像各自的目标图像特征向量进行并行处理，得到所述多个目标切片图像各自的目标分类向量，包括：根据第二自注意力，对所述多个目标切片图像各自的目标图像特征向量进行处理，得到所述多个目标切片图像各自的目标分类向量。6.根据权利要求5所述的方法，其中，所述根据第二自注意力，对所述多个目标切片图像各自的目标图像特征向量进行处理，得到所述多个目标切片图像各自的目标分类向量，包括：根据所述第二自注意力，对所述多个目标切片图像各自的目标图像特征向量进行处理，得到所述多个目标切片图像各自之间的关联信息；以及根据所述多个目标切片图像各自之间的关联信息，得到所述多个目标切片图像各自的目标分类向量。7.根据权利要求1～6中任一项所述的方法，还包括：
针对与所述目标医学图像对应的多个初始切片图像中的每个初始切片图像，基于与多个预定组织各自的窗宽和窗位，根据所述初始切片图像的强度值，得到所述多个预定组织各自的增强图像；以及对所述多个预定组织各自的增强图像进行融合，得到与所述初始切片图像对应的目标切片图像。8.根据权利要求7所述的方法，其中，所述对所述多个预定组织各自的增强图像进行融合，得到与所述初始切片图像对应的目标切片图像，包括：对所述多个预定组织各自的增强图像进行融合，得到与所述初始切片图像对应的中间切片图像；以及对与所述初始切片图像对应的中间切片图像进行处理，得到与所述中间切片图像对应的目标切片图像。9.根据权利要求1所述的方法，其中，所述多个目标切片图像各自的目标图像特征向量是利用图像分类模型包括的特征提取模块处理与所述目标医学图像对应的多个目标切片图像得到的；其中，所述多个目标切片图像各自的目标分类向量是利用所述图像分类模型包括的关联模块处理所述多个目标切片图像各自的目标图像特征向量得到的。10....

【专利技术属性】
技术研发人员：尚方信，何樾，杨叶辉，王晓荣，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：