图像特征的监督学习方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像特征的监督学习方法、装置、设备及存储介质，涉及人工智能领域。方法包括：对原始医学图像进行数据增强，得到第一增强图像和第二增强图像，第一增强图像和第二增强图像互为正样本；通过特征提取模型对第一增强图像和第二增强图像进行特征提取，得到第一增强图像的第一图像特征以及第二增强图像的第二图像特征；基于第一图像特征、第二图像特征以及负样本图像特征，确定特征提取模型的模型损失，负样本图像特征为其他原始医学图像对应增强图像的图像特征；基于模型损失训练特征提取模型。本申请实施例中，采用自监督学习方式使特征提取模型学习到医学图像的图像特征，无需人工进行图像标注，提高了模型训练效率。练效率。练效率。

【技术实现步骤摘要】
图像特征的监督学习方法、装置、设备及存储介质


[0001]本申请实施例涉及人工智能领域，特别涉及一种图像特征的监督学习方法、装置、设备及存储介质。

技术介绍

[0002]计算机视觉(Computer Vision，CV)技术作为人工智能领域的一个重要分支，被广泛应用于医学图像识别(识别医学图像中组织器官的类别)、医学图像检索(从数据库中检索详细医学图像)、医学图像分割(对医学图像中的组织结构进行分割)等医学图像处理场景。
[0003]图像特征提取作为图像处理过程中的重要环节，直接影响到最终的图像处理结果。相关技术中，通过训练特征提取模型对医学图像进行特征提取，进而基于提取到的图像特征执行后续图像处理流程。在一种模型训练方式中，当采用监督学习方式进行模型训练时，通常利用样本医学图像的标注信息作为监督进行模型训练。
[0004]然而，由于模型训练过程中需要使用到大量样本，而对样本医学图像进行人工标注需要花费大量时间，导致模型训练效率较低。

技术实现思路

[0005]本申请实施例提供了一种图像特征的监督学习方法、装置、设备及存储介质，在无需人工标注的情况下能够实现图像特征的自监督学习，从而提高模型训练效率。所述技术方案如下：
[0006]一方面，本申请实施例提供了一种图像特征的监督学习方法，所述方法包括：
[0007]对原始医学图像进行数据增强，得到第一增强图像和第二增强图像，所述第一增强图像和所述第二增强图像互为正样本；
[0008]通过特征提取模型对所述第一增强图像和所述第二增强图像进行特征提取，得到所述第一增强图像的第一图像特征，以及所述第二增强图像的第二图像特征；
[0009]基于所述第一图像特征、所述第二图像特征以及负样本图像特征，确定所述特征提取模型的模型损失，所述负样本图像特征为其他原始医学图像对应增强图像的图像特征；
[0010]基于所述模型损失训练所述特征提取模型。
[0011]另一方面，本申请实施例提供了一种图像特征的监督学习装置，所述装置包括：
[0012]数据增强模块，用于对原始医学图像进行数据增强，得到第一增强图像和第二增强图像，所述第一增强图像和所述第二增强图像互为正样本；
[0013]特征提取模块，用于通过特征提取模型对所述第一增强图像和所述第二增强图像进行特征提取，得到所述第一增强图像的第一图像特征，以及所述第二增强图像的第二图像特征；
[0014]损失确定模块，用于基于所述第一图像特征、所述第二图像特征以及负样本图像
特征，确定所述特征提取模型的模型损失，所述负样本图像特征为其他原始医学图像对应增强图像的图像特征；
[0015]第一训练模块，用于基于所述模型损失训练所述特征提取模型。
[0016]另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述方面所述的图像特征的监督学习方法。
[0017]另一方面，本申请实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述方面所述的图像特征的监督学习方法。
[0018]另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的图像特征的监督学习方法。
[0019]本申请实施例中，通过对原始医学图像进行数据增强，得到互为正样本的第一增强图像和第二增强图像，并通过特征提取模型进行特征提取，得到第一图像特征和第二图像特征，进而将不同于该原始医学图像的其他原始医学图像作为负样本，并基于第一图像特征、第二图像特征以及负样本图像特征确定特征提取模型的模型损失，最终利用模型损失训练特征提取模型；整个过程中，采用自监督学习方式使特征提取模型学习到医学图像的图像特征，无需人工进行医学图像标注，降低了模型训练过程中的人工标注成本，提高了特征提取模型的训练效率。
附图说明
[0020]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请一个示例性实施例示出的图像特征的监督学习方法的原理图；
[0022]图2是本申请一个示例性实施例示出的医学图像分类场景的实施示意图；
[0023]图3是本申请一个示例性实施例示出的医学图像检索场景的实施示意图；
[0024]图4示出了本申请一个示例性实施例提供的图像特征的监督学习方法的流程图；
[0025]图5是一个示例性实施例示出的互为正样本的医学图像；
[0026]图6示出了本申请另一个示例性实施例提供的图像特征的监督学习方法的流程图；
[0027]图7是本申请一个示例性实施例示出的图像特征自监督学习过程的实施示意图；
[0028]图8是本申请一个示例性实施例示出的多全局描述子网络的示意图；
[0029]图9是本申请一个示例性实施例示出的模型损失确定过程的流程图；
[0030]图10示出了本申请另一个示例性实施例提供的图像特征的监督学习方法的流程图；
[0031]图11是一个示例性实施例示出的有效样本和无效样本的示意图；
[0032]图12是本申请一个示例性实施例示出的多图像特征加权求和过程的实施示意图；
[0033]图13示出了本申请一个示例性实施例提供的计算机设备的结构示意图；
[0034]图14是本申请一个示例性实施例提供的图像特征的监督学习装置的结构框图。
具体实施方式
[0035]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0036]计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
[0037]图像特征提取作为实现具体功能的重要环节，其提取到的图像特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像特征的监督学习方法，其特征在于，所述方法包括：对原始医学图像进行数据增强，得到第一增强图像和第二增强图像，所述第一增强图像和所述第二增强图像互为正样本；通过特征提取模型对所述第一增强图像和所述第二增强图像进行特征提取，得到所述第一增强图像的第一图像特征，以及所述第二增强图像的第二图像特征；基于所述第一图像特征、所述第二图像特征以及负样本图像特征，确定所述特征提取模型的模型损失，所述负样本图像特征为其他原始医学图像对应增强图像的图像特征；基于所述模型损失训练所述特征提取模型。2.根据权利要求1所述的方法，其特征在于，所述特征提取模型包括第一特征提取分支和第二特征提取分支，所述第一特征提取分支和所述第二特征提取分支采用不同参数的特征提取网络；所述通过特征提取模型对所述第一增强图像和所述第二增强图像进行特征提取，得到所述第一增强图像的第一图像特征，以及所述第二增强图像的第二图像特征，包括：通过所述第一特征提取分支对所述第一增强图像进行特征提取，得到所述第一图像特征；通过所述第二特征提取分支对所述第二增强图像进行特征提取，得到所述第二图像特征。3.根据权利要求2所述的方法，其特征在于，所述第一特征提取分支包括第一特征提取网络和多全局描述子网络，所述第二特征提取分支包括第二特征提取网络和所述多全局描述子网络，所述多全局描述子网络用于对不同描述子下的图像特征进行聚合并输出；所述通过所述第一特征提取分支对所述第一增强图像进行特征提取，得到所述第一图像特征，包括：通过所述第一特征提取网络对所述第一增强图像进行特征提取，得到第一中间图像特征；通过所述多全局描述子网络对所述第一中间图像特征进行至少两种池化处理，得到至少两种第一全局描述子；通过所述多全局描述子网络对至少两种所述第一全局描述子进行级联处理，并基于级联后的所述第一全局描述子生成所述第一图像特征；所述通过所述第二特征提取分支对所述第二增强图像进行特征提取，得到所述第二图像特征，包括：通过所述第二特征提取网络对所述第二增强图像进行特征提取，得到第二中间图像特征；通过所述多全局描述子网络对所述第二中间图像特征进行至少两种池化处理，得到至少两种全局描述子；通过所述多全局描述子网络对至少两种所述第二全局描述子进行级联处理，并基于级联后的所述第二全局描述子生成所述第二图像特征。4.根据权利要求3所述的方法，其特征在于，所述基于所述模型损失训练所述特征提取模型，包括：基于所述模型损失，通过反向传播算法训练所述第一特征提取网络；
基于训练后所述第一特征提取网络的网络参数，更新所述第二特征提取网络的网络参数。5.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述第一图像特征、所述第二图像特征以及负样本图像特征，确定所述特征提取模型的模型损失，包括：基于所述第一图像特征与所述第二图像特征之间的特征距离，以及所述第一图像特征与所述负样本图像特征之间的特征距离，确定距离损失；分别对当前训练批次中各张所述原始医学图像对应的所述第一图像特征和所述第二图像特征进行聚类，并基于聚类结果确定聚类损失；将所述距离损失和所述聚类损失确定为所述模型损失。6.根据权利要求5所述的方法，其特征在于，所述分别对当前训练批次中各张所述原始医学图像对应的所述第一图像特征和所述第二图像特征进行聚类，并基于聚类结果确定聚类损失，包括：对当前训练批次中各张所述原始医学图像对应的所述第一图像特征进行聚类，得到k个第一类簇质心，k为大于等于2的整数；对当前训练批次中各张所述原始医学图像对应的所述第二图像特征进行聚类，得到k个第二类簇质心；基于所述第一图像特征与k个所述第二类簇质心之间的距离，以及所述第二图像特征与k个所述第一类簇质心之间的距离，确定所述聚类损失。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：基于所述第一图像特征生成...

【专利技术属性】
技术研发人员：文庆福，杜悦熙，杨森，杨鹏，张军，韩骁，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：