一种自监督模型训练方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种自监督模型训练方法、装置、设备及存储介质。对获取的样本图像进行数据扩增变换处理，得到变换后的第一变换图像和第二变换图像，采用结构和参数相同的第一网络模型和第二网络模型分别从第一变换图像和第二变换图像中提取表示样本图像中感兴趣的目标区域的第一特征向量和第二特征向量，基于第一特征向量预测样本图像属于各类别的概率，得到概率向量，基于概率向量和第二特征向量计算第一损失值，基于第一损失值更新第一网络模型的参数。采用对比学习的自监督训练方法进行模型训练，进而提高模型的性能。由于在计算损失值时无需负样本，因此，提高了训练效率，节约了样本收集成本。样本收集成本。样本收集成本。

【技术实现步骤摘要】
一种自监督模型训练方法、装置、设备及存储介质


[0001]本专利技术实施例涉及机器学习
，尤其涉及一种自监督模型训练方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能的发展，深度神经网络以其强大的拟合能力在众多领域取得了惊人的成绩。
[0003]深度神经网络的应用通常需要预先构建网络模型，然后对网络模型进行训练，已得到满足要求的网络模型。对于网络模型的训练，自监督学习(Self
‑
supervised learning)最近获得了很多关注，因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号，然后把学习到的表示(representation)用作下游任务里。对比学习被当作自监督学习中一个非常重要的一部分，对比学习的目标是：将一个样本经数据扩增后的不同的、增强过的新样本们在嵌入空间中尽可能地近，然后让不同的样本之间尽可能地远。这要求同一样本在经过不同的数据扩增之后，经特征提取网络提取的高层语义特征相似度高，而不同样本之间的高层语义特征相似度低。
[0004]然而，对于一些特定的领域，例如，医学影像，不同的个体的同一部位的医学影像的高层语义特征相似度很高，而同一影像经过不同的数据扩增之后，其高层语义特征相似度可能很低，因此，很难直接用对比学习的思想进行自监督预训练，得到的模型的性能较差。

技术实现思路

[0005]本专利技术提供一种自监督模型训练方法、装置、设备及存储介质，以提高模型的性能。
[0006]第一方面，本专利技术实施例提供了一种自监督模型训练方法，包括：
[0007]获取模型训练所需的样本图像；
[0008]对所述样本图像进行数据扩增变换处理，得到变换后的第一变换图像和第二变换图像；
[0009]采用结构和参数相同的第一网络模型和第二网络模型分别从所述第一变换图像和所述第二变换图像中提取表示所述样本图像中感兴趣的目标区域的第一特征向量和第二特征向量；
[0010]基于所述第一特征向量预测所述样本图像属于各类别的概率，得到概率向量；
[0011]基于所述概率向量和所述第二特征向量计算第一损失值；
[0012]基于所述第一损失值更新所述第一网络模型的参数。
[0013]第二方面，本专利技术实施例还提供了一种自监督模型训练装置，包括：
[0014]图像样本获取模块，用于获取模型训练所需的样本图像；
[0015]扩增变换模块，用于对所述样本图像进行数据扩增变换处理，得到变换后的第一
变换图像和第二变换图像；
[0016]特征提取模块，用于采用结构和参数相同的第一网络模型和第二网络模型分别从所述第一变换图像和所述第二变换图像中提取表示所述样本图像中感兴趣的目标区域的第一特征向量和第二特征向量；
[0017]概率预测模块，用于基于所述第一特征向量预测所述样本图像属于各类别的概率，得到概率向量；
[0018]第一损失值计算模块，用于基于所述概率向量和所述第二特征向量计算第一损失值；
[0019]参数更新模块，用于基于所述第一损失值更新所述第一网络模型的参数。
[0020]第三方面，本专利技术实施例还提供了一种计算机设备，包括：
[0021]一个或多个处理器；
[0022]存储装置，用于存储一个或多个程序；
[0023]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术第一方面提供的自监督模型训练方法。
[0024]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术第一方面提供的自监督模型训练方法。
[0025]本专利技术实施例提供的自监督模型训练方法，对获取的样本图像进行数据扩增变换处理，得到变换后的第一变换图像和第二变换图像，采用结构和参数相同的第一网络模型和第二网络模型分别从第一变换图像和第二变换图像中提取表示样本图像中感兴趣的目标区域的第一特征向量和第二特征向量，基于第一特征向量预测样本图像属于各类别的概率，得到概率向量，基于概率向量和第二特征向量计算第一损失值，基于第一损失值更新第一网络模型的参数。样本图像的第一变换图像和第二变换图像的目标区域的特征之间的相似度高，而不同的样本图像的目标区域的特征之间的相似度低。因此，可以采用对比学习的自监督训练方法进行模型训练，进而提高模型的性能。由于在计算损失值时无需负样本，因此，提高了训练效率，节约了样本收集成本。
附图说明
[0026]图1为本专利技术实施例一提供的一种自监督模型训练方法的流程图；
[0027]图2A为本专利技术实施例二提供的一种自监督模型训练方法的流程图；
[0028]图2B为本专利技术实施例提供的自监督模型训练方法的数据处理流程图；
[0029]图2C为本专利技术实施例提供的网络模型的结构示意图；
[0030]图2D为第一损失值的收敛曲线图；
[0031]图2E为第二损失值的收敛曲线图；
[0032]图3为本专利技术实施例三提供的一种自监督模型训练装置；
[0033]图4为本专利技术实施例四提供的一种计算机设备的结构示意图。
具体实施方式
[0034]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便
于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0035]实施例一
[0036]图1为本专利技术实施例一提供的一种自监督模型训练方法的流程图，本实施例可适用于同一样本在经过不同的数据扩增之后，高层语义特征相似度低，而不同样本之间的高层语义特征相似度高情况，该方法可以由本专利技术实施例提供的自监督模型训练装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于计算机设备中，如图1所示，该方法具体包括如下步骤：
[0037]S101、获取模型训练所需的样本图像。
[0038]在本专利技术实施例中，样本图像具有同一样本在经过不同的数据扩增之后，高层语义特征相似度低，而不同样本之间的高层语义特征相似度高。示例性，本专利技术实施例以3D胸部CT图像为样本图像进行示例性说明。CT(Computed Tomography)图像，即电子计算机断层扫描图像，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描。探测器接收透过该层面的X射线，转变为可见光后，由光电转换变为电信号，再经模拟/数字转换器(analog/digital converter)转为数字，输入计算机处理，得到CT图像。
[0039]在本专利技术的其他实施例中，样本图像也可以是其他医学影像，例如，磁共振图像(Magnetic Resonance Image，MRI)，本专利技术实施例在此不做限定。
[0040]S102、对样本图像进行数据扩增变换处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自监督模型训练方法，其特征在于，包括：获取模型训练所需的样本图像；对所述样本图像进行数据扩增变换处理，得到变换后的第一变换图像和第二变换图像；采用结构和参数相同的第一网络模型和第二网络模型分别从所述第一变换图像和所述第二变换图像中提取表示所述样本图像中感兴趣的目标区域的第一特征向量和第二特征向量；基于所述第一特征向量预测所述样本图像属于各类别的概率，得到概率向量；基于所述概率向量和所述第二特征向量计算第一损失值；基于所述第一损失值更新所述第一网络模型的参数。2.根据权利要求1所述的自监督模型训练方法，其特征在于，在获取模型训练所需的样本图像之后，还包括：在所述样本图像上按比例大小随机截取若干区域图像；计算每一所述区域图像的方差；将方差最大的区域图像作为所述样本图像中感兴趣的目标区域。3.根据权利要求1所述的自监督模型训练方法，其特征在于，采用结构和参数相同的第一网络模型和第二网络模型分别从所述第一变换图像和所述第二变换图像中提取表示所述样本图像中感兴趣的目标区域的第一特征向量和第二特征向量，包括：分别从所述第一变换图像和所述第二变换图像中提取多个不同尺度的全局特征图；融合所述第一变换图像的多种不同尺度的全局特征图，以及融合所述第二变换图像的多种不同尺度的全局特征图，得到所述第一变换图像和所述第二变换图像对应的第一融合特征图和第二融合特征图；分别从所述第一融合特征图和所述第二融合特征图的所述目标区域中提取出表示所述目标区域的第一特征向量和第二特征向量。4.根据权利要求3所述的自监督模型训练方法，其特征在于，分别从所述第一融合特征图和所述第二融合特征图的所述目标区域中提取出表示所述目标区域的第一特征向量和第二特征向量，包括：分别对所述第一融合特征图和所述第二融合特征图的所述目标区域进行中心平均池化处理，得到表示所述目标区域的第一局部特征和第二局部特征；分别将所述第一局部特征和所述第二局部特征进行投影映射变换，得到所述目标区域的第一特征向量和第二特征向量。5.根据权利要求1所述的自监督模型训练方法，其特征在于，基于所述概率向量和所述第二特征向量计算第一损失值，包括：计算所述概率向量与所述第二特征向量的余弦相似度作为...

【专利技术属性】
技术研发人员：黎安伟，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：