图像编码器的训练方法、装置、设备及介质制造方法及图纸

本申请公开了一种图像编码器的训练方法、装置、设备及介质，属于人工智能领域。该方法包括：将第一样本组织图像分别进行两次数据增强，得到第一图像和第二图像；将第一图像输入第一图像编码器，得到第一特征向量；将第二图像输入第二图像编码器，得到第二特征向量；将多张第二样本组织图像输入第一图像编码器，得到多个特征向量；聚类多个特征向量，得到多个聚类中心；基于多个聚类中心与第一特征向量的相似值，生成多个权重；基于第一特征向量和第二特征向量，生成第一子函数；基于第二特征向量和多个特征向量，结合多个权重生成第二子函数；基于第一子函数和第二子函数，生成第一权重损失函数；基于第一权重损失函数，训练第一图像编码器。图像编码器。图像编码器。

【技术实现步骤摘要】
图像编码器的训练方法、装置、设备及介质


[0001]本申请涉及人工智能领域，特别涉及一种图像编码器的训练方法、装置、设备及介质。

技术介绍

[0002]在医疗领域，存在由全视野数字切片(Whole Slide Image，WSI)搜索与其相似的全视野数字切片的场景。每张全视野数字切片(大图)包括数量巨大的组织病理图像(小图)。
[0003]在相关技术中，使用大图内最具有表征能力的小图来代表整张大图，之后根据小图的特征向量在数据库中寻找与其最相似的目标小图，将目标小图对应的大图作为最终的搜索结果。上述过程需要使用图像编码器来提取小图的特征向量。相关技术在训练图像编码器时采用对比学习的方式进行训练，对比学习旨在学习锚图像与正样本的共同特征，区分锚图像与负样本之间的不同特征(常简称为拉近锚图像与正样本，拉远锚图像与负样本)。
[0004]相关技术在采用对比学习的方式训练图像编码器时，对于图像X，将图像X分别进行两次数据增强得到的图像X1和图像X2作为一对正样本，将图像X和图像Y作为一对负样本。然而，相关技术的正负样本假设在特殊场景下是不合适的。在一个场景下，当从一张WSI内挑选出的小图所属的组织区域与从另一张WSI内挑选出的小图所属的组织区域相同时，这两张小图被认为是一对负样本；在另一个场景下，当从同一张WSI内挑选出位置相邻的两张小图时，这两张小图也被认为是一对负样本。显然，上述两种场景挑选出的两张小图应构成正样本对，相关技术在训练图像编码器时将错误地拉远正样本。因此，如何在对比学习中设置正确的负样本假设，成为亟需解决的技术问题。

技术实现思路

[0005]本申请提供了一种图像编码器的训练方法、装置、设备及介质，能够提高图像编码器的编码效果。所述技术方案如下：
[0006]根据本申请的一个方面，提供了一种图像编码器的训练方法，所述方法包括：
[0007]获取第一样本组织图像和多张第二样本组织图像，第二样本组织图像为对比学习中的负样本；
[0008]将第一样本组织图像进行数据增强，得到第一图像；将第一图像输入第一图像编码器，得到第一特征向量；第一图像为对比学习中的正样本；
[0009]将第一样本组织图像进行数据增强，得到第二图像；将第二图像输入第二图像编码器，得到第二特征向量；第二图像为对比学习中的锚图像；
[0010]将多张第二样本组织图像输入第一图像编码器，得到多张第二样本组织图像的多个特征向量；将多个特征向量进行聚类，得到多个聚类中心；基于多个聚类中心与第一特征向量的相似值，生成多个权重；
[0011]基于第一特征向量和第二特征向量，生成用于表征锚图像和正样本之间误差的第一子函数；基于第二特征向量和多个特征向量，结合多个权重生成用于表征锚图像和负样本之间误差的第二子函数；基于第一子函数和第二子函数，生成第一权重损失函数；
[0012]基于第一权重损失函数，训练第一图像编码器和第二图像编码器；基于第二图像编码器，更新第一图像编码器。
[0013]根据本申请的另一方面，提供了一种图像编码器的训练方法，所述方法包括：
[0014]获取第一样本组织图像；
[0015]将第一样本组织图像进行数据增强，得到第二图像；将第二图像输入第二图像编码器，得到第四特征向量；
[0016]将第一样本组织图像进行数据增强，得到第三图像；将第三图像输入第三图像编码器，得到第五特征向量；
[0017]将第四特征向量确定为用于对比学习的对比向量，将第五特征向量确定为用于对比学习的锚向量；
[0018]将不同的第一样本组织图像的多个第四特征向量进行聚类，得到多个第一聚类中心；将多个第一聚类中心中与第五特征向量之间的相似值最大的特征向量，确定为多个第四特征向量中的正样本向量；将第一其余特征向量，确定为多个第四特征向量中的负样本向量，其中，第一其余特征向量指多个第四特征向量中除与第五特征向量之间的相似值最大的特征向量之外的特征向量；
[0019]基于第五特征向量和多个第四特征向量中的正样本向量，生成第五子函数；基于第五特征向量和多个第四特征向量中的负样本向量，生成第六子函数；基于第五子函数和第六子函数，生成第一群组损失函数；
[0020]基于第一群组损失函数，训练第二图像编码器和第三图像编码器；将第三图像编码器确定为最终训练得到的图像编码器。
[0021]根据本申请的另一方面，提供了一种全视野病理切片的搜索方法，所述方法包括：
[0022]获取全视野病理切片，以及将全视野病理切片裁剪为多张组织图像；
[0023]通过图像编码器，生成多张组织图像的多个图像特征向量；
[0024]通过对多个图像特征向量进行聚类，从多张组织图像中确定出多张关键图像；
[0025]基于多张关键图像的图像特征向量，从数据库查询得到多个候选图像包，多个候选图像包与多张关键图像一一对应，任意一个候选图像包容纳有至少一张候选组织图像；
[0026]根据候选图像包的属性筛选多个候选图像包，得到多个目标图像包；
[0027]将多个目标图像包内的多个目标组织图像所属的全视野病理切片，确定为最终的搜索结果。
[0028]根据本申请的另一方面，提供了一种图像编码器的训练装置，所述装置包括：
[0029]获取模块，用于获取第一样本组织图像和多张第二样本组织图像，第二样本组织图像为对比学习中的负样本；
[0030]处理模块，用于将第一样本组织图像进行数据增强，得到第一图像；将第一图像输入第一图像编码器，得到第一特征向量；第一图像为对比学习中的正样本；
[0031]处理模块，还用于将第一样本组织图像进行数据增强，得到第二图像；将第二图像输入第二图像编码器，得到第二特征向量；第二图像为对比学习中的锚图像；
[0032]处理模块，还用于将多张第二样本组织图像输入第一图像编码器，得到多张第二样本组织图像的多个特征向量；将多个特征向量进行聚类，得到多个聚类中心；基于多个聚类中心与第一特征向量的相似值，生成多个权重；
[0033]生成模块，用于基于第一特征向量和第二特征向量，生成用于表征锚图像和正样本之间误差的第一子函数；基于第二特征向量和多个特征向量，结合多个权重生成用于表征锚图像和负样本之间误差的第二子函数；基于第一子函数和第二子函数，生成第一权重损失函数；
[0034]训练模块，用于基于第一权重损失函数，训练第一图像编码器和第二图像编码器；基于第二图像编码器，更新第一图像编码器。
[0035]根据本申请的另一方面，提供了一种图像编码器的训练装置，所述装置包括：
[0036]获取模块，用于获取第一样本组织图像；
[0037]处理模块，用于将第一样本组织图像进行数据增强，得到第二图像；将第二图像输入第二图像编码器，得到第四特征向量；
[0038]处理模块，还用于将第一样本组织图像进行数据增强，得到第三图像；将第三图像输入第三图像编码器，得到第五特征向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像编码器的训练方法，其特征在于，所述方法包括：获取第一样本组织图像和多张第二样本组织图像，所述第二样本组织图像为对比学习中的负样本；将所述第一样本组织图像进行数据增强，得到第一图像；将所述第一图像输入所述第一图像编码器，得到第一特征向量；所述第一图像为所述对比学习中的正样本；将所述第一样本组织图像进行数据增强，得到第二图像；将所述第二图像输入第二图像编码器，得到第二特征向量；所述第二图像为所述对比学习中的锚图像；将所述多张第二样本组织图像输入所述第一图像编码器，得到所述多张第二样本组织图像的多个特征向量；将所述多个特征向量进行聚类，得到多个聚类中心；基于所述多个聚类中心与所述第一特征向量的相似值，生成多个权重；基于所述第一特征向量和所述第二特征向量，生成用于表征所述锚图像和所述正样本之间误差的第一子函数；基于所述第二特征向量和所述多个特征向量，结合所述多个权重生成用于表征所述锚图像和所述负样本之间误差的第二子函数；基于所述第一子函数和所述第二子函数，生成第一权重损失函数；基于所述第一权重损失函数，训练所述第一图像编码器和所述第二图像编码器；基于所述第二图像编码器，更新所述第一图像编码器。2.根据权利要求1所述的方法，其特征在于，所述将所述多个特征向量进行聚类，得到多个聚类中心，包括：在所述第一样本组织图像属于第一训练批次中的第一样本组织图像的情况下，将所述多张第二样本组织图像的多个特征向量进行聚类，得到所述第一训练批次的多个聚类中心；在所述第一样本组织图像属于第n训练批次的第一样本组织图像的情况下，将第n
‑
1训练批次对应的多个聚类中心，更新为第n训练批次对应的多个聚类中心，n为大于1的正整数。3.根据权利要求2所述的方法，其特征在于，所述将第n
‑
1训练批次对应的多个聚类中心，更新为第n训练批次对应的多个聚类中心，包括：针对第n
‑
1训练批次的多个聚类中心中的第j个聚类中心，基于第n训练批次中属于第j类别的第一样本组织图像，更新所述第n
‑
1训练批次的第j个聚类中心，得到所述第n训练批次的第j个聚类中心，j为正整数。4.根据权利要求1至3任一所述的方法，其特征在于，所述权重的大小与所述聚类中心和所述第一特征向量的相似值呈负相关关系；针对所述多个聚类中心中的第j个聚类中心，所述第j个聚类中心所属类别包括的特征向量对应同一所述权重。5.根据权利要求1至3任一所述的方法，其特征在于，所述将所述第二图像输入第二图像编码器，得到第二特征向量，包括：将所述第二图像输入第二图像编码器，得到第一中间特征向量；将所述第一中间特征向量输入第一多层感知机MLP，得到所述第二特征向量。6.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述第二图像编码器，更新所述第一图像编码器，包括：
根据所述第二图像编码器的参数，采用加权方式对所述第一图像编码器的参数进行更新。7.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：将所述第一样本组织图像进行数据增强，得到第三图像；将所述第三图像输入第三图像编码器，得到第三特征向量；所述第三图像为所述对比学习中的锚图像；基于所述第一特征向量和所述第三特征向量，生成用于表征所述锚图像和所述正样本之间误差的第三子函数；基于所述第三特征向量和所述多个特征向量，结合所述多个权重，生成用于表征所述锚图像和所述负样本之间误差的第四子函数；基于所述第三子函数和所述第四子函数，生成第二权重损失函数；基于所述第二权重损失函数，训练所述第一图像编码器和所述第三图像编码器。8.根据权利要求7所述的方法，其特征在于，所述将所述第三图像输入第三图像编码器，得到第三特征向量，包括：将所述第三图像输入第三图像编码器，得到第二中间特征向量；将所述第二中间特征向量输入第二MLP，得到所述第三特征向量。9.根据权利要求7所述的方法，其特征在于，所述基于所述第二图像编码器，更新所述第一图像编码器，包括：根据所述第二图像编码器和所述第三图像编码器之间共享的参数，采用加权方式对所述第一图像编码器的参数进行更新。10.一种全视野病理切片的搜索方法，其特征在于，所述方法由计算机设备执行，所述计算机设备运行有权利要求1至9任一方法训练得到的图像编码器，所述方法包括：获取全视野病理切片，以及将所述全视野病理切片裁剪为多张组织图像；通过所述图像编码器，生成所述多张组织图像的多个图像特征向量；通过对所述多个图像特征向量进行聚类，从所述多张组织图像中确定出多张关键图像；基于所述多张关键图像的图像特征向量，从数据库查询得到多个候选图像包，所述多个候选图像包与所述多张关键图像一一对应，任意一个所述候选图像包容纳有至少一张候选组织图像；根据所述候选图像包的属性筛选所述多个候选图像包，得到多个目标图像包；将所述多个目标图像包内的多个目标组织图像所属的全视野病理切片，确定为最终的搜索结果。11.根据权利要求10所述的方法，其特征在于，所述通过对所述多个图像特征向量进行聚类，从所述多张组织图像中确定出多张关键图像，包括：将所述多张组织图像的多个图像特征向量进行聚类，得到多个第一类簇；将所述多个第一类簇的多个聚类中心分别确定为所述多张关键图像的多个图像特征向量。12.根据权利要求1...

【专利技术属性】
技术研发人员：杨森，项进喜，张军，韩骁，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：