基于查询的对比学习框架的心脏超声图像识别方法技术

本发明专利技术公开了基于查询的对比学习框架的心脏超声图像识别方法，包括以下步骤：建立一个基于查询的视觉表示对比学习框架；在数据集中找到与该图像相同的图像和类似的样本作为正对；训练中，通过减少正对样本之间的距离来进行对比学习；训练后，冻结投影头，并仅使用编码器GLNet和表示对不同的超声心动图进行分类；对同一图像进行数据增强时，使用两个数据增强嵌入作为正对，负样本来自同一批次中的其他图像。本发明专利技术通过查询集构建正样本，在潜在空间中找到相似性的特征向量，具有更好的学习特征表示；将多层CNN和Transformer结合，具有局部感知场，并在远距离建模全局信息。

【技术实现步骤摘要】

本专利技术属于医学图像处理，尤其涉及基于查询的对比学习框架的心脏超声图像识别方法。

技术介绍

1、神经网络在医学图像处理中得到了广泛应用，图像像识别辅助诊断是计算机视觉和医学领域的一个研究热点。超声心动图可以从不同的视角显示心脏和血管的断层结构及其相邻关系。此外，它还可以显示心脏各房室的形态、心脏瓣膜的状态以及每个动脉的位置。超声心动图是诊断心脏病的重要检查方法，对心脏瓣膜病、心肌病、先天性心脏病、冠心病等疾病的诊断具有重要价值。

2、目前，心脏超声图像的识别主要依赖于监督学习方法，但这需要大量手动标注样本，费时费力，且不适用于具有复杂特征的医学领域。大多数基于实例区分的无监督学习方法将同一图像的不同视图视为正样本。但对于对比损失来说，限制了负实例的多样性。更重要的是，不同批次获取的参数可能差别很大，从而产生不一致性。过去的算法倾向于设置较大的批量大小来解决这个问题，但这一方法需要大量的内存。

3、此外，注意力机制已在计算机视觉领域取得巨大成功，为图像处理带来新力。vision transformer(vit)模型具有全局表示性，当本文档来自技高网...

【技术保护点】

1.基于查询的对比学习框架的心脏超声图像识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于查询的对比学习框架的心脏超声图像识别方法，其特征在于，从所述查询集中获得相似样本的公式如下：

3.根据权利要求1所述的基于查询的对比学习框架的心脏超声图像识别方法，其特征在于，所述查询集Q是一个先进先出的队列，每次迭代结束时，训练步骤中的n个嵌入被放置在队列的末尾，而前n个嵌入则被丢弃；具体包括：查询集Q维护一个大队列，当在正样本和负样本之间进行对比学习时，从中取出相应的编码以为第一组图像增强视图提供正样本示例；同时，将最新批次的特征表示编码放入队列Q中，而对...

【技术特征摘要】

1.基于查询的对比学习框架的心脏超声图像识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于查询的对比学习框架的心脏超声图像识别方法，其特征在于，从所述查询集中获得相似样本的公式如下：

3.根据权利要求1所述的基于查询的对比学习框架的心脏超声图像识别方法，其特征在于，所述查询集q是一个先进先出的队列，每次迭代结束时，训练步骤中的n个嵌入被放置在队列的末尾，而前n个嵌入则被丢弃；具体包括：查询集q维护一个大队列，当在正样本和负样本之间进行对比学习时，从中取出相应的编码以为第一组图像增强视图提供正样本示例；同时，将最新批次的特征表示编码放入队列q中，而对应于最旧批次的图像编码则被取出队列。

4.根据权利要求1所述的基于查询的对比学习框架的心脏超声图像识别方法，其特征在于，确保查询集q的大小能以逼近向量空间中整个数据集的嵌入。

5.根据权利要求1所述的基于查询的对比学习框架的心脏超声图像识别方法，其特征在于，图片x首先通过不同的数据增强转换为x1和x2，然后使用glnet和投影头对x1和x2进行编码成表示z1和z2，glnet的编码器和投影头共享参数。

6.根据权利要求1所述的基于查询的对...

【专利技术属性】
技术研发人员：王浩，常瀛修，裘玮晶，
申请(专利权)人：苏州鑫康成医疗科技有限公司，
类型：发明
国别省市：