【技术实现步骤摘要】
本专利技术涉及医疗数据分析，更具体地说，本专利技术涉及基于语言提示的心脏脂肪分割方法。
技术介绍
1、心脏脂肪包含心外膜脂肪组织(epicardialadiposetissue，eat)和心包脂肪组织(pericardialadiposetissue，pat)。心包膜是心脏周围包裹着心脏的保护层，它由位于内层的浆膜心包和位于外层的纤维心包组成，其中内层的浆膜心包又可以分为脏层和壁层；eat是位于心包膜内脏层周围的脂肪组织；pat是位于壁层周围区域的脂肪组织。心脏脂肪的大小和形状和多种心血管疾病息息相关。而心血管疾病的死亡人数占每年死亡人数的1/3，因此心血管疾病的临床研究有着重要的社会价值。对于eat来说，它比pat更靠近心脏，有证据表明它在导致冠状动脉粥样硬化和心肌病中起直接作用。它的厚度已被证明与代谢综合征和冠状动脉疾病相关，与冠状动脉钙化的进展有关。它的体积和密度与无症状受试者的主要不良心脏事件有关。eat量也被认为是心血管疾病的良好标志。此外，eat在内脏肥胖、心脏形态、肝酶、胰岛素抵抗、空腹血糖中发挥作用，是一个准确的治疗目标。对于pat来说，其体积与心房颤动相关。有证据表明，用于量化eat和pat的计算机辅助方法，尤其是在大型数据集上，可用于预测主要不良心血管事件，这对心脂肪的识别对相关疾病的诊断和治疗有非常重要的临床意义，然而心脂肪分割有着许多难点。如数据少，心脏解剖结构复杂，脂肪形状差异很大，分布不均匀，且心外膜和心包脂肪组织具有相似的亮度强度很难区分，而心包通常太薄而无法在ct或mri图像中完全看到，和心脏各个
2、传统的心脏影像分割一般需要很多专业的领域知识和人工干预。并且由于分割对象的不同，采取不同的方法，甚至要多种方法结合才能实现。这些方法总体分为基于像素聚类，基于图论方法，和基于深度语义三大类。其中，像素聚类一般方法有阈值(基于图像亮度等单一数值)，聚类(根据提取的特征相似性归类到预定义好的类别，如k-means，谱聚类，meanshift，slic等)，直方图(基于统计方法)，边缘检测(利用领域先验知识)等。基于图论的分割代表作有normalizedcut、graphcut和grabcut等。深度语义分割为这些年和深度学习一起发展出的各种算法。从最开始的fcn、deeplab和pspnet到目前流行的unet、segnet和resunet。这几年随着transformer以及大模型的出现，transformer也越来越多地用于复杂的分割；心脂肪分割是图像分割的细分领域。心脏解剖学结构复杂，且心脂肪任务相似的有心肌分割，全心脏亚结构分割。大部分心脂肪分割都是基于ct图像，从mri中分割比从ct中分割更困难，因为心包通常由于部分体积效应而变得模糊。绝大多数现有的eat和pat分割方法都侧重于从ct量化eat。
3、现有技术的缺陷和不足：
4、传统方法中适合心脂肪分割的主要有阈值化分割，区域填充算法，自适应轮廓分割，基于图谱的方法(该方法采用人工预标注好的图册，结合配准技术，把该图册和待分割的图像做配准，就可以得到分割的结果)。其结合深度学习的配准可以实现较快速的分割。但是，由于脂肪的复杂性，图册的数据分布和真实患者的数据可能差异巨大，此方法逐步被其他分割方式取代。还有一种是用心包来辅助心脂肪分割。心包是一个光滑很薄几乎椭圆的轮廓，一旦心包被识别出来，就可以方便地限定心脂肪的范围。这种方法的挑战在于心包很薄，通常小于2毫米，图像中不容易识别。在心脂肪分割中，使用最多的是unet之类的框架，并且使用数据增强来人为地增加数据量。值得注意的是，由于心脂肪和背景占比严重不平衡，即心脂肪的像素和背景类像素的数量相比要少很多，这种不平衡会在cnn训练时会引起问题，近期有些工作使用focusloss来改善该问题，但是这些问题在心脏脂肪这类课题下表现仍然不尽如人意。
5、另外，由于心脏的cmri扫描是多层扫描，层的间距很大，层间的图像结构变化比较大(各向异性)，对于各向异性的数据的分割任务，目前大多采用2.5du-net来减少额外的计算成本。但对于本任务来说，2.5du-net的效果并不理想。归其原因除了层间差异太大，还有就是标注太少，无法真正有效地让模型学习到层间的关联信息。由于心脂肪形状不确定，和脂肪相邻的心包积液形状也不确定，以及心包膜这几个组织在核磁共振的图像上亮度非常相似。如果没有先验的约束，比如基于解剖学的先验，基于几何形状的先验约束或者基于拓扑学的约束等，很难进行有效的区分这些结构。
6、再次是目前该领域的医学数据非常稀有，市面上还找不出任何公开的mri心包脂肪分割数据集。心脏其他结果数据的数据集也较少。这就使得现有的技术很难从这么小的数据集上得到一个满意的效果。如果使用其他不同的数据集，那么除了数据集模态格式等不一样外，可能连你需要的label也没有，如目前就找不到任何公开的心脏脂肪的公开数据集。
7、最后，现有模型对于各种混合数据的训练也缺乏支持，如标注缺失，标注类别不可变。传统的分类/分割需要提前固定好类别数量，但是对于我们不断扩充的数据来说，类别是不断增加的。另外，类别之间也有些信息使用传统的方式很难表达出来，如心肌环和心肌环上的疤痕，后者显然是前者的一个子集，再比如“心室/左心室/右心室”，前者显然包含了后面两个标签。另外传统模型需要训练数据包含完整的全label(即不能出现label缺失)，在不同数据集之间要求有全部的label是不可能的，往往每个数据集只有部分的label，数据集之间的label不一样。为了应对以上问题，我们提出使用语言大模型来对应于各任务进行编码，而是通过把各label转换为文字描述，然后利用已有的语言大模型去提取使用文字描述的分割意图(text prompt)的特征，并转换为后续模块能理解的任务提示向量(prompte mbedding)，结合之前预训练模型的特征提取，分别得到了图像的特征(imageembedding)和文字的特征(prompt)，再进入分割网络得到分割结果，从而解决了以上问题。由于大语言模型能捕捉到输入文字间的相关特征，因此对于我们要分割的内容提示有更强的表达能力。另外，在分割网络中，我们每个prompt只对应一个结果，这样就间接解决了有些数据的label不全的问题。实验证明这种方式更有效果。具体训练中，每次分割的任务是以文字的形式描述的，每个数据集或多或少有不同的任务，这些任务间有可能是重复的，文字描述可以很好地表达这些信息和分割意图。比如“请分割左心室”；“请分割左心室以及左心室疤痕”；“请分割左心室里面的疤痕”；“请分割左心室和右心室”等。另外我们还设计了多个模型训练任务，解决了一维模型往往只利用其中标注的问题，最大化利用元数据集的数据信息。
8、鉴于此，本专利技术提供基于语言提示的心脏脂肪分割方法。
技术实现思路
1、为了克服现有技术中的问题本文档来自技高网...
【技术保护点】
1.基于语言提示的心脏脂肪分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于语言提示的心脏脂肪分割方法，其特征在于，所述视觉模型的应用逻辑为：
3.根据权利要求1所述的基于语言提示的心脏脂肪分割方法，其特征在于，所述Embedding序列的获取逻辑为：
4.根据权利要求1所述的基于语言提示的心脏脂肪分割方法，其特征在于，通过自注意力机制把Embedding映射为对应特征的过程如下。首先使用一个线性映射模块，把每个Embedding都映射为Q、K、V三组向量，其中Q相当于眼睛用于查找，K相当于当前的Embedding的表示，V为当前对应的特征。
5.根据权利要求4所述的基于语言提示的心脏脂肪分割方法，其特征在于，使用向量Q去和所有Embedding的向量K进行距离计算，根据距离计算出权重并把这些特征(V)加权起来，得到了当前Embedding转换后的特征编码。
6.根据权利要求1所述的基于语言提示的心脏脂肪分割方法，其特征在于，所述语言模型的应用逻辑为：
7.根据权利要求1所述的基于语言提示的心
8.根据权利要求1所述的基于语言提示的心脏脂肪分割方法，基于语言提示的心脏脂肪分割方法的模型训练过程，其特征在于，包括以下步骤：
9.一种电子设备，其特征在于，包括：
10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-7中任一所述的基于语言提示的心脏脂肪分割方法。
...【技术特征摘要】
1.基于语言提示的心脏脂肪分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于语言提示的心脏脂肪分割方法，其特征在于，所述视觉模型的应用逻辑为：
3.根据权利要求1所述的基于语言提示的心脏脂肪分割方法，其特征在于，所述embedding序列的获取逻辑为：
4.根据权利要求1所述的基于语言提示的心脏脂肪分割方法，其特征在于，通过自注意力机制把embedding映射为对应特征的过程如下。首先使用一个线性映射模块，把每个embedding都映射为q、k、v三组向量，其中q相当于眼睛用于查找，k相当于当前的embedding的表示，v为当前对应的特征。
5.根据权利要求4所述的基于语言提示的心脏脂肪分割方法，其特征在于，使用向量q去和所有e...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。