【技术实现步骤摘要】
本专利技术涉及一种基于文字辅助的半监督3d医学图像分割方法，属于医学图像处理。
技术介绍
1、医学图像分割的目的是将医学图像中某些感兴趣的区域和器官分割出来，并且提取出可以帮助诊断的特征，在定量医学图像分析中起到不可或缺的作用。随着深度学习的发展，医学图像分割领域获得了越来越大的成就。作为语义分割的开山之作，全卷积网络（fcn）虽然打开了自然图像分割的大门，但是在医学图像分割领域表现平平。
2、u-net通过对全卷积网络中skip connection的改进，在医学图像分割中取得了惊人的性能，而后这种优美的包含编码器、瓶颈层、解码器的——“u”形架构及其变体在这一领域实现了令人印象深刻的结果。之后通过对u-net网络骨干、skip connection策略、瓶颈层的特征增强等的修改，自从2015年以来，“u”形结构成为医学图像分割领域的支柱。而后随着transformer的崛起以及视觉语言预训练（vlp）方面取得的进展，vlp迅速的被引进到2d医学图像分析，为医学图像分割开启了新的篇章。虽然目前获得了令人鼓舞的成就，但通过对以往方法的分析总结，它面前面临着几个亟待解决的关键挑战。
3、第一，注释成本高昂。以往的方法依赖于大规模带有手动精确注释的数据集，实现起来费人费力。尤其是3d医学图像包含大量的切片，对于人工注释者来说，需要依次仔细浏览每个切片，这意味着注释者不仅需要有医学专业的背景，而且对图像分割技术有一定的了解，相对于2d图像来说需要更多的时间和劳力。
4、第二，图像文本对齐的数据稀缺。
5、第三，范式有限。现有的用来克服注释成本高昂、数据集相对较小的办法通常是使用弱监督方法和半监督方法。但首先由于弱监督盲目的降低了注释的质量会导致模糊边界问题，而边界是区分目标区域和背景区域最重要的信息之一。而半监督分割通常还是需要5-10个体积图像的完整注释才能取得不错的效果，事实上，哪怕是完整的注释一个体积图像都仍旧是一个比较昂贵的过程。
6、第四，信息丢失。虽然之前的很多工作都取得了很大的进展，但是大部分都集中在2d医学图像，而将同样的方法引入到3d医学图像分析中会导致一个不可避免的问题——空间信息的丢失。这种将3d医学图像分割成一个个单独切片然后对切片进行处理的方法，损害了3d图像的空间连贯性，对最终的结果会造成极大的损失。
技术实现思路
1、本专利技术的目的是提供一种基于文字辅助的“几乎无监督”3d医学图像分割方法，以弥补现有技术的不足。
2、为实现上述专利技术的目的，本专利技术采取的具体技术方案如下：
3、一种基于文字辅助的半监督3d医学图像分割方法，包括如下步骤：
4、s1：收集3d医学图像数据建立数据集，并对图像数据进行预处理；将数据集分为训练集和测试集，所述训练集包括有监督的图像数据和无监督的图像数据；
5、s2：利用大型视觉语言模型clip的文本编码器，对所选数据集的文本描述进行编码从而获得文本特征；
6、s3：构建网络模型，包括三个分支，分别是分割网络，分割网络，分割网络，该分割网络结构均为vnet，结构相同但是参数初始化不同；
7、s4：构造权重矩阵，对于有监督的图像，将其对应的真实标签分割乘上权重矩阵得到稀疏正交注释的标签；
8、s5：将训练集输入所述网络模型后，对于每个分支提取到的图像特征与已经获取的文本特征进行拼接，然后将其作为参数添加在后续操作当中作为指导得到分割结果；
9、s6：构造整个过程中的损失函数，包括利用稀疏正交注释的有监督部分的损失函数，以及无监督图像两两之间的交叉伪监督损失，以及将两者结合起来的总损失函数；
10、s7：利用训练集对所述网络模型进行训练，再使用测试数据对已经训练好的模型进行测试，输出图像分割结果。
11、进一步的，所述s1中，所述预处理包括：处理图像格式，进行图像裁剪，并对图像进行归一化处理；然后构建训练阶段的数据集，包含有监督的部分和无监督的部分，即，其中 = ，其中表示体积图像，是其对应的真实标签，l代表带注释的3d图像数量， =，从l+1到m总共m-l项代表不带注释的3d图片数目。
12、进一步的，所述s2中，使用大型视觉语言模型clip的文本编码器来对文本描述进行特征提取，在整个训练过程中不对其进行微调，不仅可以极大程度上减少训练开销，并且也不会过于降低精度，文本描述只是一句很简单的句子即可；如公式（1）所示:
13、；
14、其中代表提取到的特征向量，代表文本编码器,t代表器官的文本描述,对于每个数据集而言，其中每个图像对应的文本描述都是相同的。
15、进一步的，所述s3中，为了充分利用一副3d图像不同的视角所带来的互补信息的优点，同时克服密集注释所带来的成本高昂且相邻切片间冗余信息过多的缺点，使用三个分割网络，分割网络，分割网络，分割网络构成三分支，均为vnet，初始化参数不同，以及训练过程中每个分支上对于有监督部分的真实标签的标注方式不同。
16、进一步的，所述s4中，对于所构建训练集体积图像，其中的标签，i表示第i幅图像，根据视角的不同可以将其拆分成一系列切片；如下式（2）、（3）、（4）所示：
17、；
18、；
19、；
20、其中a、b、c分别代表不同的视角，m、n、p则分别代表沿着a视角看过去可以将分成m个切片，沿着b视角看过去可以将分成n个切片，沿着c视角看过去可以将分成p个切片。i表示当前是第i个体积图像。对于实现本专利技术中所提到的每个分支选取两个正交切片注释作为监督信号，首先以第一个分支为例，只需构造一个与大小相同的全零矩阵，此时是一个3d矩阵，在第一与第二个维度上设置某一个切片的值为1，如公式（5）、公式（6）所示：
21、；
22、；
23、公式（5）表示沿着b视角，将第k张切片，也即是切片的值设置为1，公式（6）表示沿着a视角，将第j张切片，也即是切片的值设置为1；然后第一个分支的有监督图像的稀疏标签，可通过下式（7）计算得到：
24、；
25、对于第二个分支和第三个分支的稀疏标签同理可得，通过构造全零矩阵和。首先设置，表示沿着a视角，将第j张切片，也即是切片的值设置为1， ，表示沿着c视角，将第q张切片，也即是切片的值设置为1，通过，得到第二个分支的稀疏标签；设置，表示沿着b视角，将第k张切片，也即是切本文档来自技高网...
【技术保护点】
1.一种基于文字辅助的半监督3D医学图像分割方法，其特征在于，包括如下步骤：
2.如权利要求1所述的3D医学图像分割方法，其特征在于，所述S1中，所述预处理包括：处理图像格式，进行图像裁剪，并对图像进行归一化处理；然后构建训练阶段的数据集，包含有监督的部分和无监督的部分，即，其中 =，其中表示体积图像，是其对应的真实标签，L代表带注释的3D图像数量， = ，从L+1到M总共ML项代表不带注释的3D图片数目。
3.如权利要求1所述的3D医学图像分割方法，其特征在于，所述S2中，使用大型视觉语言模型CLIP的文本编码器来对文本描述进行特征提取，如公式（1）所示：
4.如权利要求1所述的3D医学图像分割方法，其特征在于，所述S3中，分割网络，分割网络，分割网络构成三分支，三分支结构均为VNet，初始化参数不同，以及训练过程中每个分支上对于有监督部分的真实标签的标注方式不同。
5.如权利要求1所述的3D医学图像分割方法，其特征在于，所述S4中，对于所构建训练集体积图像，其中的标签，i表示第i幅图像，根据视角不同将其拆分成一系列切片；如下式（
6.如权利要求1所述的3D医学图像分割方法，其特征在于，所述S5中，输入图像首先经过分割网络编码器得到图像特征，如公式（8）所示：
7.如权利要求1所述的3D医学图像分割方法，其特征在于，所述S6具体如下：
...【技术特征摘要】
1.一种基于文字辅助的半监督3d医学图像分割方法，其特征在于，包括如下步骤：
2.如权利要求1所述的3d医学图像分割方法，其特征在于，所述s1中，所述预处理包括：处理图像格式，进行图像裁剪，并对图像进行归一化处理；然后构建训练阶段的数据集，包含有监督的部分和无监督的部分，即，其中 =，其中表示体积图像，是其对应的真实标签，l代表带注释的3d图像数量， = ，从l+1到m总共ml项代表不带注释的3d图片数目。
3.如权利要求1所述的3d医学图像分割方法，其特征在于，所述s2中，使用大型视觉语言模型clip的文本编码器来对文本描述进行特征提取，如公式（1）所示：
4.如权利要求1所述的3...
【专利技术属性】
技术研发人员：蔡青，鄢柯，曹子彦，冯春梅，刘治，董军宇，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。