【技术实现步骤摘要】
医学图像视觉模型训练方法和装置、电子设备和存储介质
[0001]本申请属于计算机数据处理
，具体涉及一种医学图像视觉模型训练方法、装置、电子设备和存储介质。
技术介绍
[0002]在基于医学图像的计算机视觉应用（如医学图像分类、病灶检测与识别、病灶分割等）中，训练合适的视觉模型通常需要大量的标签数据，以获得更有效的特征表达。但是，大规模医学图像数据的标注既耗时，且需要具有专业医学知识的人员参与，成本较高。
[0003]公开于该
技术介绍
部分的信息仅仅旨在增加对本申请的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
[0004]本申请的目的在于提供一种医学图像视觉模型训练方法，其用于解决现有技术中训练适用于医学图像的视觉模型需要大量标签数据的问题。
[0005]为实现上述目的，本申请提供了一种医学图像视觉模型训练方法，所述方法包括：对第一分支网络和第二分支网络执行多轮训练，直至满足训练目标，其中，所述第一分支网络包括前后连接的编码器、注意力模块以及预测头；以及，将训练完成的第一分支网络中的编码器确定为所述医学图像视觉模型；其中，对所述第一分支网络和第二分支网络执行多轮训练包括：获取三维医学图像，其中，所述三维医学图像包括M个图像序列；对所述M个图像序列分别进行多视角投影和随机裁剪，以构建M个序列的多视角图像阵列；从第i个序列的多视角图像阵列中选取2N个图像作为正样本，以及从剩余序列的多视角图像阵列中选取2（K>‑
N）个图像作为负样本，以构建正负样本集；从所述正负样本集中随机选取K个图像输入所述第一分支网络以获得K个第一特征向量，以及将所述正负样本集中的剩余K个图像输入所述第二分支网络以获得K个第二特征向量；基于损失函数以及所述K个第一特征向量和K个第二特征向量的相似度，调整所述第一分支网络和第二分支网络的参数。
[0006]一实施例中，对所述M个图像序列分别进行多视角投影，具体包括：分别沿图像序列的高度方向和宽度方向计算其每行的预定体素值，以获得对应的冠状位体素矩阵和矢状位体素矩阵；基于所述冠状位体素矩阵获得所述图像序列的二维冠状位图像，以及基于所述矢状位体素矩阵获得所述图像序列的二维矢状位图像；其中，所述预定体素值包括最大强度投影体素值、最小强度投影体素值、均值投影体素值以及中值投影体素值中的至少一个。
[0007]一实施例中，构建M个序列的多视角图像阵列，具体包括：将所述M个图像序列中的各图像切片以及对应的二维冠状位图像和二维矢状位图像分别缩放至第一预定尺寸，并随机裁剪为第二预定尺寸，以构建所述M个序列的多视角图像阵列；其中，所述多视角图像阵列中各图像序列的图像切片、二维冠状位图像以及二维矢状位图像添加有对应所属图像序列的序列标签。
[0008]一实施例中，所述第二分支网络包括与所述第一分支网络相同的编码器，所述编码器包括混合膨胀卷积层和连接在所述混合膨胀卷积层之后的批归一化层、Mish激活函数层以及特征丢弃Dropout层。
[0009]一实施例中，所述混合膨胀卷积层的膨胀率为锯齿循环结构；和/或，所述编码器中不包括池化层。
[0010]一实施例中，所述注意力模块包括空间注意力子模块和通道注意力子模块。
[0011]一实施例中，所述预测头包括前后连接的第一全连接层、批归一化层、Mish激活函数层以及第二全连接层。
[0012]一实施例中，所述医学图像视觉模型可用于医学图像分类、医学图像检测和识别、以及医学图像图像分割。
[0013]本申请还提供一种医学图像视觉模型训练装置，所述医学图像视觉模型训练装置包括：训练模块，用于对第一分支网络和第二分支网络执行多轮训练，直至满足训练目标，其中，所述第一分支网络包括前后连接的编码器、注意力模块以及预测头；以及，确定模块，用于将训练完成的第一分支网络中的编码器确定为所述医学图像视觉模型；其中，所述训练模块包括：获取模块，用于获取三维医学图像，其中，所述三维医学图像包括M个图像序列；图像阵列构建模块，用于对所述M个图像序列分别进行多视角投影和随机裁剪，以构建M个序列的多视角图像阵列；样本集构建模块，用于从第i个序列的多视角图像阵列中选取2N个图像作为正样本，以及从剩余序列的多视角图像阵列中选取2（K
‑
N）个图像作为负样本，以构建正负样本集；输入模块，用于从所述正负样本集中随机选取K个图像输入所述第一分支网络以获得K个第一特征向量，以及将所述正负样本集中的剩余K个图像输入所述第二分支网络以获得K个第二特征向量；参数调整模块，用于基于损失函数以及所述K个第一特征向量和K个第二特征向量的相似度，调整所述第一分支网络和第二分支网络的参数。
[0014]本申请还提供一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的医学图像视觉模型训练方法。
[0015]本申请还提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行
时使得所述机器执行如上所述的医学图像视觉模型的训练方法。
[0016]与现有技术相比，根据本申请的医学图像视觉模型训练方法，在利用原始医学图像序列进行数据扩增时，摒弃了自然场景图像中常用的颜色增广、噪声增广等方式，以在多视角上多种投影的方式的进行数据增广，构建了符合医学图像无监督学习的正负样本集。
[0017]在另一个方面，针对医学图像颜色信息较稀疏、局部特征相似性较高的特点，对第一分支网络、第二分支网络的架构，以及其中编码器的结构进行了针对性设计，包括：在编码器中舍弃了池化层，使用混合膨胀卷积实现下采样，但同时损失更少的特征信息；编码器提取的特征信息经由注意力模块得到不同类型的注意力特征并融合，可以捕捉空间和通道维度中的全局特征依赖关系；以及增设的预测头等。
附图说明
[0018]图1是本申请医学图像视觉模型训练方法应用的场景示意图；图2是根据本申请一实施例医学图像视觉模型训练方法的流程图；图3是根据本申请一实施例医学图像视觉模型训练方法中，模型训练的系统架构图；图4是根据本申请一实施例医学图像视觉模型训练方法中，膨胀卷积的感受野示意图；图5是根据本申请一实施例医学图像视觉模型训练方法中，以3*3卷积核依次进行膨胀率为[5,2,1]的混合膨胀卷积后，信息的采集示意图；图6是根据本申请一实施例医学图像视觉模型训练方法中，预测头的架构图；图7是根据本申请一实施例医学图像视觉模型训练方法中，多视角图像阵列中图像切片、二维冠状位图像和二维矢状位图像的示意图；图8根据本申请一实施例医学图像视觉模型训练装置的模块图；图9是根据本申请一实施方式电子设备的硬件结构图。
具体实施方式
[0019]以下将结合附图所示的各实施方式对本申请进行详细描述。但该等实施方式并不限制本申请，本领域的普通技术人员根据该等实施方式所做出的结构、方法、或功能上的变换均包含本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种医学图像视觉模型训练方法，其特征在于，所述方法包括：对第一分支网络和第二分支网络执行多轮训练，直至满足训练目标，其中，所述第一分支网络包括前后连接的编码器、注意力模块以及预测头；以及，将训练完成的第一分支网络中的编码器确定为所述医学图像视觉模型；其中，对所述第一分支网络和第二分支网络执行多轮训练包括：获取三维医学图像，其中，所述三维医学图像包括M个图像序列；对所述M个图像序列分别进行多视角投影和随机裁剪，以构建M个序列的多视角图像阵列；从第i个序列的多视角图像阵列中选取2N个图像作为正样本，以及从剩余序列的多视角图像阵列中选取2（K
‑
N）个图像作为负样本，以构建正负样本集；从所述正负样本集中随机选取K个图像输入所述第一分支网络以获得K个第一特征向量，以及将所述正负样本集中的剩余K个图像输入所述第二分支网络以获得K个第二特征向量；基于损失函数以及所述K个第一特征向量和K个第二特征向量的相似度，调整所述第一分支网络和第二分支网络的参数。2.根据权利要求1所述的医学图像视觉模型训练方法，其特征在于，对所述M个图像序列分别进行多视角投影，具体包括：分别沿图像序列的高度方向和宽度方向计算其每行的预定体素值，以获得对应的冠状位体素矩阵和矢状位体素矩阵；基于所述冠状位体素矩阵获得所述图像序列的二维冠状位图像，以及基于所述矢状位体素矩阵获得所述图像序列的二维矢状位图像；其中，所述预定体素值包括最大强度投影体素值、最小强度投影体素值、均值投影体素值以及中值投影体素值中的至少一个。3.根据权利要求2所述的医学图像视觉模型训练方法，其特征在于，构建M个序列的多视角图像阵列，具体包括：将所述M个图像序列中的各图像切片以及对应的二维冠状位图像和二维矢状位图像分别缩放至第一预定尺寸，并随机裁剪为第二预定尺寸，以构建所述M个序列的多视角图像阵列；其中，所述多视角图像阵列中各图像序列的图像切片、二维冠状位图像以及二维矢状位图像添加有对应所属图像序列的序列标签。4.根据权利要求1所述的医学图像视觉模型训练方法，其特征在于，所述第二分支网络包括与所述第一分支网络相同的编码器，所述编码器包括混合膨胀卷积层和连接在所述混合膨胀卷积层之后的批归一化层、Mish激活函数层以及特征丢...
【专利技术属性】
技术研发人员：张俊杰，霍志敏，夏小磊，崔亚轩，
申请(专利权)人：浙江太美医疗科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。