本申请提供了一种基于多任务神经网络模型的膝关节分割方法、装置、电子设备及计算机可读存储介质。该方法，获取第一膝关节图像；对第一膝关节图像进行粗分割，得到第一分割结果；基于第一膝关节图像和第一分割结果，计算对应的膝关节体数据；将膝关节体数据在矢状面方向上进行投影，得到对应的膝关节投影图像；通过检测算法，确定膝关节投影图像中膝关节的位置坐标；基于第一膝关节图像中膝关节的位置坐标，从第一膝关节图像中将位置坐标对应图像分割出来，得到第二膝关节图像；将第二膝关节图像输入预设的多任务神经网络模型，分别输出股骨、胫骨、髌骨和腓骨四个部位的分割结果。该方法能够又快又准地进行膝关节分割。方法能够又快又准地进行膝关节分割。方法能够又快又准地进行膝关节分割。
【技术实现步骤摘要】
基于多任务神经网络模型的膝关节分割方法、装置及设备
[0001]本申请属于深度学习智能识别
，尤其涉及一种基于多任务神经网络模型的膝关节分割方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]传统图像分割算法是基于阈值分割、边缘检测或区域增长来分割医学图像，这类方法分割精度较差，粗略分割目标区域，不能精确分割目标区域边界。
[0003]因此，如何又快又准地进行膝关节分割是本领域技术人员亟需解决的技术问题。
技术实现思路
[0004]本申请实施例提供一种基于多任务神经网络模型的膝关节分割方法、装置、电子设备及计算机可读存储介质，能够又快又准地进行膝关节分割。
[0005]第一方面，本申请实施例提供一种基于多任务神经网络模型的膝关节分割方法，包括：
[0006]获取第一膝关节图像；
[0007]对第一膝关节图像进行粗分割，得到第一分割结果；其中，第一分割结果包括膝关节中股骨、胫骨、髌骨和腓骨四个部位；
[0008]基于第一膝关节图像和第一分割结果，计算对应的膝关节体数据；
[0009]将膝关节体数据在矢状面方向上进行投影，得到对应的膝关节投影图像；
[0010]通过检测算法，确定膝关节投影图像中膝关节的位置坐标；其中，膝关节投影图像中膝关节的位置坐标与第一膝关节图像中膝关节的位置坐标相同；
[0011]基于第一膝关节图像中膝关节的位置坐标，从第一膝关节图像中将位置坐标对应图像分割出来，得到第二膝关节图像；
[0012]将第二膝关节图像输入预设的多任务神经网络模型，分别输出股骨、胫骨、髌骨和腓骨四个部位的分割结果。
[0013]可选的，多任务神经网络模型是基于2.5D
‑
FADNet多任务分割神经网络经过模型训练得到的，2.5D
‑
FADNet多任务分割神经网络包括两个网络分支，每个网络分支包括多层卷积网络、下采样网络和上采样网络，股骨、胫骨、髌骨和腓骨四个部位的分割结果为两个网络分支各自结果的相融输出。
[0014]可选的，在分别输出股骨、胫骨、髌骨和腓骨四个部位的分割结果之后，方法还包括：
[0015]将股骨、胫骨、髌骨和腓骨四个部位的分割结果，替换掉第一分割结果中各自部位的分割结果。
[0016]可选的，在将第二膝关节图像输入预设的多任务神经网络模型之前，方法还包括：
[0017]获取膝关节图像数据集；
[0018]标注膝关节图像数据集中膝关节图像的膝关节区域，并将膝关节区域确定为分割
mask；其中，每个分割mask与膝关节图像一一对应；
[0019]将每个膝关节图像及其对应的分割mask的图像格式均转换为PNG格式；
[0020]将所有转换为PNG格式的膝关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集。
[0021]可选的，在将所有转换为PNG格式的膝关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集之后，方法还包括：
[0022]利用训练集对2.5D
‑
FADNet多任务分割神经网络进行模型训练，并利用验证集和测试集进行验证和测试，得到多任务神经网络模型。
[0023]可选的，利用训练集对2.5D
‑
FADNet多任务分割神经网络进行模型训练，并利用验证集和测试集进行验证和测试，得到多任务神经网络模型，包括：
[0024]在模型训练过程中，设置训练的batch_size为64；
[0025]设置初始化学习率为1e
‑
4，附加学习率衰减策略，每迭代5000次，学习率衰减为上一次学习率的0.9；
[0026]设置优化器为Adam优化器；
[0027]设置损失函数为DICE loss；
[0028]设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到多任务神经网络模型。
[0029]可选的，多层卷积网络使用残差卷积，以减少特征损失；
[0030]其中，残差卷积为由1x1，3x3和1x1卷积核组成的残差单元。
[0031]第二方面，本申请实施例提供了一种基于多任务神经网络模型的膝关节分割装置，包括：
[0032]膝关节图像获取模块，用于获取第一膝关节图像；
[0033]粗分割模块，用于对第一膝关节图像进行粗分割，得到第一分割结果；其中，第一分割结果包括膝关节中股骨、胫骨、髌骨和腓骨四个部位；
[0034]体数据计算模块，用于基于第一膝关节图像和第一分割结果，计算对应的膝关节体数据；
[0035]投影模块，用于将膝关节体数据在矢状面方向上进行投影，得到对应的膝关节投影图像；
[0036]定位模块，用于通过检测算法，确定膝关节投影图像中膝关节的位置坐标；其中，膝关节投影图像中膝关节的位置坐标与第一膝关节图像中膝关节的位置坐标相同；
[0037]细分割模块，用于基于第一膝关节图像中膝关节的位置坐标，从第一膝关节图像中将位置坐标对应图像分割出来，得到第二膝关节图像；
[0038]分割结果输出模块，用于将第二膝关节图像输入预设的多任务神经网络模型，分别输出股骨、胫骨、髌骨和腓骨四个部位的分割结果。
[0039]可选的，多任务神经网络模型是基于2.5D
‑
FADNet多任务分割神经网络经过模型训练得到的，2.5D
‑
FADNet多任务分割神经网络包括两个网络分支，每个网络分支包括多层卷积网络、下采样网络和上采样网络，股骨、胫骨、髌骨和腓骨四个部位的分割结果为两个网络分支各自结果的相融输出。
[0040]可选的，装置还包括：
[0041]替换模块，用于将股骨、胫骨、髌骨和腓骨四个部位的分割结果，替换掉第一分割结果中各自部位的分割结果。
[0042]可选的，在将第二膝关节图像输入预设的多任务神经网络模型之前，装置还包括：
[0043]训练样本数据集获取模块，用于获取膝关节图像数据集；标注膝关节图像数据集中膝关节图像的膝关节区域，并将膝关节区域确定为分割mask；其中，每个分割mask与膝关节图像一一对应；将每个膝关节图像及其对应的分割mask的图像格式均转换为PNG格式；将所有转换为PNG格式的膝关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集。
[0044]可选的，装置还包括：
[0045]模型训练模块，用于利用训练集对2.5D
‑
FADNet多任务分割神经网络进行模型训练，并利用验证集和测试集进行验证和测试，得到多任务神经网络模型。
[0046]可选的，模型训练模块，用于：
[0047]在模型训练过程中，设置训练的batch_size为64；
[0048]设置初始化学习率为1e
‑
4，附加学习率衰减本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多任务神经网络模型的膝关节分割方法，其特征在于，包括：获取第一膝关节图像；对所述第一膝关节图像进行粗分割，得到第一分割结果；其中，所述第一分割结果包括膝关节中股骨、胫骨、髌骨和腓骨四个部位；基于所述第一膝关节图像和所述第一分割结果，计算对应的膝关节体数据；将所述膝关节体数据在矢状面方向上进行投影，得到对应的膝关节投影图像；通过检测算法，确定所述膝关节投影图像中膝关节的位置坐标；其中，所述膝关节投影图像中膝关节的位置坐标与所述第一膝关节图像中膝关节的位置坐标相同；基于所述第一膝关节图像中膝关节的位置坐标，从所述第一膝关节图像中将位置坐标对应图像分割出来，得到第二膝关节图像；将所述第二膝关节图像输入预设的多任务神经网络模型，分别输出所述股骨、胫骨、髌骨和腓骨四个部位的分割结果。2.根据权利要求1所述的基于多任务神经网络模型的膝关节分割方法，其特征在于，所述多任务神经网络模型是基于2.5D
‑
FADNet多任务分割神经网络经过模型训练得到的，所述2.5D
‑
FADNet多任务分割神经网络包括两个网络分支，每个所述网络分支包括多层卷积网络、下采样网络和上采样网络，所述股骨、胫骨、髌骨和腓骨四个部位的分割结果为两个所述网络分支各自结果的相融输出。3.根据权利要求1所述的基于多任务神经网络模型的膝关节分割方法，其特征在于，在所述分别输出所述股骨、胫骨、髌骨和腓骨四个部位的分割结果之后，所述方法还包括：将所述股骨、胫骨、髌骨和腓骨四个部位的分割结果，替换掉所述第一分割结果中各自部位的分割结果。4.根据权利要求2所述的基于多任务神经网络模型的膝关节分割方法，其特征在于，在将所述第二膝关节图像输入预设的多任务神经网络模型之前，所述方法还包括：获取膝关节图像数据集；标注所述膝关节图像数据集中膝关节图像的膝关节区域，并将所述膝关节区域确定为分割mask；其中，每个所述分割mask与所述膝关节图像一一对应；将每个所述膝关节图像及其对应的分割mask的图像格式均转换为PNG格式；将所有转换为PNG格式的膝关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集。5.根据权利要求4所述的基于多任务神经网络模型的膝关节分割方法，其特征在于，在将所有转换为PNG格式的膝关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集之后，所述方法还包括：利用所述训练集对所述2.5D
‑
FADNet多任务分割神经网络进行模型训练，并利用所述验证集...
【专利技术属性】
技术研发人员：张逸凌，刘星宇，
申请(专利权)人：张逸凌，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。