本申请提供了一种基于CNN与Transformer的髋关节分割方法、装置、电子设备及计算机可读存储介质，能够更加准确地进行髋关节的分割。该基于CNN与Transformer的髋关节分割方法，包括：在获取髋关节图像后，基于髋关节图像获取目标髋关节图像；利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；对Transformer编码后的特征图进行解码，得到解码后的特征图；利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；基于目标特征图，获取髋关节分割结果。根据本申请实施例，能够更加准确地进行髋关节的分割。能够更加准确地进行髋关节的分割。能够更加准确地进行髋关节的分割。
【技术实现步骤摘要】
基于CNN与Transformer的髋关节分割方法及装置
[0001]本申请属于医学图像处理领域，尤其涉及一种基于CNN与Transformer的髋关节分割方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]随着髋关节手术和AI技术的发展，基于深度学习的髋关节分割算法在医学领域开始崭露头角。但是，由于髋关节病变的多样性，如骨折、关节炎等，造成髋关节分割的准确性不高，尤其是在髋关节细节特征，分割偏差较大。
[0003]因此，如何更加准确地进行髋关节的分割是本领域技术人员亟需解决的技术问题。
技术实现思路
[0004]本申请实施例提供一种基于CNN与Transformer的髋关节分割方法、装置、电子设备及计算机可读存储介质，能够更加准确地进行髋关节的分割。
[0005]第一方面，本申请实施例提供一种基于CNN与Transformer的髋关节分割方法，包括：
[0006]在获取髋关节图像后，基于髋关节图像获取目标髋关节图像；
[0007]利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；
[0008]利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；
[0009]对Transformer编码后的特征图进行解码，得到解码后的特征图；
[0010]利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；
[0011]基于目标特征图，获取髋关节分割结果。
[0012]可选的，在获取髋关节图像后，基于髋关节图像获取目标髋关节图像，包括：
[0013]对髋关节图像进行下采样，得到下采样后的髋关节图像；
[0014]将下采样后的髋关节图像，确定为目标髋关节图像。
[0015]可选的，利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图，包括：
[0016]利用CNN网络对目标髋关节图像进行多尺度编码，得到第一特征图；
[0017]利用CNN网络对第一特征图进行多尺度编码，得到第二特征图；
[0018]利用CNN网络对第二特征图进行多尺度编码，得到第三特征图。
[0019]可选的，利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图，包括：
[0020]利用Transformer网络，对第三特征图进行多尺度编码，得到第四特征图。
[0021]可选的，对Transformer编码后的特征图进行解码，得到解码后的特征图，包括：
[0022]对第四特征图进行解码，得到第五特征图。
[0023]可选的，利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图，包括：
[0024]对第五特征图进行上采样，得到第六特征图；
[0025]执行Concat操作，将第四特征图与第六特征图进行融合，得到第七特征图；
[0026]利用Attention Gate网络，将第七特征图与第三特征图进行融合，得到第八特征图；
[0027]对第七特征图进行上采样，得到第九特征图；
[0028]执行Concat操作，将第八特征图和第九特征图进行融合，得到第十特征图；
[0029]利用Attention Gate网络，将第十特征图与第二特征图进行融合，得到第十一特征图；
[0030]对第十特征图进行上采样，得到第十二特征图；
[0031]执行Concat操作，将第十一特征图和第十二特征图进行融合，得到第十三特征图；
[0032]利用Attention Gate网络，将第十三特征图与第一特征图进行融合，得到第十四特征图；
[0033]对第十三特征图进行上采样，得到第十五特征图；
[0034]执行Concat操作，将第十四特征图和第十五特征图进行融合，得到第十六特征图；
[0035]对第十六特征图进行Conv3x3+BN+Relu操作，得到目标特征图。
[0036]可选的，对第四特征图进行解码，得到第五特征图，包括：
[0037]针对第四特征图，通过Width与Height两个维度分别进行多头注意力机制的Query与Key运算，分别得到第一注意力参数和第二注意力参数；
[0038]将第一注意力参数、第二注意力参数与第四特征图进行Value计算，并进行Conv1x1+BN+Relu操作，得到第五特征图。
[0039]第二方面，本申请实施例提供了一种基于CNN与Transformer的髋关节分割装置，包括：
[0040]髋关节图像获取模块，用于在获取髋关节图像后，基于髋关节图像获取目标髋关节图像；
[0041]第一编码模块，用于利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；
[0042]第二编码模块，用于利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；
[0043]解码模块，用于对Transformer编码后的特征图进行解码，得到解码后的特征图；
[0044]融合模块，用于利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；
[0045]髋关节分割结果获取模块，用于基于目标特征图，获取髋关节分割结果。
[0046]可选的，髋关节图像获取模块，用于：
[0047]对髋关节图像进行下采样，得到下采样后的髋关节图像；
[0048]将下采样后的髋关节图像，确定为目标髋关节图像。
[0049]可选的，第一编码模块，用于：
[0050]利用CNN网络对目标髋关节图像进行多尺度编码，得到第一特征图；
[0051]利用CNN网络对第一特征图进行多尺度编码，得到第二特征图；
[0052]利用CNN网络对第二特征图进行多尺度编码，得到第三特征图。
[0053]可选的，第二编码模块，用于：
[0054]利用Transformer网络，对第三特征图进行多尺度编码，得到第四特征图。
[0055]可选的，解码模块，用于：
[0056]对第四特征图进行解码，得到第五特征图。
[0057]可选的，融合模块，用于：
[0058]对第五特征图进行上采样，得到第六特征图；
[0059]执行Concat操作，将第四特征图与第六特征图进行融合，得到第七特征图；
[0060]利用Attention Gate网络，将第七特征图与第三特征图进行融合，得到第八特征图；
[0061]对第七特征图进行上采样，得到第九特征图；
[0062]执行Con本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于CNN与Transformer的髋关节分割方法，其特征在于，包括：在获取髋关节图像后，基于所述髋关节图像获取目标髋关节图像；利用CNN网络对所述目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；利用Transformer网络对所述CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；对所述Transformer编码后的特征图进行解码，得到解码后的特征图；利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；基于所述目标特征图，获取髋关节分割结果。2.根据权利要求1所述的基于CNN与Transformer的髋关节分割方法，其特征在于，所述在获取髋关节图像后，基于所述髋关节图像获取目标髋关节图像，包括：对所述髋关节图像进行下采样，得到下采样后的髋关节图像；将所述下采样后的髋关节图像，确定为所述目标髋关节图像。3.根据权利要求1所述的基于CNN与Transformer的髋关节分割方法，其特征在于，所述利用CNN网络对所述目标髋关节图像进行多尺度编码，得到CNN编码后的特征图，包括：利用所述CNN网络对所述目标髋关节图像进行多尺度编码，得到第一特征图；利用所述CNN网络对所述第一特征图进行多尺度编码，得到第二特征图；利用所述CNN网络对所述第二特征图进行多尺度编码，得到第三特征图。4.根据权利要求3所述的基于CNN与Transformer的髋关节分割方法，其特征在于，所述利用Transformer网络对所述CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图，包括：利用所述Transformer网络，对所述第三特征图进行多尺度编码，得到第四特征图。5.根据权利要求4所述的基于CNN与Transformer的髋关节分割方法，其特征在于，所述对所述Transformer编码后的特征图进行解码，得到解码后的特征图，包括：对所述第四特征图进行解码，得到第五特征图。6.根据权利要求5所述的基于CNN与Transformer的髋关节分割方法，其特征在于，所述利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图，包括：对所述第五特征图进行上采样，得到第六特征图；执行所述Concat操作，将所述第四特征图与所述第六特征图进行融合，得到第七特征图；利用所述Attention Gate网络，将所述第七特征图与所述第三特征图进行融合，得到第八特征图；对所述第七特征图进行上采样，得到第九特征图；执行所述Concat...
【专利技术属性】
技术研发人员：张逸凌，刘星宇，
申请(专利权)人：张逸凌，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。