图像处理方法、手术导航方法、设备和介质技术

本发明专利技术提供了一种图像处理方法、手术导航方法、电子设备和存储介质，图像处理方法包括：将所获取的待处理图像输入至预先训练好的神经网络模型中，以获取初始目标对象分割图像和至少一目标标志点热力图像；对初始目标对象分割图像进行去噪处理，以获取目标对象分割图像；根据目标标志点热力图像，获取目标标志点的位置信息。手术导航方法采用上文所述的图像处理方法对所获取的骨骼图像进行处理，以获取骨骼分割图像和解剖标志点的位置信息。本发明专利技术通过一个神经网络模型可以同时进行目标对象的分割与目标标志点的定位这两个任务流程，从而可以大大提高图像处理的效率，有效缩短术前规划的工作流程。规划的工作流程。规划的工作流程。

【技术实现步骤摘要】
图像处理方法、手术导航方法、设备和介质


[0001]本专利技术涉及图像处理
，特别涉及一种图像处理方法、手术导航方法、电子设备和存储介质。

技术介绍

[0002]膝关节骨性关节炎是临床常见的一种骨科疾病，临床主要表现为膝关节肿痛、肿胀、僵硬等，该病诱发的因素较多，患者若不能得到及时有效的诊治，容易导致肌肉萎缩、膝关节畸形等一系列并发症，严重影响患者的身心健康及生活质量。全膝关节置换手术(total knee arthroplasty,TKA)目前是治疗晚期膝关节骨关节炎最有效的手段，可以缓解患者膝关节疼痛、恢复膝关节活动度，在极大程度上改善患者术后生活质量。
[0003]关节置换手术在进行术前规划时需要进行以下两个图像处理步骤：1、关节骨分割重建；2、解剖标志点定位。
[0004]针对以上两个图像处理步骤，现有的处理方式是将其分别设置为两个单独的任务工作模块进行处理，每个任务工作模块都设计一个算法或者网络模型，分别依次执行以上两个任务。以上两个单独任务的执行方法大致可分为以下两类：
[0005]1、传统图像处理方式：
[0006]采用传统的图像处理方法，如分割任务采用Grow
‑
Cut方法，此方法需要用户在原始CT图像上进行前景和背景的标注作为算法的输入，执行得到分割掩膜结果。解剖标志点定位任务采用模板匹配或手动定位的方法，得到解剖标志点坐标。
[0007]2、深度学习处理方式：
[0008]采用深度学习的图像处理方法，例如采用神经网络模型训练的方式分别训练分割任务网络模型和解剖标志点定位任务网络模型。分割任务执行时，调用分割网络预训练模型进行处理得到分割掩膜。解剖标志点定位任务执行时，调用解剖标志点定位网络预训练模型进行处理得到解剖标志点坐标。
[0009]然而传统图像处理方式的算法效率低，现有的深度学习处理方式需要训练多个网络模型并多步调用网络模型才能得到目标结果，成本较高。
[0010]需要说明的是，公开于该专利技术
技术介绍
部分的信息仅仅旨在加深对本专利技术一般
技术介绍
的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

[0011]本专利技术的目的在于提供一种图像处理方法、手术导航方法、电子设备和存储介质，可以实现端到端的多任务图像处理方法，有效提高图像处理的效率。
[0012]为达到上述目的，本专利技术提供一种图像处理方法，包括：
[0013]将所获取的待处理图像输入至预先训练好的神经网络模型中，以获取初始目标对象分割图像和至少一目标标志点热力图像；
[0014]对所述初始目标对象分割图像进行去噪处理，以获取目标对象分割图像；
[0015]根据所述目标标志点热力图像，获取目标标志点的位置信息。
[0016]可选的，在将所获取的待处理图像输入至预先训练好的神经网络模型之前，所述图像处理方法还包括：
[0017]对所获取的待处理图像进行调窗操作，以将所述待处理图像中的各个像素点的像素值调整至预设范围；
[0018]对调窗操作后的所述待处理图像中的各个像素点的像素值进行归一化操作，以将所述待处理图像中的各个像素点的像素值调整至0
‑
1。
[0019]可选的，在对所获取的待处理图像进行调窗操作之前，所述图像处理方法还包括：
[0020]将所述待处理图像的尺寸调整至预设尺寸。
[0021]可选的，所述对所述初始目标对象分割图像进行去噪处理，以获取目标对象分割图像，包括：
[0022]对所述初始目标对象分割图像进行孔洞填充，以获取第一目标对象分割图像；
[0023]对所述第一目标对象分割图像进行连通域分析，以提取出最大的连通域；
[0024]将最大的连通域作为目标对象所在区域，以获取目标对象分割图像。
[0025]可选的，所述根据所述目标标志点热力图像，获取目标标志点的位置信息，包括：
[0026]针对每一目标标志点热力图像，将该目标标志点热力图像中的像素值最大的像素点的位置信息作为对应的目标标志点的位置信息。
[0027]可选的，所述神经网络模型包括特征提取网络、分割网络和目标标志点定位网络；
[0028]所述特征提取网络用于对预处理后的所述待处理图像进行目标对象特征的提取，以获取目标对象特征的提取结果；
[0029]所述分割网络用于根据所述目标对象特征的提取结果进行目标对象的分割，以获取初始目标对象分割图像；
[0030]所述目标标志点定位网络用于根据所述目标对象特征的提取结果进行目标标志点的定位，以获取目标标志点热力图像。
[0031]可选的，所述特征提取网络包括输入层、多个级联的编码器和瓶颈器，其中最后一级所述编码器的输出为所述瓶颈器的输入；
[0032]所述编码器包括第一卷积层、第一特征重标定模块、最大池化层和第一残差模块，所述第一卷积层用于对其输入依次进行卷积操作、归一化操作、Relu激活操作和随机失活操作，所述第一特征重标定模块用于对最后一层所述第一卷积层的输出进行特征重标定，所述第一残差模块用于将所述编码器的输入和所述第一特征重标定模块的输出进行相加，相加的结果为所述最大池化层的输入，所述最大池化层用于对其输入进行池化操作，池化的结果为所述编码器的输出；
[0033]所述瓶颈器包括第二卷积层、第二特征重标定模块和第二残差模块，所述第二卷积层用于对其输入依次进行卷积操作、归一化操作、Relu激活操作和随机失活操作，所述第二特征重标定模块用于对最后一层所述第二卷积层的输出进行特征重标定，所述第二残差模块用于将所述瓶颈器的输入和所述第二特征重标定模块的输出进行相加，相加的结果为所述分割网络和所述目标标志点定位网络的输入。
[0034]可选的，所述分割网络和所述目标标志点定位网络均包括多个级联的解码器、第
三卷积层和输出层，所述分割网络中的解码器和所述目标标志点定位网络中的解码器均与所述特征提取网络中的编码器一一对应，且所述分割网络中的输出层用于输出所述初始目标对象分割图像，所述目标标志点定位网络中的输出层用于输出所述目标标志点热力图像；
[0035]所述解码器包括反卷积层、合并层、第四卷积层、第三特征重标定模块和第三残差模块，所述反卷积层用于对其输入进行反卷积操作，所述合并层用于将所述反卷积层的输出与所述特征提取网络中的相应的所述第一特征重标定模块的输出进行合并，所述第四卷积层用于对所述合并层的输出依次进行卷积操作、归一化操作、Relu激活操作和随机失活操作，所述第三特征重标定模块用于对最后一层所述第四卷积层的输出进行特征重标定，所述第三残差模块用于将所述反卷积层的输出与所述第三特征重标定模块的输出进行相加，相加的结果为所述解码器的输出；
[0036]所述第三卷积层用于对最后一级所述解码器的输出进行卷积操作。
[0037]可选的，所述第一特征重标定模块、所述第二特征重标定模块和所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：将所获取的待处理图像输入至预先训练好的神经网络模型中，以获取初始目标对象分割图像和至少一目标标志点热力图像；对所述初始目标对象分割图像进行去噪处理，以获取目标对象分割图像；根据所述目标标志点热力图像，获取目标标志点的位置信息。2.根据权利要求1所述的图像处理方法，其特征在于，在将所获取的待处理图像输入至预先训练好的神经网络模型之前，所述图像处理方法还包括：对所获取的待处理图像进行调窗操作，以将所述待处理图像中的各个像素点的像素值调整至预设范围；对调窗操作后的所述待处理图像中的各个像素点的像素值进行归一化操作，以将所述待处理图像中的各个像素点的像素值调整至0
‑
1。3.根据权利要求2所述的图像处理方法，其特征在于，在对所获取的待处理图像进行调窗操作之前，所述图像处理方法还包括：将所述待处理图像的尺寸调整至预设尺寸。4.根据权利要求1所述的图像处理方法，其特征在于，所述对所述初始目标对象分割图像进行去噪处理，以获取目标对象分割图像，包括：对所述初始目标对象分割图像进行孔洞填充，以获取第一目标对象分割图像；对所述第一目标对象分割图像进行连通域分析，以提取出最大的连通域；将最大的连通域作为目标对象所在区域，以获取目标对象分割图像。5.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述目标标志点热力图像，获取目标标志点的位置信息，包括：针对每一目标标志点热力图像，将该目标标志点热力图像中的像素值最大的像素点的位置信息作为对应的目标标志点的位置信息。6.根据权利要求1所述的图像处理方法，其特征在于，所述神经网络模型包括特征提取网络、分割网络和目标标志点定位网络；所述特征提取网络用于对预处理后的所述待处理图像进行目标对象特征的提取，以获取目标对象特征的提取结果；所述分割网络用于根据所述目标对象特征的提取结果进行目标对象的分割，以获取初始目标对象分割图像；所述目标标志点定位网络用于根据所述目标对象特征的提取结果进行目标标志点的定位，以获取目标标志点热力图像。7.根据权利要求6所述的图像处理方法，其特征在于，所述特征提取网络包括输入层、多个级联的编码器和瓶颈器，其中最后一级所述编码器的输出为所述瓶颈器的输入；所述编码器包括第一卷积层、第一特征重标定模块、最大池化层和第一残差模块，所述第一卷积层用于对其输入依次进行卷积操作、归一化操作、Relu激活操作和随机失活操作，所述第一特征重标定模块用于对最后一层所述第一卷积层的输出进行特征重标定，所述第一残差模块用于将所述编码器的输入和所述第一特征重标定模块的输出进行相加，相加的结果为所述最大池化层的输入，所述最大池化层用于对其输入进行池化操作，池化的结果为所述编码器的输出；
所述瓶颈器包括第二卷积层、第二特征重标定模块和第二残差模块，所述第二卷积层用于对其输入依次进行卷积操作、归一化操作、Relu激活操作和随机失活操作，所述第二特征重标定模块用于对最后一层所述第二卷积层的输出进行特征重标定，所述第二残差模块用于将所述瓶颈器的输入和所述第二特征重标定模块的输出进行相加，相加的结果为所述分割网络和所述目标标志点定位网络的输入。8.根据权利要求7所述的图像处理方法，其特征在于，所述分割网络和所述目标标志点定位网络均包括多个级联的解码器、第三卷积层和输出层，所述分割网络中的解码器和所述目标标志点定位网络中的解码器均与所述特征提取网络中的编码器一一对应，且所述分割网络中的输出层用于输出所述初始目标对象分割图像，所述目标标志点定位网络中的输出层用于输出所述目标标志点热力图像；所述解码器包括反卷积层、合并层、第四卷积层、第三特征重标定模块和第三残差模块，所述反卷积层用于对其输入进行反卷积操作，所述合并层用于将所述反卷积层的输出与所述特征提取网络中的相应的所述第一特征重标定模块的输出进行合并，所述第四卷积层用于对所述合并层的输出依次进行卷积操作、归一化操作、Relu激活操作和随机失活操作，所述第三特征重标定模块用于对最后一层所述第四卷积层的输出进行特征重标定，所述第三残差模块用于将所述反卷积层的输出与所述第三特征重标定模块的输出进行相加，相加的结果为所述解码器的输出；所述第三卷积层用于对最后一级所...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：苏州微创畅行机器人有限公司，
类型：发明
国别省市：