一种补全病变骨骼以获得骨骼预期参考模型的方法技术

本发明专利技术公开了一种补全病变骨骼以获得骨骼预期参考模型的方法。本发明专利技术的技术效果在于，能够快速获得骨骼去除病损后的补全形态，补全形态基本接近自然骨骼；该方法不受病损范围过大时无法补全的局限；且在脱离临床数据和操作者经验的情况下，训练好的模型及本发明专利技术方法也可以被复制，并完成基本的骨骼补全。从而降低该骨骼预期参考模型的技术难度，提高骨骼预期参考模型的制作效率，便于技术推广复制。

A method of supplementing diseased skeleton to obtain the expected reference model of skeleton

【技术实现步骤摘要】
一种补全病变骨骼以获得骨骼预期参考模型的方法
本专利技术涉及一种补全病变骨骼以获得骨骼预期参考模型的方法。
技术介绍
肿瘤、外伤及各种手术经常引起骨骼病损。大多患者在就诊时，骨骼就已经发生了明显形变。此时医生常难以获得患者患病前骨骼的准确形态。同时，人体的骨骼具有较强的特异性，每个人的骨骼外形或多或少都有差异，这使得无法使用通用骨骼模型当作手术参考，这增加了手术效果的不确定性。因此常常需要使用数字化技术设计骨骼预期参考模型。虽然现阶段医学受限于材料，尚不能根据电脑设计的骨骼预期参考模型直接提供给患者一个骨骼假体供其使用，但是它却能给医生一个重要参考。在进行骨骼功能性重建过程中，骨骼预期参考模型能够让医生获得更准确的拼接位置和角度。在生物材料的研究进展中，个性化定制的骨引导材料已接近成熟，将会面临为材料确定个性化形态的问题，需要骨骼预期参考模型作为形态基础。但是目前的数字化手术流程中，常用的方法是镜像修复或手工寻找其他相似的骨骼做局部数据融合、平滑处理，但其实际效果并不佳。而如果希望制作较为精准的预期参照模型，则目前实现困难，耗时较长，在临床上难以推广；而快速流程化处理，往往精度和效果较差。
技术实现思路
为了解决目前骨骼预期参考模型精度差、制作困难的技术问题，本专利技术提供一种能够快速获得骨骼的补全形态的补全病变骨骼以获得骨骼预期参考模型的方法。为了实现上述技术目的，本专利技术的技术方案是：一种补全病变骨骼以获得骨骼预期参考模型的方法，包括以下步骤：步骤一，以正常骨骼二维CT图像作为训练数据，训练深度卷积对抗生成网络，得到二维CT图象的随机生成神经网络模型和鉴别神经网络模型；步骤二，对病变骨骼三维图像中的缺损进行补全：步骤1、基于待补全的病变骨骼的所有CT断层图像建立立体骨骼模型，并在立体骨骼模型上设置完全遮蔽病变区域的三维实体以代表需要补全的立体区域；步骤2、将三维实体再转换为与CT断层图像相匹配的多个Mask层，在Mask层中标记区分需要补全的像素和需要保留的像素，然后将每个Mask层与相应的CT断层图像进行关联以标示出CT断层图像需要补全和需要保留的像素；步骤3、进行二维、三维补全：首先基于步骤一中得到的随机生成神经网络模型，随机生成伪图像，然后以梯度下降方法，通过有限次迭代以循环生成伪图像，以使得所生成的伪图像在对应病变骨骼完好部分之间的差别不断降低，同时对伪图像通过鉴别神经网络模型进行鉴别，并基于多结果选择网络过滤掉与与病变骨骼差别较大的伪图像；然后考虑三维因素，计算当前伪图像所在层与相邻层之间的差异，挑选出与相邻层差异较小的伪图像，最终在完成有限次迭代循环后得到作为重构图像的伪图像；步骤三，根据每一个断层的骨骼补全图像，进行三维可视化及实体建模，获得骨骼预期参考模型。所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，所述的步骤一中，在训练深度卷积对抗生成网络时，是由生成器生成虚拟图片，然后将虚拟图片和真实图片同时提供至鉴别器判断图片是否为生成的虚拟图片，基于误差反向传递原理，使用随机梯度下降方法，训练得到随机生成二维CT图象神经网络模型。所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，所述的步骤二的步骤3中，通过有限次迭代循环生成伪图像，以使得所生成的伪图像在对应病变骨骼完好部分之间的差别不断降低，是基于以下步骤实现：以已知数据作为待补全数据的语境，则伪图像中生成数据与已知数据的差别为语境损失，病变骨骼三维矩阵数据pdata包括两个部分：数据中真实存在的部分pdata.normal；缺失数据部分即发生病变需要补全的部分pdata.miss，这两部分通过真实骨骼数据集中的R即pdata矩阵，以及由用于补全的三维实体转换得到的掩码M即mask矩阵计算得到，其中矩阵M中只有[0，1]两个值，1表示该像素是pdata.normal，0表示该像素是pdata.miss，即M⊙R为pdata.Normal，(1-M)⊙R为pdata.miss，其中⊙表示两个矩阵的Hadamard积；平面语境损失为：其中‖x‖＝∑ixi表示向量x的L1范数，G为随机生成神经网络模型，z为输入至随机生成神经网络模型G(z)的参数，如果G(z)生成的数据与同样位置的已知数据完全一致，则‖M⊙G(z)-M⊙R‖＝0，此时语境损失在循环迭代生成伪图像时，通过调整z的取值，在有限次的循环迭代中获得使语境损失最趋近于0的结果。所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，所述的步骤二的步骤3中，对伪图像通过鉴别神经网络模型进行鉴别，是基于以下步骤实现：通过鉴别神经网络模型D(x)鉴别判断未知部分的数据是否符合真实骨骼数据的特点，当生成数据符合来自鉴别神经网络模型中概率密度函数PDF的采样时，D(x)鉴别器的值为1，即感知损失，反之，若D(x)＝0则代表数据完全不符合PDF，此时感知损失最大，故感知损失为：所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，所述的步骤二的步骤3中，挑选出与相邻层差异较小的伪图像，是基于以下步骤实现：设i为当前层，则i-1为上一层，i+1为下一层，跨层语境损失表示为：并得到总体损失的表达式为：其中λ为超参数，用来控制两种损失的重要程度；最终重构图像的表达式是：本专利技术的技术效果在于，能够快速获得骨骼去除病损后的补全形态，补全形态基本接近自然骨骼；该方法不受病损范围过大时无法补全的局限；且在脱离临床数据和操作者经验的情况下，训练好的模型及本专利技术方法也可以被复制，并完成基本的骨骼补全。从而降低该骨骼预期参考模型的技术难度，提高骨骼预期参考模型的制作效率，便于技术推广复制。下面结合附图对本专利技术作进一步说明。附图说明图1为本专利技术实施例的流程示意图；图2为传统手术模拟的手工补全过程示意图；图3为难以修复的下颌骨缺损案例示意图；图4为10个通过该神经网络用随机输入参数生成的颌骨CT图；图5为仅应用平面语境损失的平面补全示意图；图6为原始CT图、标记的待补全区域及最终补全结果示意图；图7为原始病变颌骨示意图；图8为降低分辨率后的病变颌骨示意图；图9为标记待补全区域(病变区域)生成mask层示意图；图10为完成补全后的示意图。具体实施方式本专利研究得到湖南省卫生健康委科研计划课题项目(20191044)；湖南省自然科学基金-青年基金项目(2018JJ3850)；湖南省重点研发计划-社会发展领域重点研发项目(2017SK2161)的支持。该方法基于已有的二维图像补全算法深度卷积对抗生成网络模型。本专利技术对该算法进行了改进，改进后本专利技术中的方法能够适应三维CT图像，并且进行三维空间中的形态补全。为了便于理解，以下实施例以颌骨为例，对本专利技术作出具体说明：图2给出了传统手术模拟的手工补全过程，其中左侧为病变原始颌骨，中间为模拟切除所有异常部分，右侧为对正常部分镜像、裁剪、拼接完成预期参照模型。但从右侧图像中可以看到，其补充后的拼合精度非常不好。图3给出了难以修复的下颌骨缺损案例，由于其累计双侧的病变、损伤巨大、移位明显或病损位于中部，临床尚缺乏有效的方法对预期形态进行预估，更难以给出颌骨预期参考模型。下面对本专利技术实施例的流程作出具体说明。1.按照深度卷积对抗生成网络方法，对二维CT图像形成的训练数据进行机器学习，得到随本文档来自技高网...

【技术保护点】
1.一种补全病变骨骼以获得骨骼预期参考模型的方法，其特征在于，包括以下步骤：步骤一，以正常骨骼二维CT图像作为训练数据，训练深度卷积对抗生成网络，得到二维CT图象的随机生成神经网络模型和鉴别神经网络模型；步骤二，对病变骨骼三维图像中的缺损进行补全：步骤1、基于待补全的病变骨骼的所有CT断层图像建立立体骨骼模型，并在立体骨骼模型上设置完全遮蔽病变区域的三维实体以代表需要补全的立体区域；步骤2、将三维实体再转换为与CT断层图像相匹配的多个Mask层，在Mask层中标记区分需要补全的像素和需要保留的像素，然后将每个Mask层与相应的CT断层图像进行关联以标示出CT断层图像需要补全和需要保留的像素；步骤3、进行二维、三维补全：首先基于步骤一中得到的随机生成神经网络模型，随机生成伪图像，然后以梯度下降方法，通过有限次迭代以循环生成伪图像，以使得所生成的伪图像在对应病变骨骼完好部分之间的差别不断降低，同时对伪图像通过鉴别神经网络模型进行鉴别，并基于多结果选择网络过滤掉与与病变骨骼差别较大的伪图像；然后考虑三维因素，计算当前伪图像所在层与相邻层之间的差异，挑选出与相邻层差异较小的伪图像，最终在完成有限次迭代循环后得到作为重构图像的伪图像；步骤三，根据每一个断层的骨骼补全图像，进行三维可视化及实体建模，获得骨骼预期参考模型。...

【技术特征摘要】
1.一种补全病变骨骼以获得骨骼预期参考模型的方法，其特征在于，包括以下步骤：步骤一，以正常骨骼二维CT图像作为训练数据，训练深度卷积对抗生成网络，得到二维CT图象的随机生成神经网络模型和鉴别神经网络模型；步骤二，对病变骨骼三维图像中的缺损进行补全：步骤1、基于待补全的病变骨骼的所有CT断层图像建立立体骨骼模型，并在立体骨骼模型上设置完全遮蔽病变区域的三维实体以代表需要补全的立体区域；步骤2、将三维实体再转换为与CT断层图像相匹配的多个Mask层，在Mask层中标记区分需要补全的像素和需要保留的像素，然后将每个Mask层与相应的CT断层图像进行关联以标示出CT断层图像需要补全和需要保留的像素；步骤3、进行二维、三维补全：首先基于步骤一中得到的随机生成神经网络模型，随机生成伪图像，然后以梯度下降方法，通过有限次迭代以循环生成伪图像，以使得所生成的伪图像在对应病变骨骼完好部分之间的差别不断降低，同时对伪图像通过鉴别神经网络模型进行鉴别，并基于多结果选择网络过滤掉与与病变骨骼差别较大的伪图像；然后考虑三维因素，计算当前伪图像所在层与相邻层之间的差异，挑选出与相邻层差异较小的伪图像，最终在完成有限次迭代循环后得到作为重构图像的伪图像；步骤三，根据每一个断层的骨骼补全图像，进行三维可视化及实体建模，获得骨骼预期参考模型。2.根据权利要求1所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，其特征在于，所述的步骤一中，在训练深度卷积对抗生成网络时，是由生成器生成虚拟图片，然后将虚拟图片和真实图片同时提供至鉴别器判断图片是否为生成的虚拟图片，基于误差反向传递原理，使用随机梯度下降方法，训练得到随机生成二维CT图象神经网络模型。3.根据权利要求1所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，其特征在于，所述的步骤二的步骤3中，通过有限次迭代循环生成伪图像，以使得所生成的伪图像在对应病变骨骼完好部分之间的差别不断降低，是基于以下...

【专利技术属性】
技术研发人员：梁烨，李家大，浣晶晶，蒋灿华，方厂云，
申请(专利权)人：中南大学，中南大学湘雅医院，
类型：发明
国别省市：湖南,43