下肢X光影像中关键点提取方法技术

本发明专利技术公开了一种下肢X光影像中关键点提取方法，通过关键点定位神经网络模型来自动分析下肢X光影像，通过骨骼的全局空间结构以及多尺度信息得到各关键点的位置信息；不仅加快了关键点提取速度与效率，还可以确保结果的准确性。实验表明关键点定位的误差仅有3.042像素，角度计算误差仅有1.096°。

【技术实现步骤摘要】
下肢X光影像中关键点提取方法
本专利技术涉及智能医学影像分析
，尤其涉及一种下肢X光影像中关键点提取方法。
技术介绍
下肢X光影像是常规医学影像中的一种，目前对于下肢X光影像的分析(例如，关键点提取等)大多由人工方式实现，还没有较为有效的自动分析方案。但是，人工方式的缺陷在于：一方面，分析耗时较长，效率较低；另一方面，分析结果的准确性依赖于分析者的专业水平，因此，也难以保证分析结果的准确性。
技术实现思路
本专利技术的目的是提供一种下肢X光影像中关键点提取方法，可以提取全局骨骼空间信息，并且具有尺度不变的优势，提高了定位的精度。本专利技术的目的是通过以下技术方案实现的：一种下肢X光影像中关键点提取方法，包括：获取预先进行了N个关键点标注的下肢X光影像，并以此构建训练集；构建关键点定位神经网络模型，通过关键点定位神经网络模型提取多尺度信息进而提取骨骼的全局空间结构信息，从而预测关键点位置；训练阶段，训练集中每一训练影像的每一关键点位置数据都被转化为一个通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N通道标签图；每一训练影像经过关键点定位神经网络模型都会输出包含关键点位置的N通道预测图；通过N通道标签图与N通道预测图的误差构建损失函数并进行网络训练；测试阶段，将下肢X光影像输入至训练后的关键点定位神经网络模型，获得N通道的预测图，每一通道的预测图对应一个关键点位置。由上述本专利技术提供的技术方案可以看出，通过关键点定位神经网络模型来自动分析下肢X光影像，通过骨骼的全局空间结构以及多尺度信息得到各关键点的位置信息；不仅加快了关键点提取速度与效率，还可以确保结果的准确性。实验表明关键点定位的误差仅有3.042像素，角度计算误差仅有1.096°。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种下肢X光影像中关键点提取方法中的关键点定位神经网络模型的结构示意图；图2为本专利技术实施例提供的尺度特征捕捉模块与全局依赖捕捉模块的结构示意图；图3为本专利技术实施例提供的关键点位置及角度计算示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种下肢X光影像中关键点提取方法，包括：获取预先进行了N个关键点标注的下肢X光影像，并以此构建训练集；构建关键点定位神经网络模型，通过关键点定位神经网络模型提取多尺度信息进而提取骨骼的全局空间结构信息，从而预测关键点位置；训练阶段，训练集中每一训练影像的每一关键点位置数据都被转化为一个通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N通道标签图；每一训练影像经过关键点定位神经网络模型都会输出包含关键点位置的N通道预测图；通过N通道标签图与N通道预测图的误差构建损失函数并进行网络训练；测试阶段，将下肢X光影像输入至训练后的关键点定位神经网络模型，获得NN通道的预测图，每一通道的预测图对应一个关键点位置。为了便于理解，下面针对网络模型的结构与原理、及训练与测试过程做详细的介绍。一、网络模型的结构与原理。如图1所示，关键点定位神经网络模型包含预处理部分与沙漏型结构部分。所述预处理部分用于对输入的训练影像进行预处理，初步提取特征。所述沙漏型结构部分由一系列具有相同结构的沙漏型子网络级联而成；所述沙漏型子网络对输入特征先进行下采样，再提取多尺度信息及骨骼的全局空间结构信息，最后通过上采样恢复到与输入特征相同大小。示例性的，下采样可通过最大池化实现，上采样通过双线性插值实现。具体来说，通过下采样得到高层语义特征，再依次送入尺度特征捕捉模块(SFEM)与全局依赖捕捉模块(GDCM)提取输入特征的多尺度信息、骨骼的全局空间结构信息如图2所示，给出了尺度特征捕捉模块与全局依赖捕捉模块的结构。右侧为尺度特征捕捉模块，通过尺度特征捕捉模块提取输入特征的多尺度信息。尺度特征捕捉模块借鉴了金字塔池化的思想来处理多尺度变化。与金字塔池化不同的是，尺度特征捕捉模块并没有使用池化操作而是使用空洞卷积来得到不同感受野的特征从而构成特征金字塔结构。所述尺度特征捕捉模块包括四个并行分支：卷积核大小为1×1的普通卷积、卷积核大小为3×3的普通卷积(普通卷积的扩张率为1)、卷积核大小为3×3且扩张率为3的空洞卷积、以及卷积核大小为3×3且扩张率为5的空洞卷积；再通过逐点相加的策略将四个并行分支的结果结合在一起，输出蕴含多尺度信息的特征图。左侧为全局依赖捕捉模块，通过全局依赖捕捉模块通过计算点与点之间的相关来得到骨骼的全局空间结构信息。所述全局依赖捕捉模块输入为特征图X，大小记为H×W，H、W分别为特征图的高、宽；特征图X中每个点都是一个C维向量，循环计算出每个点与所有点的相关，点i和点j之间的相关计算结果为：其中，Xi,k、Xj,k表示特征图X位置分别为i、j，第k维的元素的像素值，0≤i,j≤HW-1。最终得到大小为H×W的相关图R，相关图R中每个点通道维度都为HW；利用图R来改进特征图X得到输出Y，其大小与输入X相同，高为H，宽为W，通道维度为C。位置为i第j维的元素计算方式为：其中，Ri,s表示相关图R的位置为i、第s维元素的像素值，Xs,k表示特征图X中位置为s、第k维元素的像素值，0≤i≤HW-1,0≤k≤C-1。上述公式各项参数的角标中，前一项表示位置，后一项表示通道维度。GDCM的输出进行上采样得到一个沙漏型子网络的输出，如图1，n个结构相同的沙漏型子网络级联构成了完整的网络，各沙漏型子网络内部的卷积操作可以改变特征图的通道数，上采样也是一系列卷积和池化的组合，最终由最后一个沙漏型子网络的输出即为网络模型输出的关键点位置的预测图，即计算每个通道计算值最大的位置就可以得到N个关键点的位置(N通道预测图)。二、网络训练。本专利技术实施例中，需要收集一些预先进行了N个关键点标注的下肢X光影像，并以此制作深度学习数据集。然后，随机将数据集分为两份作为训练集和测试集，例如，数量比为五比一。通常标注工作由技术专家完成，使得标注的关键点足够准确。如图3所示，示出了进行了N个关键点标注的下肢X光影像的示例，其中N＝16，也即标注了16个关键点。以左股骨为例，C和D为左股骨的底部左右顶点，A和B为左股骨的近邻膝关节三分之一处左右边本文档来自技高网...

【技术保护点】
1.一种下肢X光影像中关键点提取方法，其特征在于，包括：/n获取预先进行了N个关键点标注的下肢X光影像，并以此构建训练集；/n构建关键点定位神经网络模型，通过关键点定位神经网络模型提取多尺度信息进而提取骨骼的全局空间结构信息，从而预测关键点位置；/n训练阶段，训练集中每一训练影像的每一关键点位置数据都被转化为一个通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N通道标签图；每一训练影像经过关键点定位神经网络模型都会输出包含关键点位置的N通道预测图；通过N通道标签图与N通道预测图的误差构建损失函数并进行网络训练；/n测试阶段，将下肢X光影像输入至训练后的关键点定位神经网络模型，获得N通道的预测图，每一通道的预测图对应一个关键点位置。/n

【技术特征摘要】
1.一种下肢X光影像中关键点提取方法，其特征在于，包括：
获取预先进行了N个关键点标注的下肢X光影像，并以此构建训练集；
构建关键点定位神经网络模型，通过关键点定位神经网络模型提取多尺度信息进而提取骨骼的全局空间结构信息，从而预测关键点位置；
训练阶段，训练集中每一训练影像的每一关键点位置数据都被转化为一个通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N通道标签图；每一训练影像经过关键点定位神经网络模型都会输出包含关键点位置的N通道预测图；通过N通道标签图与N通道预测图的误差构建损失函数并进行网络训练；
测试阶段，将下肢X光影像输入至训练后的关键点定位神经网络模型，获得N通道的预测图，每一通道的预测图对应一个关键点位置。


2.根据权利要求1所述的一种下肢X光影像中关键点提取方法，其特征在于，所述关键点定位神经网络模型其包含预处理部分与沙漏型结构部分；所述预处理部分用于对输入的训练影像进行预处理，初步提取特征；所述沙漏型结构部分由一系列具有相同结构的沙漏型子网络级联而成；所述沙漏型子网络对输入特征先进行下采样，再提取多尺度信息及骨骼的全局空间结构信息，最后通过上采样恢复到与输入特征相同大小。


3.根据权利要求1或2所述的一种下肢X光影像中关键点提取方法，其特征在于，通过尺度特征捕捉模块提取输入特征的多尺度信息；所述尺度特征捕捉模块包括四个并行分支：卷积核大小为1×1且扩张率为1的...

【专利技术属性】
技术研发人员：谢洪涛，张勇东，孙军，马凌峰，毛震东，
申请(专利权)人：中国科学技术大学，安徽省儿童医院安徽省新华医院，安徽省儿科医学研究所，
类型：发明
国别省市：安徽;34