手骨X光片医学图像关键点定位方法及系统技术方案

本发明专利技术属于医学图像智能识别技术领域，具体涉及手骨X光片医学图像关键点定位方法及系统。方法包括如下步骤：S1，手骨X光片图像与相应关键点标注数据的收集和预处理；S2，构建手骨X光片医学图像关键点定位模型；S3，使用辅助损失函数训练模型，验证模型；S4，使用已验证模型进行端到端预测。本发明专利技术具有定位精度高且能一次性定位足够数量手骨关键点的特点。一次性定位足够数量手骨关键点的特点。一次性定位足够数量手骨关键点的特点。

【技术实现步骤摘要】
手骨X光片医学图像关键点定位方法及系统


[0001]本专利技术属于医学图像智能识别
，具体涉及手骨X光片医学图像关键点定位方法及系统。

技术介绍

[0002]医学图像关键点的自动检测是医学图像分析应用的基础，在医学图像配准、组织分割、参数测量等任务中得到了广泛应用。
[0003]在骨龄检测任务中，目前的检测技术如TW法、GP法，都需要对左手X光片进行处理：第一步从原图像中精确分割骨化中心图像，第二步再通过分割出的骨化中心图像检测骨龄。第一步分割的骨化中心图像是否精准以及图像中手骨是否歪斜对第二步的骨龄检测有较大影响。
[0004]要得到骨化中心图像，第一种方法是直接获取骨化中心的边界框。现有技术选择使用Faster
‑
RCNN目标检测算法直接从X光片原图上定位边界框。然而就算经过后处理的筛选，这种直接定位的方法也无法准确区别不同的手指(例如小指上的边界框可能定位到无名指上)，这样的切割方法无法很好地控制边界框大小，同时，由于Faster
‑
RCNN算法得到的边界框始终保持竖直，边界框中的手骨往往是歪斜的。除此之外，还有的现有技术采用分两步走的方式：先从X光片原图中获取手部轮廓图，用其截取骨化中心所在的1、3、5指以及手腕的4张图像，再对映这4张图像训练4个Faster
‑
RCNN模型用来定位边界框。这种方法的缺点在于，采用了多个模型级联操作，定位计算复杂速度慢，且只能定位到特定手指，无法直接定位到手指关节。
[0005]第二种方法是先定位X光片中手骨的关键点，边界框可通过关键点得到。例如，现有技术提出的快速指骨关键点定位方法，只能给出手形二值图像中的9个峰谷点，关键点数量与精度均达不到定位边界框的要求。现有技术还提出的手骨近轮廓点定位方法，实现了多个RUS骨块的快速分割，与主动形状模型(ASM)、主动外观模型(AAM)、局部约束模型(CLM)等关键点定位技术结合，实现手骨多关键点的定位，定位的关键点数量以及质量相较使用Faster
‑
RCNN目标检测算法直接从X光片原图上定位边界框的方式，都有较大提升，但模型的定位精度依然不足。
[0006]因此，要得到精准且不歪斜的骨化中心图像，需要设计一种精度足够高的、可以一次性定位足够数量手骨关键点的方法。
[0007]例如，专利申请号为CN201710975940.6的中国专利文献描述的一种基于深度神经网络的X光片手骨兴趣区域自动提取方法，对原始手骨X光片影像，去除影像两边黑色背景嵌入文字的部分；统一对原始手骨X光片影像进行提亮、去噪操作；采样并训练模型M1，得到没有文字的手骨X光片影像Output2；对于Output2归一化尺寸得到Output3；采样并训练模型M2，对Output3中的手骨、背景、手骨背景相交的部分进行判断；基于模型M2对Output3中的影像滑窗判断，依据判断值得到手骨标记映射图Output4；基于Output3和Output4，得到仅有手骨的影像Output5；对Output5进行优化得到最终的手骨兴趣区域。虽然可以自动获
取X光片中的手骨兴趣区域，但不足之处在于，上述方法无法定位足够数量的手骨关键点，且在定位精度上具有局限性。

技术实现思路

[0008]本专利技术是为了克服现有技术中，现有的骨龄检测技术存在无法直接定位到手指关节且定位精度不足的问题，提供了一种定位精度高且能一次性定位足够数量手骨关键点的手骨X光片医学图像关键点定位方法及系统。
[0009]为了达到上述专利技术目的，本专利技术采用以下技术方案：
[0010]手骨X光片医学图像关键点定位方法，包括如下步骤：
[0011]S1，手骨X光片图像与相应关键点标注数据的收集和预处理：
[0012]收集手骨X光片图像与相应关键点标注数据，并随机划分训练集与验证集；
[0013]S2，构建手骨X光片医学图像关键点定位模型；
[0014]S3，使用辅助损失函数训练模型，验证模型：
[0015]使用辅助损失函数，并根据步骤S1获得的训练集与验证集，对手骨X光片医学图像关键点定位模型进行训练和验证；
[0016]S4，使用已验证模型进行端到端预测：
[0017]将训练和验证后的手骨X光片医学图像关键点定位模型，用于预测手骨X光片医学图像关键点。
[0018]作为优选，步骤S1包括如下步骤：
[0019]S11，将收集的手骨X光片图像的像素值归一化到[0,1]；向左或向下用0填充成正方形，第i张图像填充后的大小记为r
0i
×
r
0i
；使用双线性插值方法缩放至r
×
r大小；
[0020]S12，设定每张图像都有m个关键点，表示为其中，第m个关键点坐标(x
m
,y
m
)，R是实数域；第n个关键点P
n
＝[x
n y
n
]，其中x
n
表示关键点x方向上相对于图像左上角的像素距离，y
n
表示关键点y方向上相对于图像左上角的像素距离；
[0021]将关键点归一化为
[0022]作为优选，手骨X光片医学图像关键点定位模型包括骨干特征提取网络、Transformer编码层和渐进式关键点定位Transformer译码层，模型构建过程包括如下步骤：
[0023]S21，构建骨干特征提取网络：
[0024]所述骨干特征提取网络采用基本的特征提取网络，具体为ResNet或DenseNet或Swin Transformer，用于将输入手骨X光片医学图像转化为级别一特征矢量F1；
[0025]S22，构建Transformer编码层：
[0026]Transformer编码层包括特征矢量位置编码层以及堆叠的N
En
层Transformer编码器；特征矢量位置编码层用于对所述级别一特征矢量进行正弦位置编码，并与所述级别一特征矢量相加，相加的结果作为第一层Transformer编码器的输入，其余的Transformer编码器的输入均为前一层Transformer编码器的输出，经过Transformer编码层，级别一特征
矢量F1被转化为级别二特征矢量F2；
[0027]Transformer编码器中自注意力的公式：
[0028][0029]Q＝K＝V＝F1.
[0030]其中，D是级别一特征矢量F1的特征维度；
[0031]S23，构建渐进式关键点定位Transformer译码层：
[0032]渐进式关键点定位Transformer译码层，由N
DL
级渐进式关键点修正层组成，每级渐进式关键点修正层存在N
DD
层Transformer译码器；所有的Transformer译码器的结构均相同，输入是级别二特征矢量、译码器嵌入、待修正本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.手骨X光片医学图像关键点定位方法，其特征在于，包括如下步骤：S1，手骨X光片图像与相应关键点标注数据的收集和预处理：收集手骨X光片图像与相应关键点标注数据，并随机划分训练集与验证集；S2，构建手骨X光片医学图像关键点定位模型；S3，使用辅助损失函数训练模型，验证模型：使用辅助损失函数，并根据步骤S1获得的训练集与验证集，对手骨X光片医学图像关键点定位模型进行训练和验证；S4，使用已验证模型进行端到端预测：将训练和验证后的手骨X光片医学图像关键点定位模型，用于预测手骨X光片医学图像关键点。2.根据权利要求1所述的手骨X光片医学图像关键点定位方法，其特征在于，步骤S1包括如下步骤：S11，将收集的手骨X光片图像的像素值归一化到[0,1]；向左或向下用0填充成正方形，第i张图像填充后的大小记为r
0i
×
r
0i
；使用双线性插值方法缩放至r
×
r大小；S12，设定每张图像都有m个关键点，表示为其中，第m个关键点坐标(x
m
,y
m
)，R是实数域；第n个关键点P
n
＝[x
n y
n
]，其中x
n
表示关键点x方向上相对于图像左上角的像素距离，y
n
表示关键点y方向上相对于图像左上角的像素距离；将关键点归一化为3.根据权利要求2所述的手骨X光片医学图像关键点定位方法，其特征在于，手骨X光片医学图像关键点定位模型包括骨干特征提取网络、Transformer编码层和渐进式关键点定位Transformer译码层，模型构建过程包括如下步骤：S21，构建骨干特征提取网络：所述骨干特征提取网络采用基本的特征提取网络，具体为ResNet或DenseNet或Swin Transformer，用于将输入手骨X光片医学图像转化为级别一特征矢量F1；S22，构建Transformer编码层：Transformer编码层包括特征矢量位置编码层以及堆叠的N
En
层Transformer编码器；特征矢量位置编码层用于对所述级别一特征矢量进行正弦位置编码，并与所述级别一特征矢量相加，相加的结果作为第一层Transformer编码器的输入，其余的Transformer编码器的输入均为前一层Transformer编码器的输出，经过Transformer编码层，级别一特征矢量F1被转化为级别二特征矢量F2；Transformer编码器中自注意力的公式：Q＝K＝V＝F1.其中，D是级别一特征矢量F1的特征维度；S23，构建渐进式关键点定位Transformer译码层：
渐进式关键点定位Transformer译码层，由N
DL
级渐进式关键点修正层组成，每级渐进式关键点修正层存在N
DD
层Transformer译码器；所有的Transformer译码器的结构均相同，输入是级别二特征矢量、译码器嵌入、待修正关键点，输出是更新后的译码器嵌入；级别二特征矢量由步骤S22中Transformer编码层输出，在渐进式关键点定位Transformer译码层中不发生改变；初始译码器嵌入由0初始化，不可训练；初始待修正关键点由训练集先验初始化，不可训练；在每级渐进式关键点修正层末尾，由输出的更新后译码器嵌入，使用多层感知机计算一个待修正关键点的建议偏移，以更新待修正关键点；经过N
DL
级渐进式关键点修正层修正后，待修正关键点最终被修正为高精度关键点输出；P
n
＝(x
n
,y
n
)表示为第n个关键点，以下的公式中省略了DropOut与残差连接；对于任意的某层Transformer译码器，表示正弦位置编码：PE(P
n
)＝PE(x
n
,y
n
)＝CAT(PE(x
n
),PE(y
n
))；其中，CAT表示Concatenate函数；下标2i和2i+1为编码矢量中的位置；T为引入的超参数，T＞1，T越大，位置编码越扁平；T
2i/D
表示T的幂运算；Transformer译码器的内核是一个自注意力计算和一个交叉注意力计算，注意力计算的公式与Transformer编码器中的相同；自注意力计算的参数：Q＝K＝C+MLP
(s)
(PE(P)),V＝C；交叉注意力计算的参数：Q＝C
′
+MLP
(c)
(PE(P)),K＝F2+PE(P),V＝F2；其中，表示多层感知机，自注意力计算和交叉注意力计算中的两个MLP分别对所有的Transformer译码器共享权重；分别为自注意力计算前后的译码器嵌入；对于第j级渐进式关键点修正层，修正关键点的公式：其中，P
j
‑
in
为第j级的输入待修正关键点，P
j
‑
out
为第j级的输出待修正关键点；为多层感知机，负责将译码器嵌入映射回对待修正关键点的修正；t为引入的超参数，t＞1，用于削弱高层的修正层对关键点的影响，提高模型稳定性，实现渐进式修正；最终输出关键点P
final
。4.根据权利要求3所述的手骨X光片医学图像关键点定位方法，其特征在于，步骤S3包括如下步骤：S31，将训练数据输入模型，模型直接输出关键点与标签值计算loss＝MAE(P
final
,P
label
)；表示实数域2xM维矩阵；
S32，启用辅助损失函数提升模型收敛速度以及最终性能：记录每一级渐进式关键点修正层修正后的关键点表示第i级渐进式关键点修正层修正后的关键点，计算根据计算所得的损失函数来进行反向传播，更新参数；S33，每次将所有训练数据训练一轮后，对模型性能进行验证：将验证数据输入模型，模型直接输出关键点与标签值与标签值计算单张图像中所有关键点的平均误差criterion＝MAE(P
final
,P
label
)，将所有验证数据的误差求取平均得到最后的平均误差作为考察指标，并保存模型参数；S34，训练k轮后，将平均误差指标最小的模型参数作为已验证模型的最终参数。5.根据权利要求4所述的手骨X光片医学图像关键点定位方法，其特征在于，步骤S4包括如下步骤：S41，将待预测的手骨X光片图像的像素值归一化到[0,1]；向左或向下用0填充成正方形，图像填充后的大小记为r0×
r0；使用双线性插值方法缩放至r
×
r大小；S42，将预处理后的图像输入到已验证的手骨X光片医学图像关键点定位模型，模型输出关键点得到所...

【专利技术属性】
技术研发人员：吴夕恒，何必仕，徐哲，
申请(专利权)人：浙江莱达信息技术有限公司，
类型：发明
国别省市：