一种基于知识蒸馏的骨密度预测方法和系统技术方案

一种基于知识蒸馏的骨密度预测方法和系统，所述方法通过计算机视觉技术分别提取X线平片、CT的图像特征；利用深度学习技术将教师模型中X线平片的2D图像特征和CT的3D图像特征映射到同一特征空间；将教师模型中同一特征空间上的X线平片的2D图像特征和CT的3D图像特征拼接融合后作为融合特征；利用融合特征和知识蒸馏的方法将教师模型的融合特征与学生模型X线平片的2D图像特征之间做蒸馏并计算蒸馏loss；通过在线蒸馏的方式，共同训练教师模型和学生模型的骨密度预测回归器。该发明专利技术有助于预测阶段只需要使用X线平片数据就能够很好的预测出骨密度值，帮助患者更早期的筛查骨质疏松症，降低骨质疏松症筛查的成本，降低骨折的风险。风险。风险。

【技术实现步骤摘要】
一种基于知识蒸馏的骨密度预测方法和系统


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于知识蒸馏的骨密度预测方法和系统。

技术介绍

[0002]骨质疏松症一种骨骼系统性疾病，骨密度和骨质量下降，骨微结构破坏，造成骨脆性增加，从而更加容易发生骨折、增加肺部感染发生率等不好的影响。骨密度是诊断骨质疏松症的首选方法，通过骨密度的测量值便可以诊断骨质疏松症。X线平片是一种成本低、适用广的成像方式。从X线平片数据预测出骨密度值能够帮助患者进行早期的筛查，帮助患者更早期的筛查骨质疏松症，降低骨质疏松症筛查的成本，降低骨折的风险。
[0003]目前从X线平片预测骨密度值问题缺少现有的相关技术，同时无法充分利用医院已有的数据。

技术实现思路

[0004]本专利技术要克服现有技术的上述缺点，提供一种基于知识蒸馏的骨密度预测方法和系统。
[0005]为了解决上述技术问题，本专利技术提出一种基于知识蒸馏的骨密度预测方法，所述方法包括：
[0006]S110，通过计算机视觉技术分别提取X线平片、CT(电子计算机断层扫描)的图像特征，教师模型含有两种图像特征，学生模型只有X线平片图像特征；
[0007]S120，利用深度学习技术将教师模型中X线平片的2D图像特征和CT的3D图像特征映射到同一特征空间。
[0008]S130，将教师模型中同一特征空间上的X线平片的2D图像特征和CT的3D图像特征拼接融合后作为融合特征。
[0009]S140，利用融合特征和知识蒸馏的方法将教师模型的融合特征与学生模型X线平片的2D图像特征之间做蒸馏并计算蒸馏loss。
[0010]S150，通过在线蒸馏的方式，共同训练教师模型和学生模型的骨密度预测回归器。
[0011]进一步的，步骤S110所述的通过计算机视觉技术分别提取X线平片、CT(电子计算机断层扫描)的图像特征，教师模型含有两种图像特征，学生模型只有X线平片图像特征，具体包括：
[0012]S1101，利用经过自然图像数据集上预训练的2D
‑
ResNet网络模型提取X线平片的图像特征图g
x
。
[0013]S1102，利用经过医学图像数据集上预训练的3D
‑
ResNet网络模型提取CT数据的图像特征图g
ct
。
[0014]S1103，对提取的图像特征图分别经过2D全局平均池化以及3D全局平均池化技术得到特征向量v
x
和v
ct
。
[0015]进一步的，步骤S120所述的利用深度学习技术将教师模型中X线平片的2D图像特征和CT的3D图像特征映射到同一特征空间，具体包括：
[0016]S1201，通过设计多层感知机f
x
在教师模型中将特征向量v
x
映射到某一特征空间得到特征向量v
fx
，即v
fr
＝f
x
(v
x
)。
[0017]S1202，通过设计多层感知机f
ct
在教师模型中将特征向量v
ct
映射到v
fx
特征空间得到特征向量v
fct
，即v
fct
＝f
ct
(v
ct
)。
[0018]进一步的，步骤S130所述的将教师模型中同一特征空间上的X线平片的2D图像特征和CT的3D图像特征拼接融合后作为融合特征，具体包括：
[0019]S1301，将X线平片的特征向量v
fx
与CT的特征向量v
fct
进行拼接操作得到特征向量v
r
＝[v
fx
,v
fct
]。
[0020]S1302，通过设计多层感知机f
r
将v
fx
和v
fct
简单拼接后的特征向量v
r
进一步融合得到特征向量v
fr
，即v
fr
＝f
r
(v
r
)。
[0021]进一步的，步骤S140所述的利用融合特征和知识蒸馏的方法将教师模型的融合特征与学生模型X线平片的2D图像特征之间做蒸馏并计算蒸馏loss，具体包括：
[0022]S1401，通过设计多层感知机f
sx
将学生模型中X线平片的2D图像特征向量v
x
映射到融合特征向量v
fr
同一特征空间中，并且维度相同得到特征向量v
sx
，即v
sx
＝f
sx
(v
x
)。
[0023]S1402，通过知识蒸馏方法将教师模型的融合特征v
fr
蒸馏到学生模型的v
sx
，这样学生模型在预测的时候只需要用到X线平片的数据，通过平均平方误差损失函数MSE来计算蒸馏损失loss
z
，即loss
z
＝MSE(v
sx
，v
fr
)。
[0024]进一步的，步骤S150所述的通过在线蒸馏的方式，共同训练教师模型和学生模型的骨密度预测回归器，具体包括：
[0025]S1501，设计教师模型中以融合特征向量v
fr
作为输入的一种骨密度预测的多层感知机回归器m
t
；
[0026]S1502，利用该多层感知机回归器m
t
根据融合特征向量v
fr
得到骨密度的预测值y1，即y1＝m
t
(v
fr
)。
[0027]S1503，设计学生模型中以X线平片特征向量处理后的v
sx
作为输入的一种骨密度预测的多层感知机回归器m
s
；
[0028]S1504，利用该多层感知机回归器m
t
根据X线平片特征向量处理后的v
sx
得到骨密度的预测值y2，即y2＝m
s
(v
sx
)。
[0029]S1505，通过平均平方误差损失函数MSE来计算真实骨密度y与y1、y2之间的损失loss
t
、loss
x
，即loss
t
＝MSE(y1，y)、loss
s
＝MSE(y2，y)。
[0030]S1506，设计了一种加权损失方法结合三种loss
z
、loss
t
、loss
s
作为最终的损失来训练模型。
[0031]进一步的，步骤S1506所述的设计了一种加权损失方法结合三种loss
z
、loss
t
、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的骨密度预测方法，其特征在于，包括如下步骤：S110，通过计算机视觉技术分别提取X线平片、电子计算机断层扫描CT的图像特征，教师模型含有两种图像特征，学生模型只有X线平片图像特征；S120，利用深度学习技术将教师模型中X线平片的2D图像特征和CT的3D图像特征映射到同一特征空间；S130，将教师模型中同一特征空间上的X线平片的2D图像特征和CT的3D图像特征拼接融合后作为融合特征；S140，利用融合特征和知识蒸馏的方法将教师模型的融合特征与学生模型X线平片的2D图像特征之间做蒸馏并计算蒸馏loss；S150，通过在线蒸馏的方式，共同训练教师模型和学生模型的骨密度预测回归器。2.如权利要求1所述的基于知识蒸馏的骨密度预测方法，其特征在于，步骤S110包括：S1101，利用经过自然图像数据集上预训练的2D
‑
ResNet网络模型提取X线平片的图像特征图g
x
；S1102，利用经过医学图像数据集上预训练的3D
‑
ResNet网络模型提取CT数据的图像特征图g
ct
；S1103，对提取的图像特征图分别经过2D全局平均池化以及3D全局平均池化技术得到特征向量v
x
和v
ct
。3.如权利要求1所述的基于知识蒸馏的骨密度预测方法，其特征在于，步骤S120包括：S1201，通过设计多层感知机f
x
在教师模型中将特征向量v
x
映射到某一特征空间得到特征向量v
fx
，即v
fr
＝f
x
(v
x
)；S1202，通过设计多层感知机f
ct
在教师模型中将特征向量v
ct
映射到v
fx
特征空间得到特征向量v
fct
，即v
fct
＝f
ct
(v
ct
)。4.如权利要求1所述的基于知识蒸馏的骨密度预测方法，其特征在于，步骤S130包括：S1301，将X线平片的特征向量v
fx
与CT的特征向量v
fct
进行拼接操作得到特征向量v
r
＝[v
fx
，v
fct
]；S1302，通过设计多层感知机f
r
将v
fx
和v
fct
简单拼接后的特征向量v
r
进一步融合得到特征向量v
fr
，即v
fr
＝f
r
(v
r
)。5.如权利要求1所述的基于知识蒸馏的骨密度预测方法，其特征在于，步骤S140包括：S1401，通过设计多层感知机f
sx
将学生模型中X线平片的2D图像特征向量v
x
映射到融合特征向量v
fr
同一特征空间中，并且维度相同得到特征向量v
sx
，即v
sx
＝f
sx
(v
x
)；S1...

【专利技术属性】
技术研发人员：卜佳俊，戚忠达，于智，史可越，杨俊尧，
申请(专利权)人：浙江大学，
类型：发明
国别省市：