基于全局和局部特征协作的骨龄评估方法、装置、设备及介质制造方法及图纸

本发明专利技术提供了基于全局和局部特征协作的骨龄评估方法、装置、设备及介质，涉及图像处理领域，包括：建立初始评估模型并进行训练，获得目标评估模型；获取待评估的骨影像，预处理后输入至目标评估模型；采用第一卷积网络行特征提取，以获得全局特征；采用预训练后的目标检测模型进行识别后裁剪，获得若干包含预设类别的ROI区的子图像；采用第二卷积网络对各个子图像进行特征提取，以获得若干局部特征；对全局特征和局部特征执行卷积和归一化，获得全局上下文局部特征；将各个局部特征与全局上下文局部特征融合后，连接全局特征和局部特征，并通过一全连接层处理，获得骨龄评估结果，解决现有缺乏一种充分挖掘数据特征的全自动骨龄评估方法的问题。评估方法的问题。评估方法的问题。

【技术实现步骤摘要】
基于全局和局部特征协作的骨龄评估方法、装置、设备及介质


[0001]本专利技术涉及图像处理领域，尤其涉及基于全局和局部特征协作的骨龄评估方法、装 置、设备及介质。

技术介绍

[0002]人的生长发育可用两个“年龄”来表示，即生活年龄(日历年龄)和生物年龄(骨 龄)。人类骨骼发育的变化基本相似，每一根骨头的发育过程都具有连续性和阶段性。不 同阶段的骨头具有不同的形态特点，因此，骨龄评估能较准确地反映个体的生长发育水 平和成熟程度。骨龄最早应用于医学儿科上，它不仅可以确定儿童的生物学年龄，而且 还可以通过骨龄及早了解儿童的生长发育潜力以及性成熟的趋势，通过骨龄还可预测儿 童的成年身高。当骨龄
‑
生活年龄的差值在
±
1以内的称为发育正常，>1的称为发育提前 (简称：早熟)；<
‑
1岁则是发育落后(简称：晚熟)。骨龄的异常，常常是儿科某些内分 泌疾病所表现的一个方面。因此骨龄的评估还对一些儿科内分泌疾病的诊断有很大帮助。 除此之外，骨龄因可以提供科学、客观的生物年龄鉴定，也常常被用在在体育运动员鉴 定和司法中判案过程中。
[0003]骨龄评估通常是对被测者的手部和腕部进行X光摄片，然后由医生根据拍得的X光 片进行解读。解读的方法可分为与标准图谱比较的GP图谱法、按骨发育分期评分的TW 评分法。临床骨龄判读依赖于专家的经验，具有工作量大、测定周期长、重复性差、主 观性强、不稳定、欠可靠等缺点。GP图谱法基于儿童生长研究的标准化放射图谱。通过 直接比较受试者的X射线图像与标准图谱来评估骨龄，以获得骨龄。GP方法简单、清晰、 易于使用，在国际上得到广泛应用。但其局限性在于，它是高度主观的，其准确性无法 保证。TW对特定骨骺的成熟度进行评分，通过检查骨龄量表(目前修订为TW3)得出 骨龄。由于TW3方法独立地对每个骨骺的成熟度进行评分，因此TW3评分方法比GP 更客观、更稳健。然而，值得注意的是，TW评估过程非常复杂，需要有经验的儿科放 射科医师花费一定的时间来完成骨龄评估。因此，许多研究人员致力于开发快速、准确 和更客观的骨龄评估方法。
[0004]骨龄阅片由于人工判读主观性强，不同年资医生判读结果有很大的差异性。同时， 由于医学图像的采集成本更高，标记需要专业的放射科医生，费时费力，因此专门用于 骨龄预测并具有高质量标签的数据集非常有限。传统的自动化评估方法大多需要人工设 计特征作为输入，无法满足自动化的要求，其性能也难以满足实际应用的要求。因此， 提出一种不仅满足临床需求，也可以充分挖掘数据特征的全自动骨龄评估方法很有必要。

技术实现思路

[0005]为了克服上述技术缺陷，本专利技术的目的在于提供基于全局和局部特征协作的骨龄评 估方法、装置、设备及介质，用于解决现有缺乏一种满足临床需求，也可以充分挖掘数 据特征的全自动骨龄评估方法的问题。
[0006]本专利技术公开了一种基于全局和局部特征协作的骨龄评估方法，包括：
[0007]建立初始评估模型并采用训练样本进行训练，获得目标评估模型；其中，所述目标 评估模型包括第一卷积网络、目标检测模型、第二卷积网络以及Transformer网络；
[0008]获取待评估的骨影像，预处理后获得待处理图像，以输入至所述目标评估模型；
[0009]采用第一卷积网络对所述待处理图像进行特征提取，以获得全局特征；
[0010]采用预训练后的目标检测模型对所述待处理图像进行识别后裁剪，获得若干包含预 设类别的ROI区的子图像；
[0011]采用第二卷积网络对各个子图像进行特征提取，以获得若干局部特征；
[0012]利用Transformer网络对所述全局特征和所述局部特征执行卷积和归一化，获得全局 上下文局部特征；
[0013]将各个局部特征与所述全局上下文局部特征融合后，连接所述全局特征和局部特征， 并通过一全连接层处理，获得骨龄评估结果。
[0014]优选地，所述对所述全局特征和所述局部特征执行卷积和归一化，获得全局上下文 局部特征，包括：
[0015]对各个所述局部特征采用1*1卷积层进行处理，获得多个第一特征数据；
[0016]对所述全局特征采用1*1卷积层进行处理，获得第二特征数据；
[0017]再次采用1*1卷积层对所述第二特征数据进行处理，获得第三特征数据；
[0018]将各个所述局部特征对应的第一特征数据与所述第二特征数据乘积后归一化，以获 得每个局部特征对应的全局上下文特征，将各个局部特征对应的全局上下文特征加和后 再与所述第三特征数据的乘积，获得全局上下文局部特征。
[0019]优选地，所述全局上下文局部特征可以表示为：
[0020]其中，为第一特征数据的矩阵表示；为第二特 征数据的矩阵表示；为第三特征数据的矩阵表示；T表示矩阵的转置；；i为预设类别 的ROI区的类别索引；j为待处理图像的位置索引；d为通道数。
[0021]优选地，所述采用训练样本进行训练，获得目标评估模型，包括：
[0022]从一数据库中收集已标定有骨龄信息的骨影像，并基于所述骨龄信息，以自然年周 期分类，形成包含至少一组骨龄信息位于[a，b)区间，其中a、b为正整数的骨影像作为 数据集；
[0023]对所述数据集中的各个图像作直方图均衡化处理以及尺寸调整；
[0024]随机选取所述数据集中的图像生成训练集、验证集和测试集，以生成训练样本，并 对初始评估模型进行训练，以获得目标评估模型。
[0025]优选地，在生成训练样本前，还包括：
[0026]对所述训练集和所述验证集进行数据增广；
[0027]其中，所述数据增广包括图像转置、水平镜像、旋转、平移、缩放或尺度变换。
[0028]优选地，所述采用预训练后的目标检测模型对所述待处理图像进行识别，对目标检 测模型进行训练，包括：
[0029]从一数据库中获取若干骨影像，并预先标记预设类别的ROI区，以生成训练数据；
[0030]基于YOLO网络建立目标检测模型，并根据预设类别的ROI区设置模型参数；
[0031]采用训练数据对所述目标检测模型进行训练，更新损失函数和权重参数，以获得预 训练后的目标检测模型。
[0032]优选地，所述采用预训练后的目标检测模型对所述待处理图像进行识别后裁剪，获 得若干包含预设类别的ROI区的子图像，包括：
[0033]用预训练后的目标检测模型对所述待处理图像进行识别，获得带有多个预测框的待 处理图像，其中，每一预测框对应一预设类别的ROI区；
[0034]当待处理图像中的ROI区数量低于预设值，则丢弃；
[0035]当待处理图像中的ROI区数量不低于预设值，则根据预设类别的ROI区进行裁剪， 获得若干子图像。
[0036]本专利技术还提供一种基于全局和局部特征协作的骨龄评估装置，包括：
[0037]训练模块，用于建立初本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全局和局部特征协作的骨龄评估方法，其特征在于，包括：建立初始评估模型并采用训练样本进行训练，获得目标评估模型；其中，所述目标评估模型包括第一卷积网络、目标检测模型、第二卷积网络以及Transformer网络；获取待评估的骨影像，预处理后获得待处理图像，以输入至所述目标评估模型；采用第一卷积网络对所述待处理图像进行特征提取，以获得全局特征；采用预训练后的目标检测模型对所述待处理图像进行识别后裁剪，获得若干包含预设类别的ROI区的子图像；采用第二卷积网络对各个子图像进行特征提取，以获得若干局部特征；利用Transformer网络对所述全局特征和所述局部特征执行卷积和归一化，获得全局上下文局部特征；将各个局部特征与所述全局上下文局部特征融合后，连接所述全局特征和局部特征，并通过一全连接层处理，获得骨龄评估结果。2.根据权利要求1所述的评估方法，其特征在于，所述对所述全局特征和所述局部特征执行卷积和归一化，获得全局上下文局部特征，包括：对各个所述局部特征采用1*1卷积层进行处理，获得多个第一特征数据；对所述全局特征采用1*1卷积层进行处理，获得第二特征数据；再次采用1*1卷积层对所述第二特征数据进行处理，获得第三特征数据；将各个所述局部特征对应的第一特征数据与所述第二特征数据乘积后归一化，以获得每个局部特征对应的全局上下文特征，将各个局部特征对应的全局上下文特征加和后再与所述第三特征数据的乘积，获得全局上下文局部特征。3.根据权利要求2所述的评估方法，其特征在于：所述全局上下文局部特征可以表示为：其中，为第一特征数据的矩阵表示；为第二特征数据的矩阵表示；为第三特征数据的矩阵表示；T表示矩阵的转置；i为预设类别的ROI区的类别索引；j为待处理图像的位置索引；d为通道数。4.根据权利要求1所述的评估方法，其特征在于，所述采用训练样本进行训练，获得目标评估模型，包括：从一数据库中收集已标定有骨龄信息的骨影像，并基于所述骨龄信息，以自然年周期分类，形成包含至少一组骨龄信息位于[a，b)区间，其中a、b为正整数的骨影像作为数据集；对所述数据集中的各个图像作直方图均衡化处理以及尺寸调整；随机选取所述数据集中的图像生成训练集、验证集和测试集，以生成训练样本，并对初始评估模型进行训练，以获得目标评估模型。5.根据权利要求4所述的评估方法，其特征在于，在生成训练样本前，还包括：对所述训练集和所述验证集进行数据增广...

【专利技术属性】
技术研发人员：惠庆磊，洪源，
申请(专利权)人：杭州博钊科技有限公司，
类型：发明
国别省市：