一种适用多尺寸图像的关节病变分型系统技术方案

本发明专利技术提供一种适用多尺寸图像的关节病变分型系统，包括：分型预测模块，使用预先已训练的分型网络模型对输入的待预测关节图像进行预测，并输出关节病变程度的预测结果；分型网络模型依次包括：卷积模块提取第一特征图；卷积注意力模块为第一特征图输出加权后形成的第二特征图；空间金字塔池化模块将第二特征图转化成预定大小的特征向量；全连接模块根据特征向量预测节病变程度并输出预测结果。可以适应各种尺寸图像，无需对原始关节图像进行过多尺寸方面的预处理，减少了输入图像的信息损失。失。失。

【技术实现步骤摘要】
一种适用多尺寸图像的关节病变分型系统


[0001]本专利技术涉及医学图像处理
，尤其涉及一种适用多尺寸图像的关节病变分型系统。

技术介绍

[0002]近年来，深度学习在大数据时代之下发展迅猛，神经网络可以自动从大量样本数据中学习并提取相应的特征，从而提升机器学习任务的各种性能。随着深度学习技术的发展，其也被众多学者运用到医学影像的分析诊断领域。医学影像是临床疾病诊断的重要辅助工具，目前有超过70％的骨关节疾病的诊断需要借助医学影像数据，其中涵盖了骨折、骨肿瘤和骨关节退行性病等。由于医学影像数据丰富，数据维度大，众多学者针对该方向展开了研究。
[0003]目前有众多研究将深度学习运用到骨骼分类、骨折检测以及骨科病变分型中，但是无论是X线片还是CT图像，绝大多数算法对所用影像数据的尺寸有着明确的要求，即在训练、测试时所使用的图像尺寸须保持一致。这样做的好处是神经网络模型可以更好的提取图像的特征以达到较高的分类、检测的准确率。但是当遇到图片尺寸不一致的情况时，就需要对图像进行裁剪、拉伸等预处理操作，这会时图像中的信息发生改变，反而会导致模型准确率的下降。
[0004]同时，由于图形处理器等硬件设备的高速发展，众多研究人员倾向于构建更深的深度学习网络以期获得提取更加完整的图像特征，但是更深的网络意味着需要更多的显存以及更长的训练时间，这对于某些问题并不是最优的解决方案。

技术实现思路

[0005]基于上述问题，本专利技术提供一种适用多尺寸图像的关节病变分型系统，旨在解决现有技术中训练前预处理尺寸影响分类准确性等技术问题。
[0006]一种适用多尺寸图像的关节病变分型系统，包括：
[0007]分型预测模块，使用预先已训练的分型网络模型对输入的待预测关节图像进行预测，并输出关节病变程度的预测结果；
[0008]分型确定模块，连接分型预测模块，用于根据预测结果确定关节病变的分型结果；
[0009]分型网络模型依次包括卷积模块、卷积注意力模块、空间金字塔池化模块和全连接模块；
[0010]卷积模块对输入的待预测关节图像进行特征提取，输出第一特征图；
[0011]卷积注意力模块为第一特征图的每个通道附加权重，输出加权后形成的第二特征图；
[0012]空间金字塔池化模块将第二特征图转化成预定大小的特征向量；
[0013]全连接模块根据特征向量预测节病变程度并输出预测结果。
[0014]进一步的，卷积模块和卷积注意力模块之间还具有第一激活层。
[0015]进一步的，卷积注意力模块包括依次连接的第一卷积注意力模块和第二卷积注意力模块。
[0016]进一步的，第一卷积注意力模块和第二卷积注意力模块中的每一个均包括依次连接的第二卷积层、第二激活层、注意力机制模块。
[0017]进一步的，注意力机制模块包括依次连接的第一全连接层、第三激活层、第二全连接层、第四激活层以及乘积操作单元；
[0018]乘积操作单元的输入还包括第一全连接层的输出。
[0019]进一步的，空间金字塔池化模块用于：
[0020]分别将第二特征图划分成4
×
4的特征块、2
×
2的特征块以及1
×
1的特征块；
[0021]提取每个特征块的特征值；
[0022]对特征值进行拼接形成预定大小的特征向量。
[0023]进一步的，每个特征块的特征值为特征块中的最大值。
[0024]进一步的，全连接模块包括依次连接的第三全连接层、第四全连接层、第五全连接层和第六全连接层。
[0025]进一步的，关节病变程度分为无损伤、疑似损伤、轻微损伤、中度损伤和严重损伤5种损伤类型；
[0026]预测结果包括关节图像出现每种损伤类型的概率；
[0027]分型确定模块将预测出的最大概率的损伤类型作为分型结果。
[0028]进一步的，还包括训练模块，连接分型预测模块，用于对分型网络模型进行训练，训练模块包括：
[0029]样本收集单元，用于收集若干不同尺寸的关节图像作为样本形成样本数据，样本数据中存在不同尺寸的样本；
[0030]训练单元，连接样本收集单元，使用样本集合中的样本对分型网络模型进行训练。
[0031]本专利技术的有益技术效果在于：本专利技术利用注意力机制，对每个通道特征附加权重，引导网络关注更有用的特征并抑制对病变分型无用的特征，同时使用空间金字塔池化结构使得网络可以适应各种尺寸图像，无需对原始关节图像进行过多的预处理，减少了输入图像的信息损失。
附图说明
[0032]图1
‑
4为本专利技术一种适用多尺寸图像的关节病变分型系统的模块示意图。
具体实施方式
[0033]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0035]下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。
[0036]参加图1和图3，本专利技术提供一种适用多尺寸图像的关节病变分型系统，包括：
[0037]分型预测模块(1)，使用预先已训练的分型网络模型对输入的待预测关节图像进行预测，并输出关节病变程度的预测结果；
[0038]分型确定模块(2)，连接分型预测模块(1)，用于根据预测结果确定关节病变的分型结果；
[0039]分型网络模型依次包括卷积模块(101)、卷积注意力模块(102)、空间金字塔池化模块(103)和全连接模块(104)；
[0040]卷积模块(101)对输入的待预测关节图像进行特征提取，输出第一特征图；
[0041]卷积注意力模块(102)为第一特征图的每个通道附加权重，输出加权后形成的第二特征图；
[0042]空间金字塔池化模块(103)将第二特征图转化成预定大小的特征向量；
[0043]全连接模块(104)根据特征向量预测节病变程度并输出预测结果。
[0044]本专利技术利用注意力机制，对每个通道特征附加权重，引导网络关注更有用的特征并抑制对病变分型无用的特征，同时使用空间金字塔池化结构使得网络可以适应各种尺寸图像，无需对原始关节图像进行过多的预处理，减少了输入图像的信息损失。
[0045]进一步的，待预测关节图像为灰度图像。
[0046]进一步的，卷积模块(101)包括第一卷积层，第一卷积层的卷积核大小为4
×
4，步长为2。
[0047]进一步的，卷积模块(101)和卷积注意力模块(102)之间还具有第一激活层。
[0048]进一步的，第一激活层为ReLU(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用多尺寸图像的关节病变分型系统，其特征在于，包括：分型预测模块，使用预先已训练的分型网络模型对输入的待预测关节图像进行预测，并输出关节病变程度的预测结果；分型确定模块，连接所述分型预测模块，用于根据所述预测结果确定关节病变的分型结果；所述分型网络模型依次包括卷积模块、卷积注意力模块、空间金字塔池化模块和全连接模块；所述卷积模块对输入的所述待预测关节图像进行特征提取，输出第一特征图；所述卷积注意力模块为所述第一特征图的每个通道附加权重，输出加权后形成的第二特征图；所述空间金字塔池化模块将所述第二特征图转化成预定大小的特征向量；所述全连接模块根据所述特征向量预测节病变程度并输出预测结果。2.如权利要求1所述的一种实现关节病变分型的系统，其特征在于，所述卷积模块和卷积注意力模块之间还具有第一激活层。3.如权利要求1所述的一种实现关节病变分型的系统，其特征在于，所述卷积注意力模块包括依次连接的第一卷积注意力模块和第二卷积注意力模块。4.如权利要求3所述的一种实现关节病变分型的系统，其特征在于，所述第一卷积注意力模块和第二卷积注意力模块中的每一个均包括依次连接的第二卷积层、第二激活层、注意力机制模块。5.如权利要求4所述的一种实现关节病变分型的系统，其特征在于，所述注意力机制模块包括依次连接的第一全连接层、第三激活层、第二全连接层、第四激活层以及乘积操作单元；所述乘积操作单元的输入还包括所述第一全连...

【专利技术属性】
技术研发人员：王加兴，张子恒，朱万博，
申请(专利权)人：上海市第六人民医院，
类型：发明
国别省市：