一种利用红外热图像自动筛查甲状腺疾病的方法及系统技术方案

本发明专利技术公开了一种利用红外热图像自动筛查甲状腺疾病的方法及系统，属于人工智能技术中深度学习方法在医疗诊断领域的应用。本发明专利技术基于红外热图像，结合深度学习方法，提供了一种甲状腺疾病筛查方法，该方法根据采集到的受检者的甲状腺红外热图像自动对受检者患甲状腺疾病的风险程度进行评估，提高筛查效率、为医生提供客观、准确的筛查结果，指导医生选择合适的治疗方案。进一步的，本发明专利技术在利用红外热图像自动筛查甲状腺疾病方法的基础上设计了一个甲状腺疾病筛查系统，方便对筛查结果进行可视化的展示，以及生成筛查结果报告。以及生成筛查结果报告。以及生成筛查结果报告。

【技术实现步骤摘要】
一种利用红外热图像自动筛查甲状腺疾病的方法及系统


[0001]本专利技术涉及图像处理和甲状腺疾病自动筛查领域，具体涉及一种甲状腺红外热图像的分类方法和基于红外热图像对甲状腺疾病筛查的系统，属于人工智能技术中深度学习方法在医疗诊断领域的应用。

技术介绍

[0002]甲状腺作为重要的内分泌器官之一，其分泌的的甲状腺激素对于维持人体正常的新陈代谢、保证机体各系统器官的正常运作与神经系统的兴奋性都有至关重要的功效。调查数据显示，甲状腺疾病在我国属于高发疾病，对于甲状腺疾病的早期筛查至关重要。
[0003]目前在甲状腺疾病的早期筛查中，彩色多普勒超声是较为常用的方法。但是通过彩色多普勒超声来对甲状腺疾病进行早期筛查存在以下问题：第一，超声检测必须在病变部位发展至一定体积、密度或者形变之后才能显示这种异常的结构变化，而甲状腺疾病在早期产生的代谢变化、血液循环变化等异常难以通过超声图像呈现，这导致超声对于早期甲状腺疾病病变检测的灵敏度较低；第二、超声图像的采集需要具有专业背景知识的医生，其检测结果也会受医生对甲状腺疾病相关知识的熟悉程度影响；第三，超声的检测对检测设备的要求较高，检查费用较为昂贵，不适合用于大规模的疾病筛查工作。与超声检测基于病变部位的形态学结构识别异常不同，医学红外热成像技术通过接收人体细胞新陈代谢过程中的红外线辐射信号，经过信号处理后形成人体体表的温度分布图，能够在灵敏的检测出疾病早期由于代谢变化、血液循环变化而导致的温度变化。除此之外，红外热图像的采集不需要采集者具有专业的医学背景知识，并且其相对于超声检测而言检测成本较低，更适合用于疾病的大面积筛查工作。
[0004]在之前的研究中，研究者对于红外热图像的分析大多采用人工建立物理模型、数学统计分析、医生肉眼阅片解读等方法，这些分析方法依赖于研究者本身的经验，主观因素差异会影响分析结果的准确性。

技术实现思路

[0005]本专利技术主要是针对上述
技术介绍
中，超声在甲状腺疾病进行早期筛查中存在的灵敏度低、受医生专业背景知识等主观因素影响、对检测设备要求高、检测费用相对昂贵等问题，本专利技术第一方面提供了一种利用红外热图像自动筛查甲状腺疾病的方法，该方法结合医学红外热图像与深度学习模型Vision Transformer，根据深度学习模型对红外热图像的分类结果对受检者患甲状腺疾病风险程度进行评估。该方法主要包括以下步骤：
[0006]S1：制作甲状腺红外热图像数据集，采集受检者颈部以上红外热图像和受检者甲状腺超声检测分级结果，以受检者红外热图像作为样本，受检者超声检测分级结果作为样本标签；
[0007]S2：对红外热图像进行预处理，去除背景信息，获得颈部区域；
[0008]S3：构建基于Vision Transformer的图像分类模型，包括基于Transformer的特征
提取模块，用于甲状腺红外热图像的特征提取；以及基于MLP的图像分类模块，对Transformer提取到的特征进行分类；
[0009]S4：对S2中经过预处理后的甲状腺红外热图像数据集进行训练集和测试集的划分，定义损失函数和优化器，定义学习率递减方式；
[0010]S5：使用迁移学习策略，加载Vision Transformer在ImageNet上的预训练权重，基于反向传播算法，进行模型的多次迭代训练，经测试后保存效果最好的模型结构及参数；
[0011]S6：将需要进行分类的甲状腺红外热图像经过步骤S2中的预处理之后，输入训练好的基于Vision Transformer的图像分类模型，输出基于红外热图像的分类结果，根据该分类结果对受检者患甲状腺疾病的风险程度进行评估。
[0012]进一步的，步骤S2中预处理包括色彩阈值分割、提取最大轮廓区域、提取最大轮廓区域中最大内接矩形区域。
[0013]进一步的，步骤2中预处理具体包括以下步骤，
[0014]S2.1：基于HSV空间的颜色阈值分割，首先将采集到的RGB红外热图像转换到HSV颜色空间，然后设置最低阈值和最高阈值对甲状腺红外热图像进行颜色分割；
[0015]其中颜色空间转化公式为：
[0016]R
′
＝R/255
[0017]G
′
＝G/255
[0018]B
′
＝B/255
[0019]C
max
＝max(R
′
，G
′
，B
′
)
[0020]C
min
＝min(R
′
，G
′
，B
′
)
[0021]Δ＝C
max
‑
C
min
[0022][0023][0024]其中，R，G，B分别代表RGB图像在3个颜色通道中的像素值，H、S、V为转换后的HSV图像中各个通道的取值，R
′
、G
′
、B
′
、C
max
、C
min
、Δ均为中间计算结果值；
[0025]S2.2：计算S2.1颜色分割所得到的图像中所有轮廓区域的面积，获取面积最大区域的轮廓坐标；
[0026]S2.3：根据S2.2中获得的最大面积区域轮廓坐标计算该区域的最大内接矩形坐标；
[0027]S2.4：根据最大内接矩形坐标值从原图中裁剪出颈部区域。
[0028]进一步的，步骤S3基于Transformer编码器模块对甲状腺红外热图像进行特征提取，基于MLP模块对提取到的图像特征进行分类，具体包含以下步骤：
[0029]S3.1：将步骤2中预处理后得到的图像Resize至特定的分辨率大小H*W，并将图像划分成大小为M*M的Patch图像块，共得到N个图像块，组成一个Patch图像块；
[0030]S3.2：对这N个Pacth块序列进行图像块嵌入操作，使每个Patch块展开形成一维向量，获得N个一维向量组成的序列；
[0031]S3.3：通过位置嵌入操作引入位置编码为每个Patch图像块加入其图像序列中的位置信息，将S3.2中得到的N个一维向量组成的序列与位置嵌入结果相加得到新的一维向量序列；
[0032]S3.4：引入最终用于甲状腺红外图像分类的可学习类别嵌入向量Cls Token，将其与S3.3中得到的向量序列进行拼接得到最终用于特征提取的一维向量序列；
[0033]S3.5：将S3.4中得到的一维向量序列输入Transformer编码器模块，编码器模块由多头注意力机制、层归一化和跳跃连接构成的MSA Block以及由前馈网络、层归一化和跳跃连接构成的MLP Block组成；
[0034]S3.6：取得Transformer编码器模块的第一个位置可学习类别嵌入向量Cls Token的输出作为学习到的关于甲状腺红外热图像的特征向量；
[0035]S3.7：M本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用红外热图像自动筛查甲状腺疾病的方法，其特征在于，包含以下步骤：S1：制作甲状腺红外热图像数据集，采集受检者颈部以上红外热图像和受检者甲状腺超声检测分级结果，以受检者红外热图像作为样本，受检者超声检测分级结果作为样本标签；S2：对红外热图像进行预处理，去除背景信息，获得颈部区域；S3：构建基于Vision Transformer的图像分类模型，包括基于Transformer的特征提取模块，用于甲状腺红外热图像的特征提取；以及基于MLP的图像分类模块，对Transformer提取到的特征进行分类；S4：对S2中经过预处理后的甲状腺红外热图像数据集进行训练集和测试集的划分，定义损失函数和优化器，定义学习率递减方式；S5：使用迁移学习策略，加载Vision Transformer在ImageNet上的预训练权重，基于反向传播算法，进行模型的多次迭代训练，经测试后保存效果最好的模型结构及参数；S6：将需要进行分类的甲状腺红外热图像经过步骤S2中的预处理之后，输入训练好的基于Vision Transformer的图像分类模型，输出基于红外热图像的分类结果，根据该分类结果对受检者患甲状腺疾病的风险程度进行评估。2.根据权利要求1所述的方法，其特征在于：步骤S2中预处理包括色彩阈值分割、提取最大轮廓区域、提取最大轮廓区域中最大内接矩形区域。3.根据权利要求1或2所述的方法，其特征在于：步骤2中预处理具体包括以下步骤，S2.1：基于HSV空间的颜色阈值分割，首先将采集到的RGB红外热图像转换到HSV颜色空间，然后设置最低阈值和最高阈值对甲状腺红外热图像进行颜色分割；其中颜色空间转化公式为：R
′
＝R/255G
′
＝G/255B
′
＝B/255C
max
＝max(R
′
，G
′
，B
′
)C
min
＝min(R
′
，G
′
，B
′
)Δ＝C
max
‑
C
minmin
V＝C
max
其中，R，G，B分别代表RGB图像在3个颜色通道中的像素值，H、S、V为转换后的HSV图像中各个通道的取值，R
′
、G
′
、B
′
、C
max
、C
min
、Δ均为中间计算结果值；
S2.2：计算S2.1颜色分割所得到的图像中所有轮廓区域的面积，获取面积最大区域的轮廓坐标；S2.3：根据S2.2中获得的最大面积区域轮廓坐标计算该区域的最大内接矩形坐标；S2.4：根据最大内接矩形坐标值从原图中裁剪出颈部区域。4.根据权利要求1所述的方法，其特征在于：步骤S3基于Transformer编码器模块对甲状腺红外热图像进行特征提取，基于MLP模块对提取到的图像特征进行分类，具体包含以下步骤：S3.1：将步骤2中预处理后得到的图像Resize至特定的分辨率大小H*W，并将图像划分成大小为M*M的Patch图像块，共得到N个图像块，组成一个Patch图像块；S3.2：对这N个Pacth块序列进行图像块嵌入操作，使每个Patch块展开形成一维向量，获得N个一维向量组成的序列；S3.3：通过位置嵌入操作引入位置编码为每个Patch图像块加入其图像序列中的位置信息，将S3.2中得到的N个一维向量组成的序列与位置嵌入结果相加得到新的一维向量序列；S3.4：引入最终用于甲状腺红外图像分类的可学习类别嵌入向量Cls Token，将其与S3.3中得到的向量序列进行拼接得到最终用于特征提取的一维向量序...

【专利技术属性】
技术研发人员：刘娟，张娜，冯晶，
申请(专利权)人：武汉大学，
类型：发明
国别省市：