基于神经网络的骨骼肌切片识别方法、系统、储存介质技术方案

本发明专利技术涉及一种基于神经网络的骨骼肌切片识别方法、系统、储存介质，包括：通过残差连接网络提取骨骼肌切片图像特征，输出特征矩阵；对特征矩阵切分并进行位置嵌入编码，得到位置嵌入编码后的特征矩阵；将位置嵌入编码后的特征矩阵输入自注意力网络进行分类预测，得到分类预测结果；将分类预测结果与实际分类对比得到损失函数，利用损失函数更新残差连接网络和自注意力网络的参数；循环执行上述步骤直至损失函数趋近于零，得到训练后的残差连接网络和自注意力网络；使用训练后的残差连接网络和自注意力网络对骨骼肌切片图像进行分类预测识别，得到分类预测结果，使用Grad

【技术实现步骤摘要】
基于神经网络的骨骼肌切片识别方法、系统、储存介质


[0001]本专利技术涉及骨骼肌切片识别领域，尤其涉及一种基于神经网络的骨骼肌切片识别方法、系统、储存介质。

技术介绍

[0002]骨骼肌是人体最大的器官，其疾病谱广泛，骨骼肌疾病种类多达几百种。骨骼肌可分为扁肌、羽状肌、梭形肌、方肌、环形肌，其形态各异，肌病图像也各不相同。按大类分，骨骼肌疾病包括炎性肌肉病、肌营养不良、先天性肌肉病、代谢性肌肉病，因其发病率低，都属于罕见病。骨骼肌切片多用组织学及酶组织化学染色技术进行处理，一般多用H&E染色方法，又称苏木素
‑
伊红染色法，其中苏木素是Hematoxylin，简称H，伊红是Eosin，简称E，这是是普通光学显微镜观察与鉴别细胞凋亡与细胞坏死的一种染色方法。这种方法适用范围广泛，对组织细胞的各种成分都可着色，便于全面观察组织构造，而且适用于各种固定液固定的材料，染色后不易褪色可长期保存。经过HE染色，细胞核被苏木素染成蓝紫色，细胞质被伊红染色呈粉红色。同时也可采用其他染色方法比如改良Gomori三染色、四氮唑还原酶染色等等。骨骼肌冰冻切片经H&E染色技术处理后，在切片扫描仪中转化为数字图像，在经过神经网络算法识别。
[0003]目前神经网络对于骨骼肌切片的肌病分类识别大多都采用传统的卷积神经网络CNN或者循环神经网络RNN，还有的仅仅使用单一的卷积神经网络（ResNet或者DenseNet）进行分类识别，例如，如图1为训练并使用卷积神经网络(DenseNet)进行肌病切片识别的过程。将数据集分为6个子集：4个训练集、1个验证集和1个测试集，4个训练集、1个验证集循环用于模型的训练，1个测试集用于测试模型的准确度。图2为单一卷积神经网络(DenseNet)的测试结果，其中第二、三大行为先天性疾病和非炎性疾病的分类识别结果，最后一列为肌病切片识别准确率，可以看见对于这些肌病的分类准确率并不高，最低只有66.9%的准确率，这在医学诊断上是不可接受的。因此使用传统或者单一的神经网络识别骨骼肌切片存在准确率不高的问题。
[0004]针对上述的现有技术存在的问题设计一种基于神经网络的骨骼肌切片识别方法、系统、储存介质是本专利技术研究的目的。

技术实现思路

[0005]针对上述现有技术存在的问题，本专利技术在于提供一种基于神经网络的骨骼肌切片识别方法、系统、储存介质，能够有效解决上述现有技术存在的问题。
[0006]本专利技术一方面提供一种基于神经网络的骨骼肌切片识别方法，包括：S1通过残差连接网络提取骨骼肌切片图像特征，输出特征矩阵；S2对特征矩阵切分并进行位置嵌入编码，得到位置嵌入编码后的特征矩阵；S3将位置嵌入编码后的特征矩阵输入自注意力网络进行分类预测，得到分类预测结果；
S4将分类预测结果与实际分类对比得到损失函数，利用损失函数更新残差连接网络和自注意力网络的参数；S5循环执行步骤S1
‑
S4直至损失函数趋近于零，得到训练后的残差连接网络和自注意力网络；S6使用训练后的残差连接网络和自注意力网络对骨骼肌切片图像进行分类预测识别，得到分类预测结果，使用Grad
‑
CAM对分类图像进行视觉分析解释。
[0007]其中，所述通过残差连接网络提取骨骼肌切片图像特征，输出特征矩阵之前，执行：收集多张骨骼肌切片图像，将所有的所述骨骼肌切片图像的分辨率统一。
[0008]其中，所述输出特征矩阵包括：选取所述残差连接网络的倒数第二层的输出作为所述特征矩阵。
[0009]其中，所述对特征矩阵切分包括：将所述特征矩阵切分成1*1矩阵；将1*1矩阵展平成一维向量。
[0010]其中，所述进行位置嵌入编码包括：对所述特征矩阵内每个所述一维向量进行位置编码；将位置编码后的每个所述一维向量加入到原有的所述一维向量中。
[0011]其中，所述自注意力网络包括缩放点积注意力层、多头注意力连接层、线性层。
[0012]其中，所述将位置嵌入编码后的特征矩阵输入自注意力网络进行分类预测包括：S301将所述特征矩阵输入到K个所述缩放点积注意力层，得到K个注意力值；S302将K个注意力值输入到所述多头注意力连接层，得到联合矩阵；S303将联合矩阵输入到所述线性层，得到线性变换后的所述特征矩阵；S304循环执行步骤S301
‑
S303 6次，每次输出所述特征矩阵作为下一次的输入。
[0013]其中，所述使用Grad
‑
CAM对分类图像进行视觉分析解释包括：利用所述分类预测结果的梯度信息的全局平均计算重要性权重；使用重要性权重对所述分类图像加权和线性处理后，输入到ReLU激活函数得到热度图像。
[0014]本专利技术的另一方面提供一种基于神经网络的骨骼肌切片识别系统，包括：提取模块，用于通过残差连接网络提取骨骼肌切片图像特征，输出特征矩阵；编码模块，用于对特征矩阵切分并进行位置嵌入编码，得到位置嵌入编码后的特征矩阵；分类预测模块，用于将位置嵌入编码后的特征矩阵输入自注意力网络进行分类预测，得到分类预测结果；更新模块，用于将分类预测结果与实际分类对比得到损失函数，利用损失函数更新残差连接网络和自注意力网络的参数；训练模块，用于循环执行上述步骤直至损失函数趋近于零，得到训练后的残差连接网络和自注意力网络；分析模块，用于使用训练后的残差连接网络和自注意力网络对骨骼肌切片图像进行分类预测识别，得到分类预测结果，使用Grad
‑
CAM对分类图像进行视觉分析解释。
[0015]本专利技术的又一方面提供一种基于神经网络的骨骼肌切片识别存储介质，包括：所
述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，执行如上述的基于神经网络的骨骼肌切片识别方法。
[0016]因此，本专利技术提供以下的效果和/或优点：一是通过残差连接网络和自注意力网络的结合，将骨骼肌切片的识别准确率提高5%
‑
14%，实现对每种肌病的骨骼肌肌病的准确分类以及智能诊断。如图5所示实现比传统的卷积神经网络更好分类效果，准确率为97%，比单独使用卷积神经网络(ResNet和DenseNet)的准确率更高,同时也比ViT单独使用效果更好。
[0017]二是采用Grad
‑
CAM绘制出骨骼肌切片的热度图，可以直观的通过热度图看出骨骼肌切片病变区域。同时可以分析残差连接网络和自注意力网络对某一个分类类别的关注区域，通过残差连接网络和自注意力网络关注的区域能够反过来分析残差连接网络和自注意力网络是否学习到正确的特征或信息。
[0018]应当明白，本专利技术的上文的概述和下面的详细说明是示例性和解释性的，并且意在提供对如要求保护的本专利技术的进一步的解释。
附图说明
[0019]图1为本专利技术说明书中
技术介绍
卷积神经网络(DenseNet)肌病切片识别过程图。
[0020]图2为本专利技术说明书中
技术介绍
卷积神经网络(DenseNet)肌病切片本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于神经网络的骨骼肌切片识别方法，其特征在于，包括：S1通过残差连接网络提取骨骼肌切片图像特征，输出特征矩阵；S2对特征矩阵切分并进行位置嵌入编码，得到位置嵌入编码后的特征矩阵；S3将位置嵌入编码后的特征矩阵输入自注意力网络进行分类预测，得到分类预测结果；S4将分类预测结果与实际分类对比得到损失函数，利用损失函数更新残差连接网络和自注意力网络的参数；S5循环执行步骤S1
‑
S4直至损失函数趋近于零，得到训练后的残差连接网络和自注意力网络；S6使用训练后的残差连接网络和自注意力网络对骨骼肌切片图像进行分类预测识别，得到分类预测结果，使用Grad
‑
CAM对分类图像进行视觉分析解释。2.如权利要求1所述的基于神经网络的骨骼肌切片识别方法，其特征在于，所述通过残差连接网络提取骨骼肌切片图像特征，输出特征矩阵之前，执行：收集多张骨骼肌切片图像，将所有的所述骨骼肌切片图像的分辨率统一。3.如权利要求1所述的基于神经网络的骨骼肌切片识别方法，其特征在于，所述输出特征矩阵包括：选取所述残差连接网络的倒数第二层的输出作为所述特征矩阵。4.如权利要求1所述的基于神经网络的骨骼肌切片识别方法，其特征在于，所述对特征矩阵切分包括：将所述特征矩阵切分成1*1矩阵；将1*1矩阵展平成一维向量。5.如权利要求1或4所述的基于神经网络的骨骼肌切片识别方法，其特征在于，所述进行位置嵌入编码包括：对所述特征矩阵内每个所述一维向量进行位置编码；将位置编码后的每个所述一维向量加入到原有的所述一维向量中。6.如权利要求1所述的基于神经网络的骨骼肌切片识别方法，其特征在于，所述自注意力网络包括缩放点积注意力层、多头注意力连接层、线性层。7.如权利要求1或6所述的基于神经网络的骨骼肌切片识别方法，其特征在于，所述将位置嵌入编码后的特征矩阵输入自注意力网络进行分类预测包括：S301将所述特征矩阵输...

【专利技术属性】
技术研发人员：林友辉，陈万能，易佳，苗佳音，陈星宇，
申请(专利权)人：厦门大学，
类型：发明
国别省市：