【技术实现步骤摘要】
本专利技术属于机器学习、人工智能、医学图像分类，涉及基于拒识的人工智能、机器学习融合方法，适用于医疗系统脑瘤图像分类。
技术介绍
1、现有使用单个resnet网络模型的图像分类方法，但存在性能有限，准确率和鲁棒性不高的问题，。
2、另外，现有具有cnn特征的区域方法，能够解决在目标检测训练过程中标记数据不够的问题，但存在冗余计算，且对候选区域进行缩放操作时，会导致目标变形。
3、因此，提出一种基于拒识的resnet-transformer-深度融合方法，该方法设计合理且泛化效果好能解决准确率和鲁棒性的问题，对于冗余计算的问题也能够很好的解决。
技术实现思路
1、一种基于拒识的resnet-transformer-深度融合的脑瘤图像分类方法，将深度全连接层、注意力机制、resnet和transformer进行结合，用于脑瘤图像分类，该方法能对神经胶细胞瘤、脑膜瘤、垂体瘤的脑瘤疾病图像和健康图像进行精准分类，能对医学图像进行疾病种类的判断和拒识；在使用过程中的步骤为：
2、首先，将数据集中的图像数据分成两路，一路经过resnet+attention的网络，另一路经过transformer；
3、经过resnet+attention的网络再经全连接层1、全连接层2、全连接层3；
4、经过的transformer网络经过全连接层4、全连接层5、全连接层6；
5、同时，将经过全连接层3与全连接层6的两路网络同时输入全连接
6、resnet+attention网络将图像数据集又分为两路，一路经过resnet，另一路经过通道注意力机制然后与经过resnet的数据进行累加；然后，累加的数据再分为两路，一路经过resnet，一路经过通道注意力机制再累加；累加后再分两路分别经过resnet和通道注意力机制，进行最后的累加；将最后一次累加操作的数据输入至全连接层1，再输入全连接层2、再输入全连接层3中；
7、transformer网络结构，将图像经过编码器一，再接入到编码器二，再接入到编码器三，再接入到编码器四；编码器四接入到解码器一，编码器三和解码器一接入到解码器二，编码器二和解码器二接入到解码器三，编码器一和解码器三接入到解码器四，解码器四输入到全连接层4，再输入到全连接层5，然后输入到全连接层6中，最后与经过resnet+attention网络的输出数据一起输入至全连接层7中；
8、全连接层7输出时，由香农熵、相对熵、交叉熵三个损失函数分别计算损失值，采用最小的损失值进行resnet-transformer-深度融合网络的权重和偏置参数的更新与迭代；
9、香农熵为：
10、
11、交叉熵为：
12、
13、相对熵为：
14、
15、式中，h(x)为随机变量x的香农熵，h(p,q)是使用非真实分布q(xi)来表示来自真实分布p(xi)的平均编码长度的交叉熵，dkl(p||q)为衡量两个概率分布p(xi)和q(xi)之间差异的相对熵，p(xi)是真实概率分布，q(xi)是非真实概率分布，xi表示第i个离散的随机变量x，i＝1,2,3…n；n是随机变量的个数；log()是以10为底的对数函数，σ为求和符号；
16、resnet网络由五层构建层与平均池化层、全连接层、softmax层依次连接构成；第一个构建层是一个普通卷积层经过最大池化层后构成；第二个构建层由三个残差模块依次连接构成，其中，每个残存模块由一个3×3的卷积层经过relu激励层再经过一个3×3的卷积层，然后，与残差模块的输入累加后再经过一层relu激励层构成；第三个构建层由在一个降采样模块后面依次连接三个残差模块构成，其中，降采样模块由一个1×1的卷积层经过一层relu激励层，然后，经过一层3×3的卷积层再经过一层relu激励层，最后，经过一层1×1的卷积层后，再与降采样模块的输入累加后经过一层relu激励层构成，其输出接入残差模块中；第四层构建层由在一个降采样模块后面依次连接五个残差模块构成；第五层构建层由在一个降采样模块后面依次连接两个残差模块构成；第五层构建层输出至平均池化层中再经过全连接层，最后经softmax层计算输出概率后输出；
17、transformer中编码器的输入经input embedding模块转化再通过positionalencoding模块对输入进行位置标记后累加，然后分为四路，其中三路接入到multi-headattention层中，将multi-head attention层的输出与另外一路一同接入到第一个add&norm层中进行残差连接与层归一化操作，接着，又分为两路，一路接入到feed forward层中，另一路与feed forward层的输出一同接入到下一个add&norm层中进行残差连接与归一化操作后输出；上述模块组合构成一个encoder block，而多个encoder block构成编码器；其中，add&norm层由残差连接模块和层归一化模块两部分组成；
18、transformer中解码器的输入经output embedding模块转化再通过positionalencoding模块对转化后的输入进行位置标记后累加，然后分为四路，其中三路接入到masked multi-head attention层中，再将masked multi-head attention层的输出与第四路一同接入到第一个add&norm层中进行残差连接与层归一化操作，接着，又分为两路，一路与分成两路的编码器的输出一同接入到multi-head attention层中，另一路与multi-headattention层的输出一同接入到第二个add&norm层中进行残差连接与归一化操作，最后，再分为两路，一路经过feed forward层，另一路则与feed forward层的输出一同接入至第三个add&norm层中进行残差连接与归一化操作后，接入到linear层再接入到softmax层中计算输出概率后输出；同样，上述模块组合构成一个decoder block，而多个decoder block构成解码器；其中，add&norm层由残差连接模块和层归一化模块两部分组成。
19、本专利技术相对于现有技术具有如下的优点及效果：
20、(1)与单个resnet网络相比，本专利技术采用了attention注意机制和resnet网络，达到了本文档来自技高网...
【技术保护点】
1.一种基于拒识的ResNet-Transformer-深度融合的脑瘤图像分类方法，其特征在于，将深度全连接层、注意力机制、ResNet和Transformer进行结合，用于脑瘤图像分类，该方法能对神经胶细胞瘤、脑膜瘤、垂体瘤的脑瘤疾病图像和健康图像进行精准分类，能对医学图像进行疾病种类的判断和拒识；在使用过程中的步骤为：
【技术特征摘要】
1.一种基于拒识的resnet-transformer-深度融合的脑瘤图像分类方法，其特征在于，将深度全连接层、注意力机制、resnet和transformer进...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。