一种基于感兴趣区域及Transformer的MR图像分类方法及装置制造方法及图纸

本发明专利技术公开了一种基于感兴趣区域及Transformer的MR图像分类方法及装置，所述方法包括以下步骤：通过特征学习网络CNN学习MR图像高级纹理特征，获得特征图；将特征图送入ROI特征提取器中，获取各感兴趣区域的深度特征；基于Vision Transformer的分类器，对特征图X识别脑区的细微结构变化，并捕获各脑区间的长依赖关系，得到相应的分类结果。本发明专利技术结合卷积神经网络和Transformer结构，使得模型能够继承CNN在提取低级特征和增强局部性方面的优势以及Transformer在建立长距离依赖关系方面的优势，进而得到精确的MR图像分类结果。

【技术实现步骤摘要】

本专利技术属于医学图像，特别涉及一种基于感兴趣区域及transformer的mr图像分类方法及装置。

技术介绍

1、近年来，深度学习方法在医学图像分类任务中取得了巨大的成功。例如，深度卷积神经网络(convolutional neural networks，cnn)已经被广泛验证具有从mr数据中学习高级特征的出色能力，极大地提高了脑部疾病诊断的性能。cnn能在计算机视觉任务上达到先进水平在一定程度上要归功于逐渐扩大的感受野，可以将结构化图像表示的层次结构作为语义来学习。在计算机视觉中，图像的视觉语义捕获通常被认为是构建网络的核心思想。然而，cnn也存在一些缺陷，它忽略了图像中的长距离依赖关系，难以描述大脑mr图像脑区间的复杂关系，从而导致了大脑mr图像诊断任务产生次优的结果。而transformer可以捕获长距离依赖关系，具有通过动态计算的自注意权重进行自适应建模的能力，并且人们能够洞察模型关注的是什么。

2、transformer是一种基于注意力的编码器-解码器结构，目前已经成为自然语言处理(natural language processi本文档来自技高网...

【技术保护点】

1.一种基于感兴趣区域及Transformer的MR图像分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于感兴趣区域及Transformer的MR图像分类方法，其特征在于，步骤(1)所述特征学习网络CNN包括六个核大小相同的3D卷积层和两个3D反卷积层；每两个卷积层后面连接一个最大池化层。

3.根据权利要求2所述的一种基于感兴趣区域及Transformer的MR图像分类方法，其特征在于，所述各卷积层的通道数依次为32，32，64，64，128，128；核大小均为3×3×3；每个卷积层之后都进行批归一化和ReLU激活；将第六个卷积层得到的特征映射...

【技术特征摘要】

1.一种基于感兴趣区域及transformer的mr图像分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于感兴趣区域及transformer的mr图像分类方法，其特征在于，步骤(1)所述特征学习网络cnn包括六个核大小相同的3d卷积层和两个3d反卷积层；每两个卷积层后面连接一个最大池化层。

3.根据权利要求2所述的一种基于感兴趣区域及transformer的mr图像分类方法，其特征在于，所述各卷积层的通道数依次为32，32，64，64，128，128；核大小均为3×3×3；每个卷积层之后都进行批归一化和relu激活；将第六个卷积层得到的特征映射和第四个卷积层得到的特征映射上采样；连接两个反卷积层和第二个卷积层输出的特征映射，结合表征信息和语义信息，得到多通道特征映射图像fd。

4.根据权利要求2所述的一种基于感兴趣区域及transformer的mr图像分类方法，其特征在于，所述两个3d反卷积层，输出通道数均为16，第一个反卷积层核大小为5×5×5，步长为4；第二个反卷积层核大小为3×3×3，步长为2。

【专利技术属性】
技术研发人员：孙亮，付艳玲，赵俊勇，张道强，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：