基于双分支注意力深度学习的癌症高光谱图像分割方法及系统技术方案

本发明专利技术公开了一种基于双分支注意力深度学习的癌症高光谱图像分割方法，所述方法首先对癌症高光谱图像进行预处理操作，并将数据集划分为训练集和测试集；然后构建一个双分支的基于注意力机制的深度卷积神经网络，通过划分出的训练集对网络进行训练；然后利用训练好的神经网络对测试集进行测试，最终达到分割癌症高光谱图像的目的。本发明专利技术依据癌症高光谱图像的特点，构建双分支结构，分别提取高光谱图像的空间信息和光谱信息并加以融合，最终得到预测结果。本发明专利技术还公开了一种基于双分支注意力深度学习的癌症高光谱图像分割系统。

【技术实现步骤摘要】
基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
本专利技术涉及高光谱图像处理、医学影像处理
，尤其涉及一种基于双分支注意力深度学习的癌症高光谱图像分割方法及系统。
技术介绍
癌是指起源于上皮组织的恶性肿瘤，是恶性肿瘤中最常见的一类。大多数种类的癌症早期缺乏典型的临床表现及诊断方法，当患者出现典型症状时，基本已进入中晚期，失去根治性手术机会。癌症的诊断方法有许多种，主要有临床诊断、理化诊断、手术诊断、细胞病理学诊断、组织病理学诊断五种。组织病理学诊断可了解肿块良、恶性质，判断癌肿预后好坏，对进行癌症分类、分级、分期及命名提供直接帮助，为临床治疗提供依据。因此组织病理学诊断对癌症病人来说，是最重要的诊断内容。组织病理学诊断通过活检获取患者体内的病变组织，然后将病变组织制成病理切片，用显微镜进一步检查病变。高光谱图像在记录空间信息的同时也记录了丰富的光谱信息。高光谱图像具有数据量大、光谱数量多且连续等特点，因此高光谱图像也有较多的光谱信息冗余。显微高光谱成像仪，是基于显微镜平台，结合高光谱成像仪的高光谱分析系统，本文档来自技高网...

【技术保护点】
1.一种基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，包括以下步骤：/n步骤1：获取癌症病理组织切片，在高光谱显微镜下完成高光谱图像采集；记所述高光谱图像的维度为R

【技术特征摘要】
1.一种基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，包括以下步骤：
步骤1：获取癌症病理组织切片，在高光谱显微镜下完成高光谱图像采集；记所述高光谱图像的维度为RH×W×C；其中，H、W、C分别表示高光谱图像的高、宽和通道数；
步骤2：将高光谱图像数据集划分为训练集和测试集，并将所述训练集高光谱图像进行标注，划分为患癌区域和无癌区域；
步骤3：将所述高光谱图像进行去噪处理，并完成归一化操作；
步骤4：根据去噪及归一化后的高光谱图像，构建基于双分支注意力机制的深度卷积神经网络；所述神经网络包括下采样阶段和上采样阶段；其中，
在下采样阶段利用空间-通道注意力模块提取所述高光谱图像数据的空间信息和光谱信息特征；在上采样阶段利用卷积层提取特征；
所述神经网络对高光谱图像先下采样，后上采样的过程中进行多次特征提取操作，每次提取不同空间尺度下的特征信息，并将上采样之后的特征和对应尺度下的下采样特征进行特征融合操作；
在上采样阶段最后得到的特征维度为RH×W×C，通过1×1的卷积层和softmax函数降低通道维度，输出两个通道的预测图，即患癌和无癌两类分割结果；
步骤5：将训练集送入神经网络中，并通过学习算法，通过神经网络损失函数和优化方法进行多次循环迭代完成网络的训练；将测试集送入训练后的网络中，实现高光谱图像的分割。


2.根据权利要求1所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述步骤3中，去噪处理为将高光谱图像通过中值滤波器进行处理，滤除椒盐噪声，公式为：



其中，g(s,t)表示叠加了噪声的单波段的子图像，(s,t)表示滤波前的一组坐标点；表示经过中值滤波器处理后的图像，(x,y)表示中值滤波器的输出坐标点，x∈[0,W-1],y∈[0,H-1]，x和y均为整数；median为二维中值滤波函数；Sxy表示中心在点(x,y)处、大小为5×5的子图像窗口的一组坐标点；当中心处于高光谱图像的边缘时该组坐标点只包含子图像窗口落在图像中的有效像素坐标点。


3.根据权利要求2所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述步骤3中，经过中值滤波后，针对高光谱图像中的每个通道进行归一化处理，公式为：



其中，D为输入像素值，E为输出像素值；MinValue为该通道像素点中的最小值，MaxValue为该通道像素点中的最大值。


4.根据权利要求1所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述神经网络下采样阶段对所述空间信息和光谱信息特征经过多次先下采样再特征提取的操作；在此基础上开始上采样阶段，即对下采样阶段得到的特征执行相同次数的先上采样，再自适应比例特征融合，然后特征提取的操作；在先下采样后上采样过程中，提取不同空间尺度下的特征信息；上采样阶段中自适应比例特征融合过程将上采样的特征和对应空间尺度的下采样特征进行自适应比例特征融合操作。


5.根据权利要求1所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述空间-通道注意力模块将高光谱图像或特征图经过5×5卷积层和ReLU函数，再经过一层5×5卷积层提取特征，输出经过特征提取后的特征图，所述经过特征提取后的特征图的维度与所述空间-通道注意力模块的输入数据的维度保持一致；随后神经网络分为两条分支，用来提取不同维度上的注意力信息。


6.根据权利要求5所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述空间-通道注意力模块中的一条分支用于提取空间特征信息；记所述空间-通道注意力模块输入数据的维度为RH1×W1×C，C为16的整数倍，该分支将数据在通道维度上进行分组，然后对每组数据在通道维度上进行最大值池化操作，再将池化后的每组数据在通道维度上进行拼接，最后输出特征图；该分支通过构建4种不同的分组数量，输出4个通道数不同的特征图，其通道数分别为目的在于获取不同通道尺度下的空间信息；将四个...

【专利技术属性】
技术研发人员：邱崧，惠思远，李庆利，周梅，胡孟晗，徐伟，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31