一种基于图神经网络的超大图像分类方法技术

本发明专利技术属于图像分类领域，涉及一种基于图神经网络的超大图像分类方法。本发明专利技术针对不同的超大图像可采取不同子图像筛选方法，进一步调整了特征提取网络，使得子图像的特征提取更加准确；将超大图像构建成为图数据，并且在传统的图卷积神经网络上引入了可微分池化操作，不仅可以挖掘超大图像的全局信息，同时可微池化操作还可以在训练过程中挖掘隐藏层的特征信息，充分分析各个子图像之间在特征空间的关联性，可以更加准确地对超大图像进行分类。

【技术实现步骤摘要】
一种基于图神经网络的超大图像分类方法
本专利技术属于图像分类领域，涉及一种基于图神经网络的超大图像分类方法。
技术介绍
随着科技和数字成像技术的快速发展，高分辨率成像设备的应用越来越广泛，所能获取的图像数据类型不断丰富，单幅图像所包含的数据量也从以前的几兆增加到现在的几百兆，几GB甚至几十GB，这种包含超大数据量，具有超高分辨率的图像，无法一次性读取至计算机内存中进行直接处理，这一类图像被统称为超大图像，最有代表性的超大图像包括显微镜成像的电子扫描图片，医学中的病理切片，以及卫星遥感图像等等。要对这些超大图像进行分析和处理除了需要传统的图像处理技术外，还需要一些特殊的方法进行更深层次的分析和理解。近年来，随着深度学习的飞速发展，以卷积神经网络为代表的深度学习成为了图像处理的主流技术之一，尤其是卷积神经网络(CNN)，其原理是通过大量带有准确标签的数据训练模型，通过计算，以端到端的方法挖掘出图片中所包含的深层次的特征信息，在自然图片的分类，以及语义分割领域所能达到的精确度甚至已经超越人类，这是传统的图像处理技术难以相比的。但是卷积神经网络本文档来自技高网...

【技术保护点】
1.一种基于图神经网络的超大图像分类方法，其特征在于，具体步骤如下：/n步骤1、数据预处理，构建图结构数据，步骤如下：/n(1.1)原始图像下采样得到缩略图，在缩略图上利用阈值方法过滤掉背景部分，所以采用大津法确定分割阈值，像素值大于等于分割阈值的点为背景部分像素点，小于分割阈值的点为组织部分像素点，背景部分和组织部分中像素点的灰度方差越大，说明选取到的阈值分类越精确；/n背景部分和组织部分中的像素点间方差计算公式为：g＝w

【技术特征摘要】
1.一种基于图神经网络的超大图像分类方法，其特征在于，具体步骤如下：
步骤1、数据预处理，构建图结构数据，步骤如下：
(1.1)原始图像下采样得到缩略图，在缩略图上利用阈值方法过滤掉背景部分，所以采用大津法确定分割阈值，像素值大于等于分割阈值的点为背景部分像素点，小于分割阈值的点为组织部分像素点，背景部分和组织部分中像素点的灰度方差越大，说明选取到的阈值分类越精确；
背景部分和组织部分中的像素点间方差计算公式为：g＝w0w1(μ0-μ1)2，其中
w0：前景像素点占整个图像的比例；
w1：背景像素点占整个图像的比例；
μ0：前景像素点平均灰度值；
μ1：背景像素点平均灰度值；
使用遍历的方法确定使背景部分和组织部分中的像素点方差g最大的阈值T，利用阈值T对图像的像素进行分类实现分割，再对分离后的前景图像进行形态学操作：通过腐蚀操作将局部图像外围的突出点加以腐蚀，通过膨胀操作将局部图像外围的突出点连接并向外延伸，处理后的图像保存为二进制掩膜用于原图像的裁剪；
(1.2)将步骤(1.1)得到的二进制掩膜与缩略图相乘，非零区域为图像前景，即要进行剪裁的区域，在非零区域内通过滑动窗口方式保存每个子图像的左上角坐标，即无重叠地对原始图像进行顺序裁剪，若子图像的大小为M*M，则在缩略图上保存坐标时的步长为M/S，其中S为下采样因子；最后按照保存的左上角坐标在原始超大图像中保存子图像，大小为M*M；
(1.3)对于部分超大图像，需要选定一个颜色模板，对所有裁剪得到的子图像进行颜色归一化，即从步骤(1.2)得到的图片中选取一张色彩均匀、颜色清晰的图片作为参考图片，将剩下所有的子图像都转换为参考图片的色彩风格；转换步骤如下：
(1.3.1)将参考图片和目标图片都从RGB色彩空间转换到LAB空间；
(1.3.2)得到参考图片和目标图片在LAB空间的均值和标准差，以对目标图片进行调整；
(1.3.3)将目标图片重新转换回RGB空间，得到色彩归一化后的图像；
(1.4)特征提取容器训练：提取超大图像的感兴趣区域ROI的子图像作为训练数据训练卷积神经网络作为特征提取容器；
(1.4.1)若超大图像给出了感兴趣区域ROI的标注，则提取出ROI中的子图像作为训练数据，用来训练卷积神经网络，网络结构选择不同深度的ResNet或VGGNet，使用基于ImageNet的预训练模型作为初始化；
(1.4.2)若超大图像并未给出感兴趣区域ROI的标注，通过超大图像所具有的特性来判断原始图像中ROI，则从判定后的ROI中提取子图像作为训练数据，网络结构的选择与步骤(1.4.1)相同；
(1.4.3)如果无法获得任何感兴趣区域ROI的相关信息，则随机选取子图像，特征提取容器直接选择使用基于ImageNet数据集的预训练模型；
(1.5)按照步骤(1.4)得到的子图像和卷积神经网络中进行特征提取，将子图像输入神经网络中，softmax层之前的全连接层的输出即为要提取的子图像特征向量；
(1.6)将步骤(1.5)提取出的子图像特征向量进行主成分分析得到降维后的特征向量；定义降维前的特征维度为N，降维后的特征维度为K，主成分分析的具体过程如下：
(1.6.1)将原始数据按列组成n*N矩阵X，n为超大图像经剪裁筛选得到的子图像数量；
(1.6.2)将矩阵X的每一行进行零均值化；
(1.6.3)求出矩阵X的协方差矩阵；
(1.6.4)求出协方差矩阵的特征值及对应的特征向量；
(1.6.5)将特征向量按对应特征值大小从上到下按行排列成矩阵，取前K行组成矩阵P；
(1.6.6)令Y＝PX即为降维到K维后图像的特征向量；
(1.7)将步骤(1.6)降维后的特征向量作为图的节点，各个节点特征向量之间的平均欧氏距离作为阈值，用来衡量结点直接是否有边，两个节点特征向量之间距离大于阈值的说明关联性强，则两个节点之间设置为有边，两个节点特征向量之间距离小于阈值的说明联系较...

【专利技术属性】
技术研发人员：姜楠，候亚庆，周东生，杨鑫，张强，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21