基于卷积神经网络的头颅影像标志点检测方法技术

本发明专利技术公开了一种基于卷积神经网络的头颅影像标志点检测方法，包括如下步骤：数据预处理、训练集的选择、网络结构的设计以及损失函数的选择。与相关技术相比较，本发明专利技术提供的基于卷积神经网络的头颅影像标志点检测方法具有如下有益效果：可以有效减少噪音数据对训练结果的影响；可以降低距离图像块较远的点对预测结果的影响，最终提升了预测精度；提升了标志点的定位精度。

Head Image Marker Detection Method Based on Convolutional Neural Network

The invention discloses a method for detecting marker points of skull images based on convolution neural network, which comprises the following steps: data preprocessing, selection of training sets, design of network structure and selection of loss function. Compared with the related technologies, the method of detecting marker points of cranial image based on convolution neural network provided by the invention has the following beneficial effects: it can effectively reduce the influence of noise data on the training results; it can reduce the influence of points far from the image block on the prediction results, and ultimately improve the prediction accuracy; and it can improve the positioning accuracy of the marker points.

【技术实现步骤摘要】
基于卷积神经网络的头颅影像标志点检测方法
本专利技术涉及一种图像处理方法，特别是基于深度学习的头颅影像标志点检测方法。
技术介绍
图像关键点检测在物体检测、图像配准及目标识别均有广泛应用,医学图像中解剖标志点检测在疾病诊断，医学图像分割中有广泛应用。传统医学图像解剖点标记需要领域专家进行标注，花费大量人力资源，且效率低下,目前深度学习的标志点检测主要分为两类，基于回归法的方法和基于分类的方法。第一类是基于分类的方法，Sercan等实现的标志点检测的方法是在标志点周围邻域取图像块，每个标志点训练一个网络，该网络用来做二分类问题，判断图像块是否包含标志点，从而找出候选标志点位置，最后利用形状模型从候选点中找出最佳优选标志点。该方法存在的问题是使用形状模型选择最佳候选点时，只用了角度、距离等统计信息，可能存在偏差。第二类是基于回归的方法，JunZhang等提出两阶段面向任务的网络结构，该方法第一阶段利用图像块训练网络参数，第二阶段建立图像块之间的关联，端到端预测标志点位置信息。该方法针对大量标志点问题具有较好的效果，对少量标志点效果并不太理想，且直接利用图像信息熵取图像块仍存在大量的无法应用于最终预测的图像块。因此，需要提供一种新的基于卷积神经网络的头颅影像标志点检测方法以解决上述技术问题。
技术实现思路
本专利技术提供了一种基于卷积神经网络的头颅影像标志点检测方法，其显著提升了标志点的定位精度。为了实现上述目的，本专利技术的技术方案如下：一种基于卷积神经网络的头颅影像标志点检测方法，包括如下步骤：S1、数据预处理，根据给定的图像边框对训练集中的图像进行裁剪，使用Sobel算子提取图像轮廓信息，使用中值滤波对图像进行平滑，使用Canny算子对平滑过的图像进行处理；S2、训练集的选择，在Canny算子处理过的图像上随机取图像块，若图像块的信息熵大于预设的阈值，则在原始图像上取对应的图像块作为训练，第一阶段网络的标签用0/1标签，第二阶段网络的标签用标志点到该图像块中心的曼哈顿距离；S3、网络结构的设计，使用两阶段网络结构对标志点位置进行预测，第一阶段使用分类网络，训练出含有标志点的图像块，计算出每个标志点的邻域；第二阶段使用回归网络，在每个标志点邻域范围取图像块，分别训练每个标志点最终位置；S4、损失函数的选择，采用基于距离的加权损失，其损失函数为：其中N表示标志点个数，表示损失的权重；α表示权重的调节系数，Ti表示第i个点的真实位置，Pi表示第i个点的预测位置。作为本专利技术的一种改进，在步骤S1中，数据预处理具体包括如下步骤：根据给定的轮廓信息对图像进行剪裁；使用Sobel算子提取图像的轮廓信息；使用中值滤波对图像进行平滑处理；使用Canny算子对平滑过的图像做进一步处理，得到图像的边缘信息。作为本专利技术的一种改进，在步骤S3中，第一阶段分别对19个标志点取图像块，网络结构采取类VGG网络结构，预测含有标志点的图像块和不含标志点的图像块，通过计算确定每个标志点邻域；第二阶段根据第一阶段确定的每个标志点邻域，每个标志点邻域训练一个子网络，网络结构采取类VGG网络结构，预测每个标志点的位置信息。作为本专利技术的一种改进，在步骤S4中，所述加权损失为加权欧几里得损失。与相关技术相比较，本专利技术提供的基于卷积神经网络的头颅影像标志点检测方法具有如下有益效果：1、使用图像块取代图像做训练集，并提供了数据筛选的方法，即在图像裁剪之后，首先使用Sobel算子对图像轮廓检测，使用均值滤波器对图像进行平滑操作，使用Canny算子对平滑后的图像进行计算，计算出边缘信息，最后使用信息熵取图像块，可以有效减少噪音数据对训练结果的影响；2、在反向迭代计算损失的过程中，与仅使用欧几里得作为损失函数相比，本专利技术提出的改进的欧几里得损失可以降低距离图像块较远的点对预测结果的影响，最终提升了预测精度；3、训练网络采用两阶段的训练方案，第一阶段训练图像块是否含有标志点，根据含有标志点的图像块，计算出每个标志点的邻域，第二阶段根据每个标志点的邻域信息再次取图像块，使用回归网络，分别训练每个标志点的最终位置，提升了标志点的定位精度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：图1为本专利技术提供的基于卷积神经网络的头颅影像标志点检测方法的流程图；图2A～2E为图像的预处理图；图3A～3D为制作训练集的图像块及标签图；图4A和4B为各阶段网络结构图；图5为训练结果图。具体实施方式下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供一种基于卷积神经网络的头颅影像标志点检测方法，包括如下步骤：S1、数据预处理，根据给定的图像边框对训练集中的图像进行裁剪，使用Sobel算子提取图像轮廓信息，使用中值滤波对图像进行平滑，使用Canny算子对平滑过的图像进行处理；数据预处理具体包括如下步骤：根据给定的轮廓信息对如图2A所示图像进行剪裁，得到如图2B所示的裁剪过的所述图像；具体的，通过对图像进行裁剪，可去除部分与训练无关的边缘轮廓信息。使用Sobel算子对平滑过的图像进行处理，得到图像的轮廓信息，如图2C所示；使用中值滤波对裁剪过的图像进行平滑，平滑过的图像如图2D所示；使用Canny算子对平滑过的图像做进一步处理，得到图像的边缘信息，如图2E所示。具体的，所述Canny算子通过设置阈值来去掉所述图像不需要的边缘点。S2、训练集的选择，在Canny算子处理过的图像上随机取图像块，若图像块的信息熵大于预设的阈值，则在原始图像上取对应的图像块作为训练集，第一阶段网络的标签用0/1标签，第二阶段的网络标签用标志点到该图像块的曼哈顿距离；具体的，所述原始图像指的未进行裁剪前的图像。如图3所示，在第一阶段，随机选取500张大小为84×84的图像块，分别计算每个图像的信息熵，设置阈值为0.2，若图像信息熵大于阈值，则用来做训练集，小于阈值的图像块，不用于最终结果的训练；第二阶段用相同的原理取38×38的图像块。S3、网络结构的设计，使用两阶段网络结构对标志点位置进行预测，第一阶段使用分类网络，训练出含有标志点的图像块，计算出每个标志点的邻域；第二阶段使用回归网络，在每个标志点邻域范围取图像块，分别训练每个标志点最终位置；具体的，本专利技术提供的网络结构如图4所示，其中，第一阶段分别对19个标志点取图像块，如图4A所示，网络结构采取类VGG网络结构，预测含有标志点的图像块和不含标志点的图像块，通过计算确定每个标志点邻域；第二阶段根据第一阶段确定的每个标志点邻域，每个标志点邻域训练一个子网络，如图4B所示，网络结构采取类VGG网络结构，预测每个标志点的位置信息。具体训练结果如图5所示，图5第一行是3组X线头颅影像标志点的真实位置，第二行是使用二阶段网络最终的训练结果，可以发现采用二阶段网络可以得到比较精确本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的头颅影像标志点检测方法，其特征在于，包括如下步骤：S1、数据预处理，根据给定的图像边框对训练集中的图像进行裁剪，使用Sobel算子提取图像边缘信息，使用中值滤波对图像进行平滑，使用Canny算子对平滑过的图像进行处理；S2、训练集的选择，在Canny算子处理过的图像上随机取图像块，若图像块的信息熵大于预设的阈值，则在原始图像上取对应的图像块作为训练集，第一阶段网络的标签用0/1标签，第二阶段网络的标签用标志点到该图像块中心的曼哈顿距离；S3、网络结构的设计，使用两阶段网络结构对标志点位置进行预测，第一阶段使用分类网络，训练出含有标志点的图像块，计算出每个标志点的邻域；第二阶段使用回归网络，在每个标志点邻域范围取图像块，分别训练每个标志点最终位置；S4、损失函数的选择，采用基于距离的加权损失，其损失函数为：

【技术特征摘要】
1.一种基于卷积神经网络的头颅影像标志点检测方法，其特征在于，包括如下步骤：S1、数据预处理，根据给定的图像边框对训练集中的图像进行裁剪，使用Sobel算子提取图像边缘信息，使用中值滤波对图像进行平滑，使用Canny算子对平滑过的图像进行处理；S2、训练集的选择，在Canny算子处理过的图像上随机取图像块，若图像块的信息熵大于预设的阈值，则在原始图像上取对应的图像块作为训练集，第一阶段网络的标签用0/1标签，第二阶段网络的标签用标志点到该图像块中心的曼哈顿距离；S3、网络结构的设计，使用两阶段网络结构对标志点位置进行预测，第一阶段使用分类网络，训练出含有标志点的图像块，计算出每个标志点的邻域；第二阶段使用回归网络，在每个标志点邻域范围取图像块，分别训练每个标志点最终位置；S4、损失函数的选择，采用基于距离的加权损失，其损失函数为：其中N表示标志点个数，表示损失的权重；α表示权重的调节系数，Ti表示第i个...

【专利技术属性】
技术研发人员：廖胜辉，任辉，贺佳丽，赵于前，李建锋，邹北骥，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43