基于深度卷积神经网络的毛囊检测方法技术

本发明专利技术属于医学图像处理技术领域，具体为一种基于深度卷积神经网络的毛囊检测方法。本发明专利技术中网络模型采用ResNet50为特征提取主干网络，将最深层特征通过上采样、跳跃连接、卷积核大小为3的卷积层组成特征金字塔，每层特征通过5层卷积核大小为3的卷积层获得注意力图，与特征相乘后通过两条支路分别得到分类及外包围盒，每条支路皆由5层卷积核大小为3的卷积层构成。本发明专利技术将皮肤图像输入经过训练的神经网络，通过网络前向传播预测图像中毛囊的外包围盒坐标及对应的置信度，随后筛去置信度偏低的外包围盒并进行极大值抑制，得到最终检测结果，能够清晰反映毛囊在图像中的位置及总数。本发明专利技术可节省人工检测耗费的精力，有效辅助医生进行诊断。生进行诊断。生进行诊断。

【技术实现步骤摘要】
基于深度卷积神经网络的毛囊检测方法


[0001]本专利技术属于医学图像处理
，具体涉及一种毛囊检测方法，更具体地说，涉及一种基于深度卷积神经网络的毛囊检测方法。

技术介绍

[0002]单张图像中往往包含大量毛囊，若人工进行定位、统计数量的工作，则耗费大量人力与时间。而通过使用机器学习算法，将计算机运用于毛囊检测工作之中，能够借助计算机的算力优势在毛囊图像上进行学习，并使用训练所得的模型对毛囊图像进行分析，将结果可视化后辅助医生进行诊断，从而节省大量时间，提高效率。
[0003]深度卷积神经网络（Deep convolutional neural network, DCNN）是一种机器学习技术，可以有效避免人为因素，自动从有标记的大量数据中学习如何提取丰富的具有代表性的视觉特征。该技术使用反向传播优化算法，让机器更新其内部参数，学习输入图像到标签的映射关系。近年来，DCNN大大提高了计算机视觉中各项任务的性能。
[0004]2012年，Krizhevsky等人
[1]首次在ImageNet
[2]图像分类比赛中应用深度卷积神经网络，并以15.3%的Top-5错误率获得冠军，引起了深度学习的热潮。2015年，Simonyan等人
[3]提出了16和19层的神经网络VGG-16和VGG-19，增加了网络的参数量，进一步提升了ImageNet图像分类任务的结果。2016年，He等人
[4]使用152层的残差网络ResNet取得了超过了人眼的分类效果。
[0005]DCNN不仅在图像分类任务中有卓越的表现，在一些结构化输出的任务中，如物体检测
[5-7]、语义分割
[8,9]中也同样取得了卓越的效果。如果将DCNN应用在计算机辅助诊断（computer aided diagnosis，CAD）中，则可以辅助医生做出更好的医疗诊断，早发现、早治疗，提高治疗效果。
[0006]本专利技术基于Wang等人
[10]提出的FAN（FaceAttentionNetwork），利用其在人脸检测任务上的优势解决毛囊统计工作中毛囊大小较图片尺寸小的问题。本专利技术能够充分结合训练数据中的信息，对未经训练的图像中的毛囊进行定位并统计数量，提高诊断效率。

技术实现思路

[0007]为了克服现有技术的不足，本专利技术的目的在于提供一种基于深度卷积神经网络的毛囊检测方法，排除人为因素影响，实现对毛囊图像的自动检测。
[0008]本专利技术提出的基于深度卷积神经网络的毛囊检测方法，具体步骤为：（1）毛囊图像数据增强；由于毛囊图像数量有限，因而进行数据增强，以丰富数据；具体为对毛囊图像进行水平方向、竖直方向以及同时两个方向上的翻转，可得到3张翻转后的图像；在原图像及翻转后的图像中，随机裁剪若干张0.2~0.5倍图像尺寸的图像块，并统一缩放至长800像素、宽1300像素；（2）采用毛囊检测网络提取候选框；
将待检测的的毛囊图像输入毛囊检测网络，该毛囊检测网络是深度卷积神经网络；通过前向传播得到若干个候选框及其置信度；候选框的表示形式为其左上角及右下角的二维坐标，代表图像中的一个区域；置信度表示一个值为0至1的评分，其意义为对应候选框属于毛囊的概率；（3）检测结果后处理；对检测网络所得的若干检测结果，舍弃置信度小于0.05的候选框，将其认为是背景（即非毛囊区域）；随后将候选框按置信度从高到低排序，最多保留置信度最高的10000个候选框；在剩余候选框中进行非极大值抑制，即若某个候选框与另一个置信度比其高的候选框交并比大于0.1，则舍弃这个候选框；经过上述筛选后所得的候选框则认为是最终的检测结果。
[0009]本专利技术中，所述毛囊检测网络是一种深度卷积神经网络，具体使用Wang等人
[10]提出的FAN网络。其具体结构为：采用ResNet50为特征提取主干网络，将最深层特征通过上采样、跳跃连接、卷积核大小为3的卷积层组成特征金字塔，其中每层特征通过5层卷积核大小为3的卷积层获得注意力图，与特征相乘后通过两条支路分别得到分类及外包围盒，其中每条支路皆由5层卷积核大小为3的卷积层构成。
[0010]本专利技术采用的特征金字塔结构，由于使用了不同层的特征从而能够处理小目标的检测问题，即能够解决毛囊检测任务中毛囊大小相对图像尺寸较小的问题。同时，注意力机制使得网络关注图像的某些部分而忽略其它无关区域，则能使得网络在深层特征中关注毛囊区域，忽略周边的皮肤区域，提升检测性能。
[0011]本专利技术中，毛囊检测网络模型基于步骤（1）中所述数据增强方法所得图像块进行训练。为保证不会由于图像块裁剪而损失原图信息，模型在训练时有50%概率采用图像块对应的原图缩放至长800像素、宽1300像素后所得图像作为样本训练。训练时，设初始学习率为0.00001，批的大小设为2，用小批量随机梯度下降的方法最小化损失函数。测试时，将单张毛囊图像送入检测网络，通过步骤（2）、（3）获得结果。
[0012]其中，本专利技术数据集包含120张长3072像素、宽4608像素的毛囊图像，其中96张作为训练样本，24张用于测试专利技术性能。96张训练样本通过步骤（1）所示数据增强方法生成3840张长800像素、宽1300像素的图像块进行训练。
[0013]相应于上述检测方法，本专利技术还涉及基于深度卷积神经网络的毛囊检测系统。该系统包括三个模块，分别为：毛囊图像数据增强模块、毛囊检测网络模型、检测结果后处理模块，对应执行上述三个步骤的操作。
[0014]本专利技术检测的毛囊数量相对于人工标注的精度为90.0%。图2展示了本专利技术在一张测试集毛囊图像上的效果，其中红色框为模型预测结果，绿色框为人工标注。本专利技术能够精确找到图中的毛囊位置，并且能够发现一些人工未标注的毛囊。
附图说明
[0015]图1为本专利技术的流程图。
[0016]图2为一张毛囊图像的原图（左侧）及检测效果（右侧）。
Vision, 1440-1448 (2015).[7] Ren, S., He, K., Girshick, R. & Sun, J. Faster R-CNN: Towards real-time object detection with region proposal networks. Neural Information Processing Systems, (2015).[8] Long, J., Shelhamer, E. & Darrell, T. Fully convolutional networks for semantic segmentation. IEEE International Conference on Computer Vision, 3431-3440 (2015).[9] Chen, L., Papandreou, G., Kokkinos, I., Murphy, K. & Yuille, A. L. D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度卷积神经网络的毛囊检测方法，其特征在于，具体步骤为：（1）毛囊图像数据增强；对毛囊图像进行水平方向、竖直方向以及同时两个方向上的翻转，得到3张翻转后的图像；在原图像及翻转后的图像中，随机裁剪若干张0.2~0.5倍图像尺寸的图像块，并统一缩放至长800像素、宽1300像素；（2）用毛囊检测网络提取候选框；将待检测的毛囊图像输入经过训练的毛囊检测网络，该毛囊检测网络为一深度卷积神经网络；通过前向传播得到若干个候选框及其置信度；候选框的表示形式为其左上角及右下角的二维坐标，代表图像中的一个区域；置信度表示一个值为0至1的评分，其意义为对应候选框属于毛囊的概率；（3）检测结果后处理；对毛囊检测网络所得的若干检测结果，舍弃置信度小于0.05的候选框，将其认为是背景即非毛囊区域，随后将候选框按置信度从高到低排序，最多保留置信度最高的10000个候选框；...

【专利技术属性】
技术研发人员：颜波，吴文育，凌宇，杨凯，李吉春，林尽染，
申请(专利权)人：复旦大学，
类型：发明
国别省市：