一种基于柯西抗旋转损失函数的皮肤镜图像检索方法技术

本发明专利技术提出一种基于柯西抗旋转损失函数的皮肤镜图像检索方法，包括如下步骤：步骤一：建立皮肤镜图像数据集；步骤二：柯西抗旋转CAR损失函数的设计；步骤三：基于柯西抗旋转损失函数的卷积神经网络结构设计；步骤四：网络训练；步骤五：皮肤镜图像检索。该损失函数能使网络直接学习图像对间的相似性，使得提取的哈希码具有类内紧密、类间远离的特点。并且其中设计的旋转不变损失项可以约束网络学习不同角度样本数据的输出差异，来获得具有一定旋转不变性。通过以上步骤，本发明专利技术可以较准确、较快速地从数据库中得到待检索皮肤镜图像的相似图像，其附带的诊断报告为皮肤科医生提供客观的建议和参考，提高诊断的准确率。

【技术实现步骤摘要】
一种基于柯西抗旋转损失函数的皮肤镜图像检索方法
本专利技术属于皮肤镜图像处理领域，具体涉及一种基于柯西抗旋转(CauchyAnti-rotation，CAR)损失函数的皮肤镜图像检索方法。
技术介绍
皮肤作为人体最大的器官，覆盖于全身，是防止病原体侵害和体内水分流失的重要屏障。受到多种因素的影响，各种各样的皮肤病侵犯着人们的健康。皮肤镜是一种观察活体皮肤表面及以下的亚微观结构和色素的无创性显微图像分析技术，对皮肤科临床诊断有重要意义。目前，皮肤病临床主要依靠医生使用皮肤镜检查技术，通过观察皮损区域颜色、纹理等特征，再结合自己的主观经验进行疾病诊断。这种方法带有主观性，易受皮肤科医生当时的视觉评价和诊断经验影响，诊断结果可重复性较差。而皮肤镜图像检索技术能够从已确诊的皮肤镜图像数据库中快速、准确地检索出一组相似的已确诊病例的皮肤镜图像并附带其诊断报告，为医生的诊断提供了有价值的参考信息，提高诊断准确率。皮肤病检索技术是一项具有高挑战性的研究任务，相比皮肤镜图像分类、分割等任务研究成果较少。传统的皮肤镜图像检索算法主要基于提取人工特征和遍历搜索的模式。人工设计的低层特征往往不具有高级语义信息，对皮损区域的描述能力不强。并且遍历检索计算量大、耗时长。又由于该类方法多个步骤之间会存在累计误差，因此检索准确率较低。近年来，随着深度学习技术的发展，利用卷积神经网络对皮肤图像提取高层语义特征并进行检索的方法，相比于传统方法通常能获得更好的检索准确率。皮肤镜图像特点复杂，异类皮肤病之间存在高相似度特征，同类皮肤病之间存在多样表现形式。基于深度学习的皮肤镜图像检索大多基于分类损失进行网络训练，得到的高层特征缺乏相似图像间的相似性，因此检索准确率仍然没有达到临床要求，存在很大提升空间。皮损目标无主方向的特性导致皮肤镜图像中存在大量皮损目标旋转的情况，又由于卷积神经网络不具有旋转不变性，对目标旋转变化较为敏感，使得网络学习能力受到了很大影响。提高卷积神经网络的抗旋转能力，对皮肤镜图像检索准确率的提升是有价值的研究方向。损失函数通过计算模型的实际输出与期望之间的差异来约束网络模型按特定任务目标进行学习，是CNN学习能力的关键核心之一。因此可以设计旋转不变损失函数来改善网络的抗旋转能力。在损失函数中添加旋转不变项，可使网络在训练的过程中不断优化各种旋转角度图片目标的特征不变性，最终赋予网络一定的抗旋转能力。本专利技术提出一种基于图像对的柯西抗旋转(CauchyAnti-rotation，CAR)损失函数。该损失函数可使网络直接学习图像对之间的相似性信息，包含的特征信息更适合图像检索任务。并且，其中的旋转不变损失项可提升哈希码的抗旋转能力。通过该损失函数训练得到的网络模型所提取的深度哈希码，结合从粗到精的检索策略，可获得更优的皮肤镜图像检索准确率。
技术实现思路
目的：本专利技术的目的在于提供一种基于柯西抗旋转损失函数的皮肤镜图像检索方法，它通过柯西抗旋转损失函数训练卷积神经网络模型，直接获得皮肤镜图像的深度哈希码，结合从粗到精的检索策略，实现皮肤镜图像的检索。本专利技术所设计的柯西抗旋转损失函数使得网络提取的哈希码具有一定的旋转不变性，提升了哈希码对皮损目标的描述能力，能够获得更准确的检索结果。技术方案：本专利技术针对传统分类损失函数缺乏图像间相似性以及旋转不变性的缺陷，设计了一种基于图像对的损失函数，即柯西抗旋转损失函数。该损失函数能使网络直接学习图像对间的相似性，使得提取的哈希码具有类内紧密、类间远离的特点。并且其中设计的旋转不变损失项可以约束网络学习不同角度样本数据的输出差异，来获得具有一定旋转不变性。本专利技术的具体方案如下：步骤一：建立皮肤镜图像数据集本专利技术针对黄种人皮肤镜图像构建数据集，共包含N种常见皮肤病，为构建数据集，我们将采集到的皮肤镜图像分辨率统一缩放为M×M。为更好训练网络，需要将数据量较小的皮肤镜图像数据集进行扩充。为此，将每种皮肤病中的图像进行随机裁切扩充，得到最终的皮肤镜图像数据集。步骤二：柯西抗旋转(CAR)损失函数的设计深度卷积网络具有尺度和平移不变性，但不具有旋转不变性，因此当用卷积网络对目标进行特征提取时，通常对目标的旋转比较敏感。为此，本专利技术设计了一种基于图像对的柯西抗旋转损失函数。该损失函数能使网络直接学习图像对间的相似性，并且其中设计的旋转不变损失项可以约束网络学习不同角度样本数据的输出差异，来获得具有一定旋转不变性的深度哈希码。柯西抗旋转损失函数公式如式1：式中N为样本数据量，λ和为超参数，γ1、γ2和γ3为尺度因子，i、j为图像编号，hi表示第i张图像的输出连续哈希码，hj表示第j张图像的输出连续哈希码，sij表示第i张图像和第j张图像是否相似，可由图像样本标签得到，如式2，li表示第i张图像的标签，ωij为权重，如式3，k为θ为旋转扩充角度度数，hij为第i个样本在第j个旋转角度时的输出连续哈希码，为第i个样本不同角度的输出连续哈希码的均值，d1、d2和d3为距离函数，定义如式4、5、6。式1中，三项损失项均为基于柯西分布概率函数定义的。第一项L为图像对的相似性损失部分，使得网络学习图像对间的相似性信息。第二项Q为哈希码的量化损失部分，降低提取二进制哈希码时离散量化过程的特征信息损失。第三项Ar为旋转不变损失项，使网络学习同一样本数据不同角度的输出差异程度，以得到旋转不变性。步骤三：基于柯西抗旋转损失函数的卷积神经网络结构设计本专利技术采用经典的残差网络ResNet-18作为基础网络，将最终任务层设为哈希编码层，并构建孪生网络CAR-ResNet-18。1)ResNet-18网络结构在深层网络能够收敛的前提下，随着网络深度加深，网络会遇到网络退化问题——梯度消失或梯度爆炸。残差网络针对这一问题，通过将输入信息绕道传到输出，使网络主要学习输入与输出残差部分，简化学习目标和学习难度，一定程度避免了梯度消失问题，使网络更容易训练。ResNet-18残差网络结构如图1所示，包含1个卷积层、1个最大值池化层、4个残差组(共16个卷积层)、1个平均值池化层、以及1个全连接层。其中，Resnet-18中数字18指定的是带有权重的18层，即包括卷积层和全连接层。图中，maxpool代表最大值池化层，conv代表卷积层(尺寸用width×height×channels表示，图中表示为width×heightconv,channels,卷积层中/2表示特征图长宽均减小为原来的二分之一)，avgpool代表平均值池化层，FC代表全连接层，s代表步长，p为padding。ResNet-18网络结构具体细节为下：(1)首先，网络第1层是尺寸为7×7×64的卷积层，主要目的是将图像映射到高维空间，生成通道数为64的特征图。(2)第1层卷积层连接一个最大值池化层maxpool，尺寸为3×3×64，步长为2，pad本文档来自技高网...

【技术保护点】
1.一种基于柯西抗旋转损失函数的皮肤镜图像检索方法，其特征在于，具体方案如下：/n步骤一：建立皮肤镜图像数据集/n针对黄种人皮肤镜图像构建数据集，共包含N种常见皮肤病，为构建数据集，将采集到的皮肤镜图像分辨率统一缩放为M×M；/n步骤二：柯西抗旋转CAR损失函数的设计/n设计基于图像对的柯西抗旋转损失函数；该损失函数能使网络直接学习图像对间的相似性，并且旋转不变损失项能约束网络学习不同角度样本数据的输出差异，来获得具有旋转不变性的深度哈希码；/n柯西抗旋转损失函数公式如式1：/n

【技术特征摘要】
1.一种基于柯西抗旋转损失函数的皮肤镜图像检索方法，其特征在于，具体方案如下：
步骤一：建立皮肤镜图像数据集
针对黄种人皮肤镜图像构建数据集，共包含N种常见皮肤病，为构建数据集，将采集到的皮肤镜图像分辨率统一缩放为M×M；
步骤二：柯西抗旋转CAR损失函数的设计
设计基于图像对的柯西抗旋转损失函数；该损失函数能使网络直接学习图像对间的相似性，并且旋转不变损失项能约束网络学习不同角度样本数据的输出差异，来获得具有旋转不变性的深度哈希码；
柯西抗旋转损失函数公式如式1：



式中N为样本数据量，λ和为超参数，γ1、γ2和γ3为尺度因子，i、j为图像编号，hi表示第i张图像的输出连续哈希码，hj表示第j张图像的输出连续哈希码，sij表示第i张图像和第j张图像是否相似，由图像样本标签得到，li表示第i张图像的标签，ωij为权重，k为θ为旋转扩充角度度数，hij为第i个样本在第j个旋转角度时的输出连续哈希码，为第i个样本不同角度的输出连续哈希码的均值，d1、d2和d3为距离函数；















步骤三：基于柯西抗旋转损失函数的卷积神经网络结构设计
采用经典的残差网络ResNet-18作为基础网络，将最终任务层设为哈希编码层，并构建孪生网络CAR-ResNet-18；
3.1ResNet-18网络结构
在深层网络能够收敛的前提下，随着网络深度加深，网络会遇到网络退化问题，即梯度消失或梯度爆炸；残差网络针对这一问题，通过将输入信息绕道传到输出，使网络学习输入与输出残差部分，简化学习目标和学习难度，避免了梯度消失问题，使网络更容易训练；
ResNet-18残差网络结构包含1个卷积层、1个最大值池化层、4个残差组、1个平均值池化层以及1个全连接层；其中，Resnet-18中数字18指定的是带有权重的18层，即包括卷积层和全连接层；maxpool代表最大值池化层，conv代表卷积层，avgpool代表平均值池化层，FC代表全连接层，s代表步长，p为padding；
3.2CAR-ResNet-18网络结构
基于基础网络ResNet-18构建基于柯西抗旋转损失函数的孪生网络CAR-ResNet-18；该网络的输入数据为皮肤镜图像对，并且采用两个孪生卷积神经网络，网络结构均为基础网络ResNet-18，两个分支采用权值共享策略；网络的最终任务层为哈希编码层HashingLayer,在哈希编码层之后采用如式(7)所示的Sigmoid激活函数将神经元的输出限制在范围[0,1]中，得到网络的最终输出连续哈希码，作为皮肤镜图像的连续特征向量；



步骤四：网络训练
用步骤一中的皮肤镜图像数据库，采用步骤二中设计的柯西抗旋转损失函数对步骤三中设计的孪生网络CAR-ResNet-18进行训练；
步骤五：皮肤镜图像检索
针对步骤一中的皮肤镜图像数据库基于哈希码构建哈希表结构，将孪生网络CAR-Res...

【专利技术属性】
技术研发人员：谢凤英，张漪澜，郑钰山，姜志国，张浩鹏，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11