一种基于边缘和Fisher准则的学习方法技术

本发明专利技术涉及一种基于边缘和Fisher准则的学习方法，属于神经网络学习技术领域。本方法对同一物体的不同角度拍摄，采集N张图片；对得到的N张图片通过深度网络进行编码，获取N张图片的特征图；再对特征图进行解码，得到双通道掩码图；两个通道上的每个点分别代表采集的N张图片对应位置上前景和背景的概率；再用真实前景平均概率与真实背景平均概率的距离作为类间距离；用方差作为度量真实前景区域和真实背景区域的类内距离。对前景边缘邻近区域和背景边缘邻近区域加入不同的权重，达到理想的分割边缘效果。所述学习方法使得图像理想分割边缘及学习模型更加稳定，实现了完全自动且高效、高可靠的物体抠取及准确、快速而高精度的分割。

A learning method based on edge and Fisher criterion

【技术实现步骤摘要】
一种基于边缘和Fisher准则的学习方法
本专利技术涉及一种基于边缘和Fisher准则的学习方法，属于神经网络学习

技术介绍
近年来，深度学习在解决图片处理问题上引起了广泛的关注，并取得了良好的效果。在这些方法中，学习方法是学习成功的一个重要因素。交叉熵和Diceloss是目前基于深度学习的图片分割方法中两个主要的学习方法。交叉熵的目的是将图片中的每个像素正确地分类为前景对象或背景对象。它从单个像素的角度来度量分割的质量，却忽略了前景和背景的完整性。因此，即使对大部分像素进行了正确的分类，而有少量的像素点错误分类，网络则很难继续优化，分割质量也很难进一步提高。这个问题与类别不平衡问题相关联在一起。如果感兴趣的物体只占图片的一小部分，就会在CE损失的基础上得到不满意的分割结果。Diceloss考虑了前景和背景的完整性，它计算了groundtruth和prediction的重叠率，以评估分割的质量。它通常带来比CE损失更好的结果。Diceloss也被称为IoU或Jacarrd指数。但是Diceloss有个缺点，即Rezatofighi等人所指出的，如果groundtruth和prediction两个前景对象不重叠，IOU值将为零，这样就不会反映这两个形状之间的距离。在不重叠对象的情况下，如果使用IoU作为损失，其梯度将为0，不能通过反向求导的方式继续优化。
技术实现思路
本专利技术的目的在于现有神经网络关于图片处理的学习方法存在忽略了图片边缘以及模型稳定性的问题，提出了一种基于边缘和Fisher准则的学习方法，可应用于图片分割、图片匹配等各种需要图片处理。本专利技术是基于以下技术方案实现的。所述基于边缘和Fisher准则的学习方法依托于U型深度网络；其中，该深度网络包括编码器和解码器；编码器得到一组图片的特征图；解码器将特征图解码为掩码，并输出分割掩码图；所述基于边缘和Fisher准则的学习方法，包括如下步骤：步骤1、通过用摄像机对同一物体的不同角度拍摄，采集N张图片；步骤2、对步骤1得到的N张图片通过深度网络进行编码，获取N张图片对应的特征图；步骤3、通过深度网络对步骤2得到的特征图进行解码，得到N张每张双通道掩码图；两个通道上的每个点分别代表采集的N张图片对应位置上属于前景和背景的概率；步骤4、分别计算步骤3得到的每张掩码图中真实前景和真实背景的平均概率；用1减去真实前景对应的平均概率作为学习方法的损失项losspos，真实背景的平均概率直接作为学习方法的另一个损失项lossneg；其中，损失项losspos用公式(1)计算，损失项lossneg由公式(2)实现：其中，Nf为真实前景像素的个数，pi为将第i个前景像素分类到前景的概率；Nb为真实背景像素的个数，pj为第j个背景像素进入前景的概率；步骤5、将步骤4得到的两个损失项losspos和lossneg通过公式(3)进行求平均得到类间距离损失项losse：步骤6、分别在前景和背景区域中划分出物体三个像素宽的边缘邻近区域，并对前景边缘邻近区域和背景边缘邻近区域分别施加不同的权重，以获得理想的分割边缘效果，得到加入边缘权重的类间距离损失项losse如公式(4)：其中，wi和wj分别表示前景边缘邻近区域和背景边缘邻近区域对应的权重值；wi和wj的范围均是[1,1.1]；而除了边缘邻近区域的其他区域的权重均设为1；步骤7、分别计算前景和背景的方差，且在计算方差的过程时也加上了边缘权重，计算方差时加入权重的方法与步骤6相同，即：对前景边缘邻近区域和背景边缘邻近区域分别乘上不同的权重值，得到加入边缘权重的类内距离损失项lossv，具体由公式(5)计算实现：其中，mf和mb分别为前景和背景像素的平均分类概率；步骤8、对步骤6和步骤7得到的两个损失项由公式(6)加权求和，得到网络的学习方法,即：EW-Fisher＝λ*losse+(1-λ)*lossv(6)其中，λ是调节两个损失项的超参数，λ的范围是λ∈[0,1]；步骤9、用步骤8得到的学习方法对网络进行学习，得到N张掩码图；步骤10、用argmax的方法对步骤9得到的N张掩码图的每个像素点进行分类，得到N张分割掩码图,完成前景扣取过程。有益效果本专利技术所提的一种基于边缘和Fisher准则的学习方法，在图片协同分割上与现有学习方法相比，具有以下有益效果：1.所述学习方法将图片边缘加入学习方法中，使得分割出来的结果更加贴切人们所预期的边缘效果；2.所述学习方法加入了Fisher准则思想，其中类内距离度量使用方差的形式。这种度量方式使得模型训练的更快、训练出来的模型更稳定；3.所述学习方法在图片协同分割上的正确率高于现有的学习方法学习出来的结果；4.能实现快速、高精度、高可靠、完全自动的图片物体抠取功能，在固定背景下，对于各种不同物体，均能提取出令人满意的物体区域。附图说明图1是本专利技术一种基于边缘和Fisher准则的学习方法的实施例流程图；图2是本专利技术一种基于边缘和Fisher准则的学习方法的分割网络结构示意图；图3是确定边缘邻域像素权重的方法示意图；图4是引入方差损失前后的效果示意图。具体实施方式根据上述
技术实现思路
中所述的技术方案，下面通过附图及具体实施例对本专利技术所述的一种基于边缘和Fisher准则的学习方法进行详细说明。实施例1本实施例叙述了使用本专利技术所述的一种基于边缘和Fisher准则的学习方法在步骤1到步骤5中得到的学习方法进行图片协同分割的具体实施。本实例采用本专利技术提出的基于边缘和Fisher准则的学习方法在商品展示中的商品前景抠取场景下实施，图1是本专利技术一种基于边缘和Fisher准则的学习方法的实施例流程图，其具体实施步骤如下：步骤a、将商品放在云台上，使其随云台进行360度旋转，在此过程中，从固定位置处对该商品拍摄若干张图片，比如18张、36张等，以下假定拍摄18张图片。步骤b、对于18张图片，用每两张图片组合的方式得到图片组；步骤c、对每组图片通过深度网络进行编码，获取组图片对应的特征图；步骤d、对步骤c得到组特征图进行相关性计算，得到组相关性特征图；步骤e、通过深度网络对步骤d得到的相关性特征图进行解码，得到组双通道特征图。两个通道上的每个点分别代表原图对应位置上属于前景和背景的概率；步骤f、计算步骤e得到的组分割掩码图的真实前景和真实背景的平均概率；用1减去真实前景对应的平均概率作为学习方法的一项，真实背景的平均概率直接作为学习方法的一项。得到两个损失项losspos和lossneg；其中，损失项losspos用公式(1)计算，损失项lossneg由公式(2)实现；其本文档来自技高网...

【技术保护点】
1.一种基于边缘和Fisher准则的学习方法，其特征在于：依托于U型深度网络；该深度网络包括编码器和解码器；编码器得到一组图片的特征图；解码器将特征图解码为掩码，并输出分割掩码图；/n所述基于边缘和Fisher准则的学习方法，包括如下步骤：/n步骤1、通过用摄像机对同一物体的不同角度拍摄，采集N张图片；/n步骤2、对步骤1得到的N张图片通过深度网络进行编码，获取N张图片对应的特征图；/n步骤3、通过深度网络对步骤2得到的特征图进行解码，得到N张每张双通道掩码图；两个通道上的每个点分别代表采集的N张图片对应位置上属于前景和背景的概率；/n步骤4、分别计算步骤3得到的每张掩码图中真实前景和真实背景的平均概率；/n用1减去真实前景对应的平均概率作为学习方法的损失项loss

【技术特征摘要】
1.一种基于边缘和Fisher准则的学习方法，其特征在于：依托于U型深度网络；该深度网络包括编码器和解码器；编码器得到一组图片的特征图；解码器将特征图解码为掩码，并输出分割掩码图；
所述基于边缘和Fisher准则的学习方法，包括如下步骤：
步骤1、通过用摄像机对同一物体的不同角度拍摄，采集N张图片；
步骤2、对步骤1得到的N张图片通过深度网络进行编码，获取N张图片对应的特征图；
步骤3、通过深度网络对步骤2得到的特征图进行解码，得到N张每张双通道掩码图；两个通道上的每个点分别代表采集的N张图片对应位置上属于前景和背景的概率；
步骤4、分别计算步骤3得到的每张掩码图中真实前景和真实背景的平均概率；
用1减去真实前景对应的平均概率作为学习方法的损失项losspos，真实背景的平均概率直接作为学习方法的另一个损失项lossneg；
步骤5、将步骤4得到的两个损失项losspos和lossneg进行求平均得到类间距离损失项losse；
步骤6、分别在前景和背景区域中划分出物体三个像素宽的边缘邻近区域，并对前景边缘邻近区域和背景边缘邻近区域分别施加不同的权重，以获得理想的分割边缘效果，得到加入边缘权重的类间距离损失项losse；
步骤7、分别计算前景和背景的方差，且在计算方差的过程时也加上了边缘权重，计算方差时加入权重的方法与步骤6相同，即：对前景边缘邻近区域和背景边缘邻近区域分别乘上不同的权重值，得到加入边缘权重的类内距离损失项lossv；
步骤8、对步骤6和步骤7得到的两个损失项加权求和，得到网络的学习方法；
步骤9、用步骤8得到的学习方法对网络进行学习，得到N张掩码图；
步骤10、用argmax的方法对步骤9得到的N张掩码图的每个像素点进行分类，得到N张分割掩码图,完成前景扣取...

【专利技术属性】
技术研发人员：刘峡壁，贡晓朋，段鑫，
申请(专利权)人：北京深境智能科技有限公司，广东申义实业投资有限公司，
类型：发明
国别省市：北京;11