利用前后景灰度差和深度学习网络的图像精确分割方法技术

本发明专利技术公开了一种利用前后景灰度差和深度学习网络的图像精确分割方法。采用DeepLab识别模型并对待定图像识别得到初始分割图，提取初始分割图上待测物的轮廓点并计算定向矩阵和长短轴长度，用定向矩阵对轮廓点进行重定向，计算质心，利用定向矩阵、长短轴长度和质心计算待定点前景灰度差异值、背景灰度差异值，进而计算前景扩张参考值和背景扩张参考值，比较前景扩张参考值和背景扩张参考值与相应阈值的大小确定待定点的属性，进而实现精确分割。本发明专利技术综合利用待定点与待测物质心的距离和待定点与前景及背景的灰度差异来判断等点的属性，实现了图像的精确分割。

An Accurate Image Segmentation Method Using Gray Level Difference of Foreground and Background Scenes and Deep Learning Network

The invention discloses an accurate image segmentation method utilizing gray difference between foreground and background scenes and depth learning network. DeepLab recognition model is used to identify the undetermined image and get the initial segmentation image. The contour points of the object to be measured on the initial segmentation image are extracted and the orientation matrix and the length of the long and short axis are calculated. The contour points are redirected by the orientation matrix, the centroid is calculated, and the foreground gray difference value and background gray difference value of the undetermined point are calculated by the orientation matrix, the length of the long and short axis and the centroid, and then the foreground expansion is calculated. By comparing the reference values of foreground expansion and background expansion with the corresponding threshold values, the attributes of the undetermined points can be determined, and then the precise segmentation can be achieved. The method integrates the distance between the undetermined point and the center of matter to be measured and the gray difference between the undetermined point and the foreground and background to judge the attributes of the equivalents, thus realizing the accurate segmentation of the image.

【技术实现步骤摘要】
利用前后景灰度差和深度学习网络的图像精确分割方法
本专利技术涉及一种在现有技术分割图像基础上进一步提高图像分割精度的方法，具体涉及一种利利用前后景灰度差和深度学习网络的图像精确分割方法。
技术介绍
图像分割是将图像区分为多个特定区域来代表不同的事物的过程，是目标识别中重要的步骤。在猪的行为检测中，需要将猪从各种背景中识别出来，实现猪的图像分割，为进一步的行为分析打下基础。但由于猪场内各种设施的存在及光照条件的不断变化，传统的图像分割方法很容易失效。近年来，深度学习方法在图像分割中得到了应用。FCN是图像分割最早的经典模型(LONGJ,SHELHAMERE,DARRELLT.Fullyconvolutionalnetworksforsemanticsegmentation；proceedingsoftheProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,F,2015)，其主要思想是将图像识别的神经网络模型的最后一层全连接层替换成全卷积层。使得原来输出单个识别结果的模型可以进行像素级别的图像识别。MaskRCNN(HEK,GKIOXARIG,DOLLáRP,etal.Maskr-cnn；proceedingsoftheComputerVision(ICCV),2017IEEEInternationalConferenceon,F,2017[C].IEEE.)是在FasterR-CNN(ENS,HEK,GIRSHICKR,etal.FasterR-CNN:towardsreal-timeobjectdetectionwithregionproposalnetworks；proceedingsoftheInternationalConferenceonNeuralInformationProcessingSystems,F,2015)基础上做了另一条类似FCN结构的分支，其在图像分割领域成绩不俗。SegNet(KENDALLA,BADRINARAYANANV,CIPOLLAR.Bayesiansegnet:Modeluncertaintyindeepconvolutionalencoder-decoderarchitecturesforsceneunderstanding[J].arXivpreprintarXiv:151102680,2015。RONNEBERGERO,FISCHERP,BROXT.U-net:Convolutionalnetworksforbiomedicalimagesegmentation；proceedingsoftheInternationalConferenceonMedicalimagecomputingandcomputer-assistedintervention,F,2015[C].Springer.)的权重比FCN小很多，同时还有简化版的网络用于道路情况的实时分割，简化版的权重仅有5MB。除了原版的SegNet，作者还结合了贝叶斯概率原理设计了BayesianSegNet，它主要利用了Dropout将每次网络的输出变成了不确定的结果，单次网络的前向传播得出预测概率是先验概率，而通过多次传播得到多个输出来确定总体的后验概率，得出置信度。CRFasRNN(ZHENGS,JAYASUMANAS,ROMERA-PAREDESB,etal.Conditionalrandomfieldsasrecurrentneuralnetworks；proceedingsoftheProceedingsoftheIEEEinternationalconferenceoncomputervision,F,2015[C])使用FCN输出像素判别为某一类的概率作为CRF能量方程的一元势能，并设计了一个标签相性函数、像素特征向量(主要为颜色与位置)与高斯核相结合的二元势能来反映像素和周边像素的关系。DeepLab(CHENL-C,PAPANDREOUG,KOKKINOSI,etal.Semanticimagesegmentationwithdeepconvolutionalnetsandfullyconnectedcrfs[J].arXivpreprintarXiv:14127062,2014。CHENL-C,PAPANDREOUG,KOKKINOSI,etal.Deeplab:Semanticimagesegmentationwithdeepconvolutionalnets,atrousconvolution,andfullyconnectedcrfs[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2018,40(4):834-48。CHENL-C,PAPANDREOUG,SCHROFFF,etal.Rethinkingatrousconvolutionforsemanticimagesegmentation[J].arXivpreprintarXiv:170605587,2017。CHENL-C,ZHUY,PAPANDREOUG,etal.Encoder-decoderwithatrousseparableconvolutionforsemanticimagesegmentation[J].arXivpreprintarXiv:180202611,2018)图像分割领域的主流模型。DeepLab的第一个版本引入了空洞卷积代替池化，从而使得网络输出的分辨率不会太低，也就避免了需要引入大尺寸的填充，同时在网络最后接上了条件随机场(CRF)，利用图像的空间相关性精细化分割结果。DeepLab的第二个版本使用了空洞空间金字塔池化，即借鉴了空间金字塔池化网络[57]在不同尺度上使用了空洞卷积从而使得分割能适应不同尺度变化。DeepLab的第三版本改进了空洞空间金字塔池化的模块，形成串联结构。最新版本命名为V3+，主要是结合了解码结构，使得输出在上采样的时候与同尺度的图像特征结合，获取更好的精度。在猪个体识别中，由于场景复杂且光照环境多变，采用深度学习模型得到猪分割结果和真实结果不完全一致的，有些情况下，差距还很大，需研究进一步提高分割精度的方法。
技术实现思路
为了解决
技术介绍
中存在的精确分割的问题，本专利技术提供了一种利利用前后景灰度差和深度学习网络的图像精确分割方法，使用基于区域生长的分割算法对初分割结果周围的区域再进行精分割，能提高图像分割精度。本专利技术所采用技术方案如下：步骤1：采集多幅不同场景、不同时段、不同拍摄角度的待测物图像，对每一幅待测物图像处理获得待测物初步轮廓，将待测物初步轮廓以外的图像区域变为黑色；所述的待测物图像为完整包含有待测物的图像。所述的待测物在图像中的主体形状为椭圆形。具体实施中，所述的图像为母猪图像，图像中完整包含有母猪对象。步骤2：对步骤1获得的所有待测物图像采用DeepLab神经网络进行模型训练，得到待测物识别模型；所述待测物图像为模型训练的已知样本图像。步骤3：对待定图像用待测物识别模型进行识别，得到与待定图像本文档来自技高网...

【技术保护点】
1.一种利用前后景灰度差和深度学习网络的图像精确分割方法，其特征在于：包括如下步骤：步骤1：采集多幅不同场景、不同时段、不同拍摄角度的待测物图像，对每一幅待测物图像处理获得待测物初步轮廓，将待测物初步轮廓以外的图像区域变为黑色；步骤2：对步骤1获得的所有待测物图像采用DeepLab神经网络进行模型训练，得到待测物识别模型；步骤3：对待定图像用待测物识别模型进行识别，得到与待定图像大小一致的初始分割图；初始分割图上属于待测物的图像区域对应到待定图像上的相同图像区域作为前景，初始分割图上不属于待测物的图像区域对应到待定图像上的相同图像区域作为背景；并且对初始分割图中的待测物进行边缘提取，得到初始轮廓L；步骤4：以初始分割图左下点为原点，水平方向为x轴，竖直方向为y轴，建立图像直角坐标系；步骤5：将待测物的初始轮廓L以图像直角坐标系下的坐标表示成轮廓点(xi,yi)保存，i＝1,2…N，N表示初始轮廓中轮廓点的序数；步骤6：将待测物看作椭圆形，采用尺寸快速检测方法对待定图像处理得到待测物的定向矩阵R、横径w和纵径h，将定向矩阵R与每个轮廓点(xi,yi)相乘得到各自新的轮廓点(x’i,y’i)，利用所有新的轮廓点(x’i,y’i)计算待测物在图像直角坐标系下的质心(x’c,y’c)；步骤7：将待定图像的背景与待定图像的前景之间的轮廓点坐标Qs(xs,ys)作为待定点组成待定点队列Q；步骤8：将待定点队列中的待定点Qs(xs,ys)与定向矩阵R相乘得到新待定点(x’s,y’s)，用下面的公式计算新待定点(x’s,y’s)与质心(x’c,y’c)的距离Dc：...

【技术特征摘要】
1.一种利用前后景灰度差和深度学习网络的图像精确分割方法，其特征在于：包括如下步骤：步骤1：采集多幅不同场景、不同时段、不同拍摄角度的待测物图像，对每一幅待测物图像处理获得待测物初步轮廓，将待测物初步轮廓以外的图像区域变为黑色；步骤2：对步骤1获得的所有待测物图像采用DeepLab神经网络进行模型训练，得到待测物识别模型；步骤3：对待定图像用待测物识别模型进行识别，得到与待定图像大小一致的初始分割图；初始分割图上属于待测物的图像区域对应到待定图像上的相同图像区域作为前景，初始分割图上不属于待测物的图像区域对应到待定图像上的相同图像区域作为背景；并且对初始分割图中的待测物进行边缘提取，得到初始轮廓L；步骤4：以初始分割图左下点为原点，水平方向为x轴，竖直方向为y轴，建立图像直角坐标系；步骤5：将待测物的初始轮廓L以图像直角坐标系下的坐标表示成轮廓点(xi,yi)保存，i＝1,2…N，N表示初始轮廓中轮廓点的序数；步骤6：将待测物看作椭圆形，采用尺寸快速检测方法对待定图像处理得到待测物的定向矩阵R、横径w和纵径h，将定向矩阵R与每个轮廓点(xi,yi)相乘得到各自新的轮廓点(x’i,y’i)，利用所有新的轮廓点(x’i,y’i)计算待测物在图像直角坐标系下的质心(x’c,y’c)；步骤7：将待定图像的背景与待定图像的前景之间的轮廓点坐标Qs(xs,ys)作为待定点组成待定点队列Q；步骤8：将待定点队列中的待定点Qs(xs,ys)与定向矩阵R相乘得到新待定点(x’s,y’s)，用下面的公式计算新待定点(x’s,y’s)与质心(x’c,y’c)的距离Dc：式中，w为待测物的长轴长度，h为短轴长度；步骤9：针对待定点Qs(xs,ys)的8邻域中属于前景的像素点作为前景点，计算前景点的灰度差异值Dt：式中，gy,x为待定点Qs(xs,ys)的灰度值，nt为前景点数量，T为待定点S(xs,ys)的8邻域中前景像素点集；步骤10：针对待定点Qs(xs,ys)的8邻域中属于背景的像素点作为背景点，计算背景点的灰度差异值Db：式中，gy,x为待定点Qs(xs,ys)的灰度值，nb为背景点数量，B为待定点S(xs,ys)的8邻域中背景像素点集；步骤11：计算前景扩张参考值...

【专利技术属性】
技术研发人员：饶秀勤，宋晨波，张小敏，高迎旺，应义斌，泮进明，郑荣进，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33