一种结合图像局部约束与对象全局约束的图像标记方法技术

本发明专利技术公开了一种结合图像局部约束与对象全局约束的图像标记方法，其获取每幅原始图像的超像素区域节点图像，且在每幅原始图像对应的掩膜图像中找出与对应的超像素区域节点图像中的每个超像素区域节点相对应的掩膜区域，并进行标记；然后利用超像素区域节点图像的特征集合以及掩膜图像所对应的区域标签集合来训练条件随机场模型，利用掩膜图像中的所有掩膜区域标记后得到的图像所对应的虚拟标签集合来训练形状玻尔兹曼机模型，且两者通过方格划分技术将条件随机场模型与形状玻尔兹曼机模型有效结合起来，使得图像局部约束与对象整体约束紧密结合，提高了图像标记的准确率；且其能适用于数据集较小且图像的分辨率较低的情况，计算复杂度低。

A method of image labeling combined with local constraints and global constraints

The invention discloses an image marking method based local image object constraints and global constraints, the acquisition of each original image pixel area node image, and a mask image corresponding to each of the original image to find the mask region corresponding to each super pixel region node super pixel regions corresponding to the node image in, and then use the feature marker; super node image collection and pixel region region label mask image corresponding to the set of training conditional random field model, set of training shape model using the Boltzmann machine virtual label corresponding to image mask mask all labeling images in the film, and the grid partition technology of the CRFs model and shape model Boltzmann machine are effectively combined, making local image and object constraint constraint This method can improve the accuracy of image labeling, and it can be applied to the situation that the data set is small and the image resolution is low.

【技术实现步骤摘要】

本专利技术涉及一种图像标记技术，尤其是涉及一种结合图像局部约束与对象全局约束的图像标记方法。
技术介绍
图像分割与图像标记是计算机视觉中的核心技术，现如今很多计算机视觉中的高层应用都依赖于准确的图像分割结果或者图像标记结果，如对象识别、场景分析应用等。由于图像存在遮挡、阴影、目标与背景特征相似等问题，因此使得图像分割与图像标记一直是计算机视觉中最具有挑战性的任务之一。作为多种视觉应用的基础和富有挑战性的任务，图像标记技术在计算机视觉领域一直广受关注，如何更好的对图像进行标记，国内外相关机构进行了深入地研究。近年来，由于条件随机场(ConditionalRandomField，CRF)能够有效的描述图像局部约束关系，因此条件随机场常常被用于图像标记任务。如：XumingHe,RichardS.Zemel,M.A.Carreira-Perpinan,etal.Multiscaleconditionalrandomfieldsforimagelabeling[C]//ComputerVisionandPatternRecognition,2004(何旭明、理查德·泽梅尔、米格尔·卡雷拉，基于多尺度条件随机场的图像标记[C]//计算机视觉与模式识别大会，2004)，其提出了用条件随机场分割静态图像，通过引入隐随机变量加入更多的上下文知识以便进行图像分割。又如：LeiZhang.Aunifiedprobabilisticgraphicalmodelanditsapplicationtoimagesegmentation[C]//RensselaerPolytechnicInstitute,2009(张磊，一种统一的概率图模型及其在图像分割中的应用[C]//伦斯勒理工学院，2009)，其提出了将超像素方法引入条件随机场模型中，通过一种各向异性扩散算法将图像过分割成超像素区域，然后将超像素区域作为条件随机场图模型中的节点，通过参数估计获得给定测试图像的最优标记。条件随机场有效的描述了图像局部约束关系，而对要标记的对象的全局约束关系的描述具有局限性，例如当对象的部分区域边界模糊时，条件随机场仅仅利用了图像局部约束关系，很可能将表观特征相似的背景错标记成对象部分，或者反之，因此引入对象全局约束关系来补充条件随机场的局限很有必要。对象形状约束信息可以作为对象全局约束关系的一种表现形式，最近很多文章都采用了受限的玻尔兹曼机(RBM)或者其扩展模型来获取对象形状约束信息。如：SalakhutdinovR,HintonG.DeepBoltzmannMachines[J].JournalofMachineLearningResearch,2009,5(2):1967–2006(鲁斯兰·萨拉赫丁诺夫、杰弗里·希尔顿，深度玻尔兹曼机[J].机器学习研究杂志，2009，第5期(2)：1967-2006)，其在玻尔兹曼机的基础上提出了深度玻尔兹曼机(DBM)，深度玻尔兹曼机是一个多层的玻尔兹曼机模型，通过多层的玻尔兹曼机进行特征提取获得目标对象的高层语义特征如形状、姿态等。又如：EslamiSM,HeessN,WilliamsCK,etal.TheShapeBoltzmannMachine:AStrongModelofObjectShape[C]//IEEEConferenceonComputerVision&PatternRecognition.2012:406-413(阿里·伊斯拉米、黒斯·尼古拉斯、查尔斯肯尼·威廉姆斯，形状玻尔兹曼机：一种鲁棒性强的形状建模模型[C]，IEEE计算机视觉与模式识别会议，2012:406-413)，其提出的形状玻尔兹曼机(ShapeBM)在对象形状建模上取得了较好效果。用对象形状约束来完成图像标记仅仅利用了对象整体约束信息，可能会造成图像的一些局部信息的丢失，不能达到较好的标记效果。为了获得较好的图像标记效果，近年来有许多方法也在图像局部约束和对象全局约束相结合上做了很多工作。KaeA,SohnK,LeeH,etal.AugmentingCRFswithBoltzmannMachineShapePriorsforImageLabeling[C]//ComputerVisionandPatternRecognition,2013(安德烈·凯、索恩、洪拉克·李、埃里克·米勒，条件随机场结合玻尔兹曼机形状先验的图像标记[C]//计算机视觉与模式识别大会，2013)，其提出通过玻尔兹曼机模型学习人脸形状先验特征作为对象全局约束，并借助于条件随机场分割框架能够融入其他分割线索的特性，将所学到的形状先验融入到条件随机场分割框架中，获得较好的分割与标记效果；该方法要求有比较大的数据集，这样才能使得玻尔兹曼机训练充分得到较好的效果，并且该方法要求数据集中的图像的分辨率较高，以适用于人脸图像的标记。ChenF,YuH,HuR,etal.DeepLearningShapePriorsforObjectSegmentation[C]//ComputerVisionandPatternRecognition,2013(陈飞、于慧敏、胡浩基、曾勋勋，深度学习形状先验的图像分割[C]//计算机视觉与模式识别大会，2013)，其提出将深度玻尔兹曼机模型学到的对象形状先验结合到一个变分分割模型中，通过求其能量函数最小达到分割的效果；该方法将深度学习模型结合到变分分割框架中，造成计算复杂度很大。基于以上原因，有必要引入一种结合图像局部约束与对象全局约束的图像标记方法，要求该图像标记方法能适用于数据集较小且数据集中的图像的分辨率较低的情况，并且要求该图像标记方法的计算复杂度适中。
技术实现思路
本专利技术所要解决的技术问题是提供一种结合图像局部约束与对象全局约束的图像标记方法，其通过形状玻尔兹曼机引入对象全局约束来补充条件随机场在对象标记上的局限性，使得图像标记结果更加准确，其能适用于数据集较小且数据集中的图像的分辨率较低的情况，并且计算复杂度低。本专利技术解决上述技术问题所采用的技术方案为：一种结合图像局部约束与对象全局约束的图像标记方法，其特征在于包括以下步骤：①选取一个图像库，该图像库中包含有M幅原始图像及每幅原始图像对应的掩膜图像，将图像库中的第m幅原始图像记为将对应的掩膜图像记为然后采用超像素分割方法对图像库中的每幅原始图像进行超像素分割，得到图像库中的每幅原始图像对应的超像素区域节点图像，将对应的超像素区域节点图像记为将中的第nm个超像素区域节点记为接着在图像库中的每幅原始图像对应的掩膜图像中找出与对应的超像素区域节点图像中的每个超像素区域节点相对应的掩膜区域，对于在中找出与中的每个超像素区域节点相对应的掩膜区域，将在中找出的与相对应的掩膜区域记为再根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域中属于前景的像素点的总个数与整个掩膜区域中的像素点的总个数的比例，来确定图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签，将的区域标签记为最后根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签，判定图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域本文档来自技高网...

【技术保护点】
一种结合图像局部约束与对象全局约束的图像标记方法，其特征在于包括以下步骤：①选取一个图像库，该图像库中包含有M幅原始图像及每幅原始图像对应的掩膜图像，将图像库中的第m幅原始图像记为将对应的掩膜图像记为然后采用超像素分割方法对图像库中的每幅原始图像进行超像素分割，得到图像库中的每幅原始图像对应的超像素区域节点图像，将对应的超像素区域节点图像记为将中的第nm个超像素区域节点记为接着在图像库中的每幅原始图像对应的掩膜图像中找出与对应的超像素区域节点图像中的每个超像素区域节点相对应的掩膜区域，对于在中找出与中的每个超像素区域节点相对应的掩膜区域，将在中找出的与相对应的掩膜区域记为再根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域中属于前景的像素点的总个数与整个掩膜区域中的像素点的总个数的比例，来确定图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签，将的区域标签记为最后根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签，判定图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域为前景区域或为背景区域，对于若则将判定为前景区域，若则将判定为背景区域；并将图像库中的每幅原始图像对应的掩膜图像中的所有掩膜区域的区域标签构成一个区域标签集合，将中的所有掩膜区域的区域标签构成的区域标签集合记为将中的所有掩膜区域标记后得到的图像记为其中，M≥200，1≤m≤M，1≤nm≤Nm，Nm表示中的超像素区域节点的总个数，Nm>1；②提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点的节点特征，将的节点特征记为然后将图像库中的每幅原始图像对应的超像素区域节点图像中的所有超像素区域节点的节点特征构成一个节点特征集合，将中的所有超像素区域节点的节点特征构成的节点特征集合记为其中，的维数为1×192，表示的颜色直方图特征，表示的纹理直方图特征，表示的位置概率直方图特征，和的维数为1×64；并提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点与其相邻的各个超像素区域节点之间的连接边特征，将与其相邻的第个超像素区域节点之间的连接边特征记为然后将图像库中的每幅原始图像对应的超像素区域节点图像中的所有超像素区域节点对应的连接边特征构成一个连接边特征集合，将中的所有超像素区域节点对应的连接边特征构成的连接边特征集合记为其中，与相邻的超像素区域节点是指与有共同边界的超像素区域节点，表示中与相邻的超像素区域节点的总个数，的维数为1×3，表示与其相邻的第个超像素区域节点的共同边界上的所有像素点的PB值之和，表示的颜色直方图和与相邻的第个超像素区域节点的颜色直方图之间的欧氏距离，表示的纹理直方图和与相邻的第个超像素区域节点的纹理直方图之间的卡方距离；再将图像库中的每幅原始图像对应的超像素区域节点图像所对应的节点特征集合和连接边特征集合构成图像库中的每幅原始图像对应的超像素区域节点图像的特征集合，将的特征集合记为③将图像库中选取的M'幅原始图像及选取的每幅原始图像对应的掩膜图像构成训练集，将训练集中的第m'幅原始图像记为将对应的掩膜图像记为将对应的超像素区域节点图像记为将中的所有掩膜区域标记后得到的图像记为并将图像库中剩余的M‑M'原始图像及剩余的每幅原始图像对应的掩膜图像构成测试集；然后将训练集中的所有原始图像对应的超像素区域节点图像的特征集合及对应的掩膜图像所对应的区域标签集合，输入到条件随机场模型Ecrf(Ytruth,Xorg)＝Enode(Ytruth,Xnode)+Eedge(Ytruth,Xedge)中，通过条件随机场模型计算得到训练集中的每幅原始图像对应的超像素区域节点图像的能量，将的能量记为接着根据热统计力学，确定训练集中的每幅原始图像对应的超像素区域节点图像的条件似然概率应满足的条件，的条件似然概率应满足的条件为：之后将训练集中的所有原始图像对应的超像素区域节点图像的最大条件似然概率的表示式描述为：最后优化当训练集中的所有原始图像对应的超像素区域节点图像的能量之和最小时即使得最大时输出条件随机场模型的统一权重参数α和β，得到训练好的条件随机场模型；其中，0.5M≤M'≤0.9M，1≤m'≤M'，Ytruth、Xorg、Xnode和Xedge均为条件随机场模型的输入参数，Ytruth表示训练集中的任一幅原始图像对应的掩膜图像所对应的区域标签集合，Xorg表示训练集中的任一幅原始图像对应的超像素区域节点图像的特征集合，Xnode表示训练集中的任一幅原始图像对应的超像素区域节点图像所对应的节点特征集合，Xedge表示训练集中的任一幅原始图像对应的超像素区域节点图像所对应的连接边特征集合，Enode(Ytruth,Xnode)表示条件随机场模型的一阶势，Eedge(Ytruth,Xedg...

【技术特征摘要】
1.一种结合图像局部约束与对象全局约束的图像标记方法，其特征在于包括以下步骤：①选取一个图像库，该图像库中包含有M幅原始图像及每幅原始图像对应的掩膜图像，将图像库中的第m幅原始图像记为将对应的掩膜图像记为然后采用超像素分割方法对图像库中的每幅原始图像进行超像素分割，得到图像库中的每幅原始图像对应的超像素区域节点图像，将对应的超像素区域节点图像记为将中的第nm个超像素区域节点记为接着在图像库中的每幅原始图像对应的掩膜图像中找出与对应的超像素区域节点图像中的每个超像素区域节点相对应的掩膜区域，对于在中找出与中的每个超像素区域节点相对应的掩膜区域，将在中找出的与相对应的掩膜区域记为再根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域中属于前景的像素点的总个数与整个掩膜区域中的像素点的总个数的比例，来确定图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签，将的区域标签记为最后根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签，判定图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域为前景区域或为背景区域，对于若则将判定为前景区域，若则将判定为背景区域；并将图像库中的每幅原始图像对应的掩膜图像中的所有掩膜区域的区域标签构成一个区域标签集合，将中的所有掩膜区域的区域标签构成的区域标签集合记为将中的所有掩膜区域标记后得到的图像记为其中，M≥200，1≤m≤M，1≤nm≤Nm，Nm表示中的超像素区域节点的总个数，Nm>1；②提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点的节点特征，将的节点特征记为然后将图像库中的每幅原始图像对应的超像素区域节点图像中的所有超像素区域节点的节点特征构成一个节点特征集合，将中的所有超像素区域节点的节点特征构成的节点特征集合记为其中，的维数为1×192，表示的颜色直方图特征，表示的纹理直方图特征，表示的位置概率直方图特征，和的维数为1×64；并提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点与其相邻的各个超像素区域节点之间的连接边特征，将与其相邻的第个超像素区域节点之间的连接边特征记为然后将图像库中的每幅原始图像对应的超像素区域节点图像中的所有超像素区域节点对应的连接边特征构成一个连接边特征集合，将中的所有超像素区域节点对应的连接边特征构成的连接边特征集合记为其中，与相邻的超像素区域节点是指与有共同边界的超像素区域节点，表示中与相邻的超像素区域节点的总个...

【专利技术属性】
技术研发人员：王浩，郭立君，张荣，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33