一种基于不确定性分析的数字图像自动标注方法技术

一种基于不确定性分析的数字图像自动标注方法，包括基于深度卷积神经网络的图像特征提取、基于变精度邻域粗糙集的图像自动标注系统构建和对未标注图像进行标注。本方法采集图像数据并进行标注得到训练集，通过深度卷积神经网络提取图像的特征向量；基于邻域估计类条件概率密度得到分类模型；预测时，提取图像特征，利用粗糙集上、下近似的概念估计待分类图像的位置；位于正域和负域的图像直接判断标记的隶属关系，而位于边界域中的图像则利用贝叶斯决策规则进行判断。本发明专利技术通过引入粗糙集上、下近似概念来估计待标注图像在样本空间的位置，降低不相关标记的错误预测率，解决了图像自动标注中，底层图像特征与高层语义之间存在的不确定性问题。

An automatic digital image annotation method based on uncertainty analysis

An automatic digital image annotation method based on uncertainty analysis includes image feature extraction based on depth convolution neural network, image automatic annotation system based on variable precision neighborhood rough set and annotation of unannotated image. This method collects image data and labels them to get training set, extracts image feature vectors by depth convolution neural network, obtains classification model based on neighborhood estimation class conditional probability density, extracts image features, estimates the position of the image to be classified by using the concept of upper and lower approximation of rough set, and locates in positive domain. The membership of the marker is directly judged by the image in the negative domain, while the image in the boundary domain is judged by Bayesian decision rules. By introducing the upper and lower approximation concepts of rough sets to estimate the position of the image to be annotated in the sample space, the method reduces the error prediction rate of the uncorrelated markers, and solves the uncertainty problem between the bottom image features and the high-level semantics in the automatic image annotation.

【技术实现步骤摘要】
一种基于不确定性分析的数字图像自动标注方法
本专利技术涉及一种基于不确定性分析的数字图像自动标注方法，属计算机图像处理

技术介绍
随着计算机技术的迅猛发展以及多媒体应用和社交网络的风靡流行，互联网上的多媒体数据呈指数级增长。海量的数据给多媒体应用研究，尤其是基于图像的应用研究带来新的机遇和挑战。为了从海量的图像数据中挖掘出所需要的图像，必须要有一套有效的图像检索机制。图像自动标注技术可以让计算机自动地给无标注的图像加上能够反映图像内容的语义标签，是实现图像检索的关键。它试图在图像的高层语义信息和低层视觉特征之间建立一种映射关系，通过已标注图像或其它可获得的信息，自动学习语义概念空间与视觉特征空间的关系模型，并利用此模型标注未知语义的图像。自Mori等人在1999年提出共生模型(Co-occurrenceModel)以来，各种新颖的图像自动标注算法不断涌现,众多的研究者从不同的角度分析和解决标注问题,期望能找到良好的标注方法。有的将图像自动标注看成是从视觉语言到文本语言的翻译问题，有的学者则认为图像自动标注是一个图学习的过程。此外，由于图像标注具有多标记的特性，因此也有学者将它看作多标记学习问题。然而现有的方法存在着一些缺陷：首先，图像的底层特征不能完全反映和匹配用户的检索意图。当前已有的图像自动标注系统的特征表达依然采用人工设计的方式，例如SIFT、HOG等。这些特征在特定类型对象中能够达到较好的识别效果，基本能够满足现实需求。但这些算法提取的只是一些低层次(low-level)特征，抽象程度不高，包含的可区分性信息不足。例如算法经常基于像素灰度值等底层特征进行语义标注，而底层特征由于结构性不强，对于分类来说无法提供更多有价值的语义信息。其次，已有方法都基于一个共同的假设，即视觉的相似性可以保证语义的相似性，这是与“语义鸿沟”问题相冲突的。事实上，两幅视觉内容相似的图像可能会拥有不同的语义标签；例如两幅暖色调的图像分别显示了秋天和落日的景象，色彩明亮，都以黄色为主色调。它们视觉特征相似，但是表达的语义却完全不同。最后，已有的算法忽略了有限的训练样本带来的影响，样本有限使得无法准确估计每个类的分布。这些问题的出现主要是因为在视觉特征空间到语义概念空间的映射过程中存在着不确定性。本专利技术在考虑不确定性因素客观存在的前提下，基于不确定性分析工具变精度邻域粗糙集，设计一个图像自动标注方法。
技术实现思路
本专利技术的目的是，针对当前图像自动标注技术存在的问题，提供一种基于不确定性分析的数字图像自动标注方法，利用变精度邻域粗糙集减少底层视觉特征和高层语义匹配时存在的不确定性，减少特征学习的难度，提高自动标注的准确性。实现本专利技术的技术方案如下,一种基于不确定性分析的数字图像自动标注方法,包括基于深度卷积神经网络的图像特征提取、基于变精度邻域粗糙集的图像自动标注系统构建和对未标注图像进行标注。所述方法采集图像数据并进行标注得到训练集，通过深度卷积神经网络提取图像的特征向量；再基于邻域估计类条件概率密度得到分类模型；预测时，提取图像特征，利用粗糙集上、下近似的概念估计待分类图像的位置；位于正域和负域的图像直接判断标记的隶属关系，而位于边界域中的图像则利用贝叶斯决策规则进行判断。所述基于深度卷积神经网络的图像特征提取步骤如下：(1)将图片大小调整到224×224，把每个像素看作一个神经元输入到卷积神经网络中，其中设定四个卷积层，每层的卷积核个数分别为64,64,128,128，分别表示在对应层上提取的特征个数；(2)卷积核大小都为3×3，步长为1，表示每个卷积核和特征图上邻域9个像素相连，且对每个特征图都权值共享；(3)卷积后加上一个可训练的偏置参数，再经过ReLU激活函数，得到卷积层的结果，代表该卷积层所提取的特征。例如第一个64代表在第一个卷积层上有64个卷积核，每一个卷积核因其参数不同(特征偏好)，从而提取不同特征，在第一层上可提取64种特征，并作为下一层的输入。每两个卷积层后接一个2×2，步长为2的最大池化层，在邻域4个像素上取最大值，保留主要特征，得到1/4大小的特征图。最后一层为全连接层，全连接层的输入是经过前面卷积池化层后所得到的分布式特征(不同类型的特征)，全连接层起到将这些“分布式特征表示”映射到样本标记空间的作用。至此，可将原始图像转变为多维的特征向量，即完成了图像的特征提取。所述基于变精度邻域粗糙集的图像自动标注系统构建包括以下步骤：(1)在包含n个样本的训练集中，计算每个类别lj的先验概率和每一个样本对应着一个m维的标记向量y＝[y1,y2,....,ym]；如果样本具有类别标记lj，则yj＝1；反之，则yj＝0；表示类别标记lj出现的概率；表示类别标记lj不出现的概率；s是平滑参数，初始值设定为1，即Laplace平滑，计数的初始值最小为1可以避免分母为0时，无法计算概率值的问题。(2)根据邻域粗糙集，求取每个样本xi的邻域δ(xi)，并统计邻域中各类样本的个数，然后计算邻域δ(xi)中各类样本所占的比例λ；对于样本xi，如果它具有类别标记lj(j∈[1,m])，且邻域中lj类样本所占比例为λ时，向量加1；如果它不具有类别标记lj，且邻域中lj类样本所占比例为λ时，则加1；其中，表示xi的邻域中具有标签lj的对象的个数。(3)针对不同类别标记lj，统计λ取不同值的个数；然后根据统计结果，计算每个λ值的类条件概率和s是平滑参数，初始值设为1；其中，表示具有标签lj且邻居中lj类对象个数占邻居总数的比例为λ的对象个数；m为标签的个数；表示不具有标签lj且邻居中lj类对象个数占邻居总数的比例为λ的对象个数。(4)根据和采用多项式拟合方法生成每个类的条件概率密度曲线，用于估计λ取未知值的概率。所述对未标注图像进行标注包括以下步骤：(1)先利用深度卷积神经网络提取图像特征；(2)计算待标注图像t的邻域δ(t)，然后在邻域δ(t)内统计不同类lj的样本个数β；如果β＝k，则待标注图像位于类lj正域，如果β＝0，则待标注图像位于类lj的负域，如果0＜β＜k，则计算该类样本占邻域δ(t)内样本总数的比例λ；如果则否则其中，表示δ(xi)中具有标签lj的对象所占的比例为λ。(3)如果则图像具有类别标记lj；否则图像不具有类别标记lj。本专利技术的有益效果是，本专利技术通过引入粗糙集上、下近似概念来估计待标注图像在样本空间的位置，降低不相关标记的错误预测率，并提高相关标记的正确预测率，有助于解决图像自动标注中，底层图像特征与高层语义之间匹配时存在的不确定性问题。附图说明图1为本专利技术数字图像自动标注方法流程图；图2为基于卷积神经网络的图像特征提取过程；图3为基于变精度邻域粗糙集的图像自动标注系统构建的过程；图4为对未标注图像进行标注的过程。具体实施方式下面结合附图和具体实施例，进一步阐明本专利技术。图1是实施基于不确定性分析的数字图像自动标注方法的业务流程。本实施例方法的实现对硬件环境的要求为具有满足运行深度学习算法的工作站或服务器，配置了NVIDIA显卡。实现本实施例所用的语言工具没有特别要求，C语言、C++语言、Python语言等都能实现；对操作系统平台也没有特别要求，MicrosoftWindows系统、各种L本文档来自技高网...

【技术保护点】
1.一种基于不确定性分析的数字图像自动标注方法，其特征在于，所述方法包括基于深度卷积神经网络的图像特征提取、基于变精度邻域粗糙集的图像自动标注系统构建和对未标注图像进行标注；所述方法采集图像数据并进行标注得到训练集，通过深度卷积神经网络提取图像的特征向量；再基于邻域估计类条件概率密度得到分类模型；预测时，提取图像特征，利用粗糙集上、下近似的概念估计待分类图像的位置；位于正域和负域的图像直接判断标记的隶属关系，而位于边界域中的图像则利用贝叶斯决策规则进行判断。

【技术特征摘要】
1.一种基于不确定性分析的数字图像自动标注方法，其特征在于，所述方法包括基于深度卷积神经网络的图像特征提取、基于变精度邻域粗糙集的图像自动标注系统构建和对未标注图像进行标注；所述方法采集图像数据并进行标注得到训练集，通过深度卷积神经网络提取图像的特征向量；再基于邻域估计类条件概率密度得到分类模型；预测时，提取图像特征，利用粗糙集上、下近似的概念估计待分类图像的位置；位于正域和负域的图像直接判断标记的隶属关系，而位于边界域中的图像则利用贝叶斯决策规则进行判断。2.根据权利要求1所述的一种基于不确定性分析的数字图像自动标注方法，其特征在于，所述基于深度卷积神经网络的图像特征提取步骤如下：(1)将图片大小调整到224×224，把每个像素看作一个神经元输入到卷积神经网络中，其中设定四个卷积层，每层的卷积核个数分别为64,64,128,128，分别表示在对应层上提取的特征个数；(2)卷积核大小都为3×3，步长为1，表示每个卷积核和特征图上邻域9个像素相连，且对每个特征图都权值共享；(3)卷积后加上一个可训练的偏置参数，再经过ReLU激活函数，得到卷积层的结果，代表该卷积层所提取的特征。3.根据权利要求1所述的一种基于不确定性分析的数字图像自动标注方法，其特征在于，所述基于变精度邻域粗糙集的图像自动标注系统构建包括以下步骤：(1)在包含n个样本的训练集中，计算每个类别lj的先验概率和每一个样本对应着一个m维的标记向量y＝[y1,y2,....,ym]；如果样本具有类别标记lj，则yj＝1；反之，则yj＝0；表示类别标记lj出现的概率；表示类别标记lj不出现的概...

【专利技术属性】
技术研发人员：余鹰，喻建云，伍国华，王乐为，吴新念，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：江西,36