面向图像语义标注的规则库结构优化与生成方法及系统技术方案

本发明专利技术公开了一种面向图像语义标注的规则库结构优化与生成方法及系统，其中方法主要包括以下步骤：通过前馈神经网络去除噪声样本，得到初始训练样本集；得到经过特征选择后的起点训练样本集以及终点样本子集；将起点样本集到终点样本子集的每条路径转换为一条标注规则，从起点样本集到终点样本子集的所有路径构成的规则集就是规则库。本发明专利技术可实现图像的语义标注，使用户能够从海量图像中快速、有效地找到感兴趣的图像资源。

【技术实现步骤摘要】
面向图像语义标注的规则库结构优化与生成方法及系统
本专利技术涉及图像语义标注，尤其涉及一种面向图像语义标注的规则库结构优化与生成方法及系统。
技术介绍
随着图像数量的急剧增长，图像已充斥整个网络。如何有效地检索和利用如此大规模的海量图像，以便用户能够快速、有效地找到感兴趣的图像资源，已成为当前极具挑战的任务。然而，作为图像检索的重要环节，语义标注的准确度决定着图像检索的效果。基于语义的图像检索能够弥补基于文本、基于内容的图像检索两种方案的缺陷，使检索结果与用户所需信息尽可能一致。常用的图像语义标注方法有两种：一种是概率模型方法，另一种是模式分类方法。前者建立图像与关键词之间的联合概率分布，将具有最大概率的语义概念标注到相应的图像上，以此实现图像语义的自动标注；后者将每个未标注的图像分类到某个类别，再将该类别的语义概念传递到未标注图像上，从而实现图像语义的自动标注。这两种方法虽然已得到广泛的应用，但仍存在如下不足：(1)一般而言，图像与语义概念之间的联合概率分布不能反映两者之间的实际分布，因此，依据概率模型的语义标注方法并不能取得理想的标注效果。(2)为了获得图像与语义概念之间的联合概率分布，需要进行参数估计，参数估计的过程往往很复杂，且时间代价过高。(3)模式分类方法虽然有较强的泛化能力，但这种方法属于黑箱操作，无法产生人类可以理解的标注过程。本专利技术针对现有图像语义标注方法的不足，研究了一种面向图像语义标注的规则库结构优化与生成方法，扩展了已有研究的成果。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中的上述缺陷，提供一种可以避免复杂的参数估计运算，提供人类可理解的标注过程的面向图像语义标注的规则库结构优化与生成方法及系统。本专利技术解决其技术问题所采用的技术方案是：提供一种面向图像语义标注的规则库结构优化与生成方法，包括以下步骤：利用图像分割算法对给定的原始训练样本集中的每幅图像进行分割，每个分割子区域均由低层视觉特征表示，并定义每个分割子区域的语义概念，对分割子区域进行聚类，对不同类别的分割子区域的语义概念进行合并，得到具有新的语义概念的所有类别的分割子区域集合，将其作为待过滤训练样本集；通过前馈神经网络对待过滤训练样本集进行分类，删除分类错误的样本，将剩余分类正确的样本作为初始训练样本集；将每个初始训练样本用向量表示成粒子的位置，构成粒子群；按照量子粒子群优化方法优化粒子群，并输出粒子的最优位置，对输出粒子的每一维的值与阈值比较，小于阈值的取为0，大于等于阈值的取为1，与1对应的特征集合为所选择的特征子集，得到经过特征选择后的起点训练样本集；按照起点训练样本集自身的特性选择分裂特征，用分裂特征分割起点训练样本集，得到若干训练样本子集，对分割后的每个训练样本子集，递归地获得它的分裂特征，并再次用分裂特征分割训练样本子集，直到所有训练样本子集的元素属于相同类为止，得到终点样本子集；将起点样本集到终点样本子集的每条路径转换为一条标注规则，从起点样本集到终点样本子集的所有路径构成的规则集就是规则库。本专利技术所述的方法中，利用生成的规则库对图像进行标注的步骤为：将待标注的图像通过分割算法得到多个分割子区域；提取每个分割子区域的低层视觉特征，按照预先选择的特征子集重新表示分割子区域；根据预先生成的规则库，将待标注图像的特征子集输入到规则库，得到语义概念集，该语义概念集就是待标注图像的语义。本专利技术所述的方法中，生成具有新的语义概念的所有类别的分割子区域集合的具体步骤为：对训练样本集中所有图像的分割子区域按照低层视觉特征进行聚类；将具有相同类别的分割子区域的聚类中心作为该类别的代表，而将所有语义概念进行合并，得到该类别的语义概念集；将所获得的具有新的语义概念的所有类别的分割子区域集合作为待过滤训练样本集，所有语义概念构成词汇表。本专利技术所述的方法中，前馈神经网络的输入为待过滤训练样本集，前馈神经网络的输出为词汇表。本专利技术所述的方法中，所述前馈神经网络为多层前馈神经网络。本专利技术还提供了一种面向图像语义标注的规则库结构优化与生成系统，该系统包括：去除噪声样本的过滤器，用于利用图像分割算法对给定的原始训练样本集中的每幅图像进行分割，每个分割子区域均由低层视觉特征表示，并定义每个分割子区域的语义概念，对分割子区域进行聚类，对不同类别的分割子区域的语义概念进行合并，得到具有新的语义概念的所有类别的分割子区域集合，将其作为待过滤训练样本集；通过前馈神经网络对待过滤训练样本集进行分类，删除分类错误的样本，将剩余分类正确的样本作为初始训练样本集；训练样本特征选择模块，用于将每个初始训练样本用向量表示成粒子的位置，构成粒子群；按照量子粒子群优化方法优化粒子群，并输出粒子的最优位置，对输出粒子的每一维的值与阈值比较，小于阈值的取为0，大于等于阈值的取为1，与1对应的特征集合为所选择的特征子集，得到经过特征选择后的起点训练样本集；规则库生成模块，用于按照起点训练样本集自身的特性选择分裂特征，用分裂特征分割起点训练样本集，得到若干训练样本子集，对分割后的每个训练样本子集，递归地获得它的分裂特征，并再次用分裂特征分割训练样本子集，直到所有训练样本子集的元素属于相同类为止，得到终点样本子集；该规则库生成模块还用于将起点样本集到终点样本子集的每条路径转换为一条标注规则，从起点样本集到终点样本子集的所有路径构成的规则集就是规则库。本专利技术产生的有益效果是：本专利技术通过去除图像的原始训练样本集的噪声，对用于优化规则库结构的训练样本特征进行选择，最后生成规则库，从而实现图像的语义标注，使用户能够从海量图像中快速、有效地找到感兴趣的图像资源。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术实施例面向图像语义标注的规则库结构优化与生成方法的流程图；图2是图1中步骤S1的具体流程图；图3是图1中步骤S2的具体流程图；图4是图1中步骤S3的具体流程图；图5是本专利技术实施例图像语义的标注流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例的面向图像语义标注的规则库结构优化与生成方法主要包括以下步骤：用于去除噪声样本的过滤器设计、用于优化规则库结构的训练样本特征选择以及规则库的生成。S1、用于去除噪声样本的过滤器设计利用计算机实现图像自动语义标注能够提高图像检索的性能，然而当训练样本集中存在较多噪声时，用机器学习方法来标注图像语义会导致标注结果不精确甚至错误。因此，需要对含噪声的训练样本进行过滤处理。过滤器设计方法如下：步骤S11.对于给定的原始训练样本集，利用图像分割算法对每幅图像进行分割，获得分割子区域集，人为定义每个分割子区域的语义概念。步骤S12.计算每个分割子区域的低层视觉特征，并进行规范化处理。步骤S13.对训练样本集中所有图像的分割子区域按照低层视觉特征进行聚类——即相似的分割子区域划为同一类。聚类后，将具有相同类别的分割子区域的聚类中心作为该类别的代表，而将它们的所有语义概念进行合并，得到该类别的语义概念集。此时，将所获得的具有新的语义概念的所有类别的分割子区域集合作为待过本文档来自技高网...

【技术保护点】
一种面向图像语义标注的规则库结构优化与生成方法，其特征在于，包括以下步骤：利用图像分割算法对给定的原始训练样本集中的每幅图像进行分割，每个分割子区域均由低层视觉特征表示，并定义每个分割子区域的语义概念，对分割子区域进行聚类，对不同类别的分割子区域的语义概念进行合并，得到具有新的语义概念的所有类别的分割子区域集合，将其作为待过滤训练样本集；通过前馈神经网络对待过滤训练样本集进行分类，删除分类错误的样本，将剩余分类正确的样本作为初始训练样本集；将每个初始训练样本用向量表示成粒子的位置，构成粒子群；按照量子粒子群优化方法优化粒子群，并输出粒子的最优位置，对输出粒子的每一维的值与阈值比较，小于阈值的取为0，大于等于阈值的取为1，与1对应的特征集合为所选择的特征子集，得到经过特征选择后的起点训练样本集；按照起点训练样本集自身的特性选择分裂特征，用分裂特征分割起点训练样本集，得到若干训练样本子集，对分割后的每个训练样本子集，递归地获得它的分裂特征，并再次用分裂特征分割训练样本子集，直到所有训练样本子集的元素属于相同类为止，得到终点样本子集；将起点样本集到终点样本子集的每条路径转换为一条标注规则，从起点样本集到终点样本子集的所有路径构成的规则集就是规则库。...

【技术特征摘要】
1.一种面向图像语义标注的规则库结构优化与生成方法，其特征在于，包括以下步骤：利用图像分割算法对给定的原始训练样本集中的每幅图像进行分割，每个分割子区域均由低层视觉特征表示，并定义每个分割子区域的语义概念，对分割子区域进行聚类，对不同类别的分割子区域的语义概念进行合并，得到具有新的语义概念的所有类别的分割子区域集合，将其作为待过滤训练样本集；通过前馈神经网络对待过滤训练样本集进行分类，删除分类错误的样本，将剩余分类正确的样本作为初始训练样本集；将每个初始训练样本用向量表示成粒子的位置，构成粒子群；按照量子粒子群优化方法优化粒子群，并输出粒子的最优位置，对输出粒子的每一维的值与阈值比较，小于阈值的取为0，大于等于阈值的取为1，与1对应的特征集合为所选择的特征子集，得到经过特征选择后的起点训练样本集；按照起点训练样本集自身的特性选择分裂特征，用分裂特征分割起点训练样本集，得到若干训练样本子集，对分割后的每个训练样本子集，递归地获得它的分裂特征，并再次用分裂特征分割起点训练样本子集，直到所有训练样本子集的元素属于相同类为止，得到终点样本子集；将起点训练样本集到终点样本子集的每条路径转换为一条标注规则，从起点训练样本集到终点样本子集的所有路径构成的规则集就是规则库。2.根据权利要求1所述的方法，其特征在于，利用生成的规则库对图像进行标注的步骤为：将待标注的图像通过分割算法得到多个分割子区域；提取每个分割子区域的低层视觉特征，按照预先选择的特征子集重新表示分割子区域；根据预先生成的规则库，将待标注图像的特征子集输入到规则库，得到语义概念集，该语义概念集就是待标注图像的语义。3.根据权利要求1所述的方法，其特征在于，生成具有新的语义概念的所有类别的分割子区域集合的具体步骤为：对训练样本集中所有图像的分割子区域按照低层视觉特征进行聚类；将...

【专利技术属性】
技术研发人员：金聪，金枢炜，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北;42