一种基于数据平滑的图像语义自动标注方法及装置制造方法及图纸

本实发明专利技术公开一种基于数据平滑的图像语义自动标注方法及装置,通过使用跨媒体相关模型是一种基于图像内容的自动标注模型，利用概率统计方法，获得每个关键字作为图像标注的概率；该模型在图像标注领域取得了较好的成绩，也是比较稳定的一种方法，因此，本发明专利技术实施例在跨媒体相关模型数据平滑的基础上，提取鲁棒性更强的特征，发明专利技术了一种效率更高、准确率更高的图像语义自动标注方法，在一定程度上解决“语义鸿沟”问题、同时解决了传统的语义标注中通过人工的方式对每幅图像进行关键词描述的过程，节省了人力和时间成本，具有较高的应用前景。

An automatic image semantic annotation method and device based on data smoothing

This invention discloses an automatic image tagging method and device based on data smoothing. By using the cross media correlation model as an automatic annotation model based on the content of the image, the probability of each keyword as the image annotation is obtained by using the probability and statistics method. The model has achieved good results in the field of image annotation. As a result, it is also a relatively stable method. Therefore, on the basis of the cross media related model data smoothing, the present invention extracts more robust features, invents an image semantic annotation method with higher efficiency and higher accuracy, and solves the problem of \semantic gap\ to a certain extent and solves the problem at the same time. In the traditional semantic annotation, the process of keyword description for each image by artificial means saves manpower and time cost, and has a high application prospect.

【技术实现步骤摘要】
一种基于数据平滑的图像语义自动标注方法及装置
本专利技术涉及计算机
，尤其涉及一种基于数据平滑的图像语义自动标注方法及装置。
技术介绍
随着数字影像技术与互联网技术的迅速发展，互联网上有约数以百亿的图像，并且每天都在以数百万的速度增长。如何设计一种从海量图片中快速有效地检索出用户需要的图片的方法有着巨大的现实意义，这也是图像检索领域关注的内容。图像语义自动标注是指利用计算机视觉技术，让计算机对图像中的内容进行理解，从而给图像自动标注出文本语义的过程。也就是说，图像语义自动标注是让计算机对图像的语义进行准确地描述和理解的过程，其本质上就是建立图像和文本语义之间的关联。图像语义自动标注通常用于图像检索、图像分类和相册管理等不同的场景。图像语义标注已经成为图像检索中的研究热点。通过图像语义标注就可以将图像的检索问题转化为技术成熟、效率高的文本检索问题。但是传统的语义标注是通过人工的方式对每幅图像进行关键词描述，在现在数据爆炸的时代这种方式显然是既费时效率又低。目前，现有的图像语义自动标注的方法存在以下三点问题：1)、现有的图像语义在动标注犯法是将图像的语义标注作为分类问题来解决的，通常需要人工事先选择、标注语义类别，才能训练语义分类器。因此，对每个类别进行图像的人工标注费时费力，并且其无法穷尽整个语义空间，导致图像的语义描述很不完整；2)、每个语义类别均对应一个语义分类器，在对图像进行语义标注时，需要将所有的语义分类器进行测试，从中挑选置信度较高的语义类别作为图像的语义标注。但是如果语义类别数目巨大，则对图像进行语义标注时的计算量也会非常巨大，从而实现由的图像语义自动标注的方法无法在实时性要求较高的场景中应用；3)、在抽取的图像的地层特征到语义信息之间存在语义鸿沟，因此，现有的图像自动标注的方法在获取语义类别是，具有的稳定性和一致性都很差；4)、由于训练集的不足，往往会导致数据稀疏问题，在统计每个关键词出现在每幅图像中的次数时就会出现很多0，但这往往是由于训练集的限制，实际上它们真实的概率不是0.这就对所标注模型产生了很大的误差。
技术实现思路
为解决上述技术缺陷，本专利技术采用的技术方案在于，提供一种基于数据平滑的图像语义自动标注方法及装置。根据本专利技术实施例的一个方面，提供一种基于数据平滑的图像语义自动标注方法，包括：S1：输入初始图像集，将初始图像集进行预处理形成训练图像集；S2：根据训练图像集提取视觉词元信息；S3：根据训练图像集提取关键字信息S4：根据关键字和视觉词元信息生成初始标注矩阵；S5：根据关键字信息生成词间相关性矩阵；S6：利用词间相关性矩阵对出示标注矩阵进行调整，得到最终的标注矩阵；S7：将最终的标注矩阵进行标注。该方法一方面解决了传统的语义标注中通过人工的方式对每幅图像进行关键词描述的过程，节省了人力和时间成本，避免了图像的低层特征和语义信息之间的语义鸿沟，提高了图像语义自动标注的稳定性和一致性；另一方面，该方法是利用跨媒体相关模型对图像内容进行自动标注，具有提取鲁棒性更强、效率更高、准确率更高的图像语义自动标注方法。较佳的，所述将初始图像集进行预处理形成训练图像集中的预处理包括：将图像尺寸大小归一化处理、图像恢复处理。较佳的，所述图像恢复处理所使用的方法是维纳滤波法。较佳的，所述根据训练图像集形成视觉词元步骤包括：将训练图像集进行分割、再根据训练图像集的颜色和纹理提取视觉特征，将视觉特征量化形成视觉词元。较佳的，所述将训练图像集进行分割的方法包括采用N-cut算法将训练图像集中的每幅图像都进行分割。较佳的，所述根据训练图像集的颜色和纹理提取视觉特征的步骤包括：先对分割后的训练图像提取颜色特征和纹理特征作为局部特征描述算子，再提取主成分分析的尺度不变特征(PCA-SIFT)作为全局特征，最后将局部特征和全局特征融合成一个长特征向量作为视觉特征。本专利技术实施例利用PCA-SIFT进行全局特征和局部特征的检索，再将两个特征进行融合，解决了传统的语义标注中通过人工的方式对每幅图像进行关键词描述的过程，节省了人力和时间成本，避免了图像的低层特征和语义信息之间的语义鸿沟，提高了图像语义自动标注的稳定性和一致性较佳的，所述根据训练图像集提取关键字和视觉词元信息的步骤包括：先统计出每个关键字出现在每幅图像的标注中的次数，再统计出关键字在训练图像集标注中的总次数；然后统计出视觉词元b出现在每幅图像中的次数，一幅图像的多个区域可能属于同一个聚类；最后统计出视觉词元b出现在全部训练图像集中的次数。较佳的，所述根据关键字和视觉词元信息生成初始标注矩阵的步骤包括：利用Add-one平滑技术将提取的关键字和视觉词元信息进行数据平滑处理，生成初始标注矩阵。较佳的，所述Add-one平滑技术处理包括对每一个次数都加1，更新次数。计算再根据公式最后将将关键字与视觉词元的联合分布边缘化求得P(w|b1Lbm)≈P(w|I)；其中wi(i＝1Ln)为关键字，bi(i＝1Lm)为视觉词元，训练图像为Ji＝{b1Lbm，w1Lwn}，T为训练图像集，I＝{b1Lbm}为测试图像。较佳的，所述根据关键字信息生成词间相关性矩阵的步骤包括将根据S2训练图像集中提取的关键字信息进行统计，根据公式计算出词间相关性矩阵。较佳的，所述将关键字信息进行统计包括：统计出任意两个关键字的共生次数，记为K(w1，w2)；先统计每个关键字在训练图像集中作为标注出现的次数。较佳的，所述根据公式计算出词间相关性矩阵步骤为：先根据公式计算出词间相关性矩阵其中NT训练集大小，K(w1，w2)为对称矩阵。再对矩阵进行归一化处理，记为矩阵S。较佳的，所述利用词间相关性矩阵对出示标注矩阵进行调整，得到最终的标注矩阵包括：将词间相关性矩阵S作用到初始标注矩阵Y，按照下式进行迭代计算，直到收敛：R＝β·S+(1-β)Y其中β为平滑系数。最后得到最终的标注矩阵。较佳的，所述将标注矩阵进行排序，从排序后的标注矩阵中选取预设列数的元素形成最终标注矩阵的步骤为对得到的最终的标注矩阵按照概率大小进行排序，从中取前5列元素作为最终的标注关键字得到的最终的标注矩阵。本专利技术实施例利用跨媒体相关模型对图像内容进行自动标注，具有提取鲁棒性更强、效率更高、准确率更高的图像语义自动标注方法。根据本专利技术实施例的另一个方面，提供一种基于数据平滑的图像语义自动标注装置，包括：输入模块101，用于输入初始图像信息；提取模块201：用于根据图像中的颜色、纹理以及文字信息提取视觉词元和关键字信息；生成模块301，用于根据图像中的颜色、纹理以及文字信息生成标注信息；以及标注模块401，用于根据标注信息对图像进行标注。较佳的，所述生成模块包括：获取单元，用于对所述视觉词元信息进行分类，获取分类后的至少一个视觉词元；用于对所述关键字信息进行分词以获取至少一个分词，并以获取所述至少一个分词的语义内容和语义类型。较佳的，所述生成模块301包括：筛选单元，用于根据所述语义内容和语义类型对所述至少一个视觉词元分类、分词进行筛选以将筛选之后的视觉词元分类、分词加入至语义集合。较佳的，所述生成模块301包括：生成单元，用于根据语义信息集合生成标注信息。附图说明为了更清楚地说明本专利技术各实施例中的技术方案，下面将对实本文档来自技高网...

【技术保护点】
1.一种基于数据平滑的图像语义自动标注方法，其特征在于，包括：S1：输入初始图像集，将所述图像集进行预处理形成训练图像集；S2：根据训练图像集提取视觉词元信息；S3：根据训练图像集提取关键字信息；S4：根据视觉词元信息生成初始标注矩阵；S5：根据关键字信息生成词间相关性矩阵；S6：利用词间相关性矩阵对出示标注矩阵进行调整，得到标注矩阵；S7：将标注矩阵进行排序，从排序后的标注矩阵中选取预设列数的元素形成最终标注矩阵。

【技术特征摘要】
1.一种基于数据平滑的图像语义自动标注方法，其特征在于，包括：S1：输入初始图像集，将所述图像集进行预处理形成训练图像集；S2：根据训练图像集提取视觉词元信息；S3：根据训练图像集提取关键字信息；S4：根据视觉词元信息生成初始标注矩阵；S5：根据关键字信息生成词间相关性矩阵；S6：利用词间相关性矩阵对出示标注矩阵进行调整，得到标注矩阵；S7：将标注矩阵进行排序，从排序后的标注矩阵中选取预设列数的元素形成最终标注矩阵。2.如权利要求1所述的方法，其特征在于，所述将图像集进行预处理形成训练图像集中的预处理包括：将图像尺寸大小归一化处理、图像恢复处理。3.如权利要求2所述的方法，其特征在于，所述根据训练图像集形成视觉词元步骤包括：将训练图像集进行分割、再根据训练图像集的颜色和纹理提取视觉特征，将视觉特征量化形成视觉词元。4.如权利要求3所述的方法，其特征在于，所述根据关键字和视觉词元信息生成初始标注矩阵的步骤包括：利用Add-one平滑技术将提取的关键字和视觉词元信息进行数据平滑处...

【专利技术属性】
技术研发人员：简宋全，李青海，侯大勇，邹立斌，
申请(专利权)人：广东精点数据科技股份有限公司，
类型：发明
国别省市：广东,44