一种基于局部语义特征的图像内容描述方法及系统技术方案

本发明专利技术涉及一种图像描述的技术领域，揭露了一种基于局部语义特征的图像内容描述方法，包括：利用基于阈值的二值化方法对待描述图像进行二值化处理；利用高斯滤波器对二值化图像进行降噪处理；利用基于阈值的聚类算法对降噪后的图像进行聚类；提取聚类图像的颜色直方图特征以及灰度共生特征，并进行特征融合；利用基于局部语义特征的特征提取模型对图像融合特征进行局部语义特征的提取；利用基于逆序数的参数更新方法对特征提取模型的参数进行更新，并提取局部语义特征中的图像描述特征；将所提取的图像描述特征输入图像描述解码模型，生成图像描述文本。本发明专利技术还提供了一种基于局部语义特征的图像内容描述系统。本发明专利技术实现了图像内容的描述。

【技术实现步骤摘要】
一种基于局部语义特征的图像内容描述方法及系统
本专利技术涉及图像描述的
，尤其涉及一种基于局部语义特征的图像内容描述方法及系统。
技术介绍
随着移动和互联网的发展，导致大量的图片被上传到网上，如何使计算机能够准确地描述图像内容和生成图像主题内容的描述文本，使得计算机能够快速检索图像和分析图像数据，成为当前研究人员所关注的热门话题。现阶段主流的图像聚类算法是基于聚类有效性函数评估其结果，并获得最优聚类数目，但是，此方法的不足是在聚类时，需根据递增聚类数目反复多次分割图像，选择有效性函数最优聚类数作为最终分割图像类别数，导致算法复杂程度与难度明显增加。现有的图像内容描述方法主要为基于模板的图像内容描述方法和基于机器学习的图像描述方法，对于基于模板的图像内容描述方法，由于模板是预先定义的，无法生成可变长度的描述文本，缺少灵活性和多样性；对于基于机器学习的图像描述方法，主要利用编码器-解码器的框架，将注意力研究方法引入到图像描述生成，可以提高模型性能，生成更准确、更完整的图像描述文本，但现有模型只提出全连接层的特征，将其作为图像特本文档来自技高网...

【技术保护点】
1.一种基于局部语义特征的图像内容描述方法，其特征在于，所述方法包括：/n获取待描述图像，利用基于阈值的二值化方法对图像进行二值化处理，得到二值化图像；/n利用高斯滤波器对二值化图像进行降噪处理，得到降噪后的图像；/n利用基于阈值的聚类算法对降噪后的图像进行聚类，得到待描述图像的聚类图像；/n提取聚类图像的颜色直方图特征以及灰度共生特征，并进行特征融合得到图像融合特征；/n利用基于局部语义特征的特征提取模型对图像融合特征进行局部语义特征的提取；/n利用基于逆序数的参数更新方法对特征提取模型的参数进行更新，并利用更新后的特征提取模型提取局部语义特征中的图像描述特征；/n将所提取的图像描述特征输入...

【技术特征摘要】
1.一种基于局部语义特征的图像内容描述方法，其特征在于，所述方法包括：
获取待描述图像，利用基于阈值的二值化方法对图像进行二值化处理，得到二值化图像；
利用高斯滤波器对二值化图像进行降噪处理，得到降噪后的图像；
利用基于阈值的聚类算法对降噪后的图像进行聚类，得到待描述图像的聚类图像；
提取聚类图像的颜色直方图特征以及灰度共生特征，并进行特征融合得到图像融合特征；
利用基于局部语义特征的特征提取模型对图像融合特征进行局部语义特征的提取；
利用基于逆序数的参数更新方法对特征提取模型的参数进行更新，并利用更新后的特征提取模型提取局部语义特征中的图像描述特征；
将所提取的图像描述特征输入预构建的图像描述解码模型，进行图像描述文本的生成。


2.如权利要求1所述的一种基于局部语义特征的图像内容描述方法，其特征在于，所述基于阈值的二值化方法为：



其中：
g(x，y)为待描述图像中坐标为(x，y)处像素点的灰度值；
f(x，y)为待描述图像中坐标为(x，y)处像素点的灰度值；
T为二值化阈值，本发明将其设为125。


3.如权利要求2所述的一种基于局部语义特征的图像内容描述方法，其特征在于，所述利用高斯滤波器对二值化图像进行降噪处理，包括：
所述基于高斯滤波器的降噪公式为：



其中：
(i，j)表示二值化图像的像素点；
g(i，j)表示高斯模板在像素点(i，j)的权值；
σ为平滑程度参数。


4.如权利要求3所述的一种基于局部语义特征的图像内容描述方法，其特征在于，所述利用基于阈值的聚类算法对降噪后的图像进行聚类，包括：
1)设定聚类数的最大值为n≤N，其中N为像素点的总数，从而构建图像数据矩阵Ln：



其中：
xi为第i个像素点的灰度值；
2)计算聚类数目c：



其中：
δi表示Li的第i个奇异值；
ε代表控制阈值，本发明将其取值为0.01；
3)将图像的像素点排列为q维向量，并构造聚类的目标函数，即：



其中：
vir代表第i个聚类中心向量的第r个元素；
Pkr为第k个像素点所对应向量的第r个元素；
N代表图像的总像素数；
c代表图像的聚类数目；
4)以拉格朗日寻优算法为依据，基于聚类数目构造向量聚类中心函数，所述向量聚类中心函数为：



其中：
vir代表第i个聚类中心向量的第r个元素；
Pkr为第k个像素点所对应向量的第r个元素；
c代表图像的聚类数目；
5)以最小化目标函数为准则，基于向量聚类中心函数进行图像向量的聚类，根据图像向量的聚类结果，将图像向量类别为i的向量作为图像前景，将图像向量类别为j的向量作为图像背景。


5.如权利要求4所述的一种基于局部语义特征的图像内容描述方法，其特征在于，所述提取聚类图像的颜色直方图特征以及灰度共生特征，包括：
通过统计每种颜色在聚类图像中出现的像素点的个数，以颜色为横坐标，出现颜色像素点数为纵坐标计算了全局颜色直方图，以作为降噪后图像的颜色直方图特征，所述颜色直方图的计算公式为：



其中：
i为聚类图像的颜色通道；
N为图像的总像素数；
pij为图像中第j个像素的第i个颜色分量的值；
μi表示第i个颜色通道上所有像素的均值；
通过计算二值化矩阵图像中每一个像素值的能量，从而得到聚类图像的灰度共生特征，所述二值化矩阵图像中每一个像素值能量的计算公式为：



其中：
p(i，j)为二值化矩阵图像中的每一个像素值。


6.如权利要求5所述的一种基于局部语义特征的图像内容描述方法，其特征在于，所述利用基于局部语义特征的特征提取模型进行局部语义特征的提取，包括：
所述基于局部语义特征的特征提取模型以VGG16模型为基础，分别提取CONV3-4层的28*28*512像素的特征向量、CONV4-4层的14*14*512像素和CO...

【专利技术属性】
技术研发人员：汪礼君，
申请(专利权)人：汪礼君，
类型：发明
国别省市：湖南;43