一种基于机器视觉的智能手机相册自动分类方法技术

本发明专利技术涉及图像分类管理技术领域，公开了一种基于机器视觉的智能手机相册自动分类方法，包括：获取用户手机相册中存储的原始图像，并进行图像预处理，以提取整体特征向量；将整体特征向量输入预设的深度学习分类模型，以进行多类别分类；对提取出的

【技术实现步骤摘要】
一种基于机器视觉的智能手机相册自动分类方法


[0001]本专利技术涉及图像分类管理
，特别涉及一种基于机器视觉的智能手机相册自动分类方法
。

技术介绍

[0002]随着智能手机拍照功能的普及，用户存储在手机中的图片数量激增，导致图片管理和搜索的难度增加
。
传统需要用户手动对图片进行分类归档，工作量大且分类结果存在主观差异
。
所以需要一种可以高效分类常见图片类别
、
并自动识别重复图片的新型图像分类和管理技术
。
[0003]当前已有基于传统机器视觉和深度学习的部分图像分类技术，但存在以下问题：
1、
分类粒度较粗，无法细分图像细节
。2、
分类范围窄，无法涵盖常见类别
。3、
依据特征相似度，缺少分类判断能力
。4、
以上技术在智能手机海量图片分类应用中效果有限
。

技术实现思路

[0004]本专利技术提供了一种基于机器视觉的智能手机相册自动分类方法，采用机器学习模型自动分析图片内容特征，实现图片的智能化分类和重复图片的检测，智能识别重复图片避免存储冗余，减轻用户手动分类工作量，提高图片搜索和管理便利性
。
[0005]本专利技术提供了一种基于机器视觉的智能手机相册自动分类方法，包括：
[0006]获取用户手机相册中存储的原始图像，并对所述原始图像进行图像预处理，以提取所述原始图像的整体特征向量；
[0007]将所述整体特征向量输入预设的深度学习分类模型，以对所述原始图像进行多类别分类；其中，所述深度学习分类模型为改进的
ResNet
‑
50
的图像分类模型；
[0008]对所述原始图像提取出的
SIFT
特征计算特征向量之间的欧氏距离，以进行重复图像检测；
[0009]按照图像的最后访问时间，采用
LRU
算法定期清除重复图片，保留重复图片组中访问时间最新的一张代表图片；
[0010]根据图像分类结果自动生成对应类别的相册，以使用户可以一键查看各个类别的图片集合
。
[0011]进一步地，所述获取所述用户手机相册中存储的原始图像，并对所述原始图像进行图像预处理，以提取所述原始图像的整体特征向量的步骤，包括：
[0012]获取所述用户手机相册中存储的原始图像；其中，所述原始图像为原始
RGB
图像；
[0013]采用
SIFT
算法提取所述原始
RGB
图像的
SIFT
特征向量，具体为：构建高斯图像金字塔，获得多尺度空间信息；求取差分图像，确定关键点；确定关键点方向，获得旋转不变性；根据周围像素拟合关键点描述子；获得一个
128
维的
SIFT
特征向量；
[0014]采用
LBP
算法提取所述原始
RGB
图像的
LBP
特征向量，具体为：以中心像素为阈值，比较周围8个像素化为
0/1
二值；顺时针连接二值序列得到
LBP
值；统计图像的
LBP
直方图作
为
LBP
特征向量；
[0015]采用颜色直方图提取所述原始
RGB
图像的颜色直方图特征向量，具体为：量化图像颜色到特定
bins
；统计每个
bin
中包含的像素数；归一化得到颜色直方图特征向量；
[0016]将所述
SIFT
特征向量
、LBP
特征向量
、
颜色直方图特征向量进行拼接作为图像的整体特征表示，得到原始图像的整体特征向量
。
[0017]进一步地，所述将所述整体特征向量输入预设的深度学习分类模型，以对所述原始图像进行多类别分类的步骤，包括：
[0018]构建改进的
ResNet
‑
50
的图像分类模型，包括输入层
、
卷积层
、
池化层
、
残差模块
、
全连接层
、
输出层；
[0019]输入层为拼接后的所述原始图像的整体特征向量，输出层为图片类别的
one
‑
hot
编码；
[0020]所述改进的
ResNet
‑
50
的图像分类模型的损失函数为交叉熵损失，优化器采用
Adam。
[0021]进一步地，所述改进的
ResNet
‑
50
的图像分类模型中，输入层用于输入拼接的
SIFT、LBP、
颜色直方图特征；卷积层使用不同尺寸的卷积核提取图像特征；池化层用于下采样，减小维数；残差模块用于实现跨层连接，解决梯度消失，包含卷积和批归一化；全连接层用于分类输出；输出层用于经
Softmax
函数映射到图片类别上，维度为图像类别数
N
；
[0022]所述改进的
ResNet
‑
50
的图像分类模型的模型运算过程为：输入特征经卷积核提取空间特征，池化降维；通过残差模块实现深层特征学习，正则化避免过拟合；全连接层整合特征，
Softmax
分类得到概率；取概率最大的一类作为图片分类结果
。
[0023]进一步地，所述改进的
ResNet
‑
50
的图像分类模型的模型训练过程为：
[0024]利用预先构建的原始图像数据集对模型进行训练；其中，所述原始图像数据集包括
ImageNet、Places365
；
[0025]训练过程中保存最佳模型参数，训练过程中持续评估验证集上的性能指标，包括准确率
、Loss
，选取这些指标最佳的模型参数进行保存，以验证集分类准确率最高的模型参数作为最佳参数，最后在测试集上进行验证，如果测试结果符合预期，则确认选择是正确的；
[0026]可视化
Loss
曲线，进行超参数调优
。
[0027]进一步地，所述对所述原始图像提取出的
SIFT
特征计算特征向量之间的欧氏距离，以进行重复图像检测的步骤，包括：
[0028]将两张所述原始图像经过
SIFT
特征提取后得到的特征向量分别为
A
＝
{a1,a2,
…
,a
n
},B
＝
{b1,b2,
…
,b
n
}
；其中，
n
为特征向量的维度；
[0029]原始图像
A...

【技术保护点】

【技术特征摘要】
1.
一种基于机器视觉的智能手机相册自动分类方法，其特征在于，包括：获取用户手机相册中存储的原始图像，并对所述原始图像进行图像预处理，以提取所述原始图像的整体特征向量；将所述整体特征向量输入预设的深度学习分类模型，以对所述原始图像进行多类别分类；其中，所述深度学习分类模型为改进的
ResNet
‑
50
的图像分类模型；对所述原始图像提取出的
SIFT
特征计算特征向量之间的欧氏距离，以进行重复图像检测；按照图像的最后访问时间，采用
LRU
算法定期清除重复图片，保留重复图片组中访问时间最新的一张代表图片；根据图像分类结果自动生成对应类别的相册，以使用户可以一键查看各个类别的图片集合
。2.
根据权利要求1所述的基于机器视觉的智能手机相册自动分类方法，其特征在于，所述获取所述用户手机相册中存储的原始图像，并对所述原始图像进行图像预处理，以提取所述原始图像的整体特征向量的步骤，包括：获取所述用户手机相册中存储的原始图像；其中，所述原始图像为原始
RGB
图像；采用
SIFT
算法提取所述原始
RGB
图像的
SIFT
特征向量，具体为：构建高斯图像金字塔，获得多尺度空间信息；求取差分图像，确定关键点；确定关键点方向，获得旋转不变性；根据周围像素拟合关键点描述子；获得一个
128
维的
SIFT
特征向量；采用
LBP
算法提取所述原始
RGB
图像的
LBP
特征向量，具体为：以中心像素为阈值，比较周围8个像素化为
0/1
二值；顺时针连接二值序列得到
LBP
值；统计图像的
LBP
直方图作为
LBP
特征向量；采用颜色直方图提取所述原始
RGB
图像的颜色直方图特征向量，具体为：量化图像颜色到特定
bins
；统计每个
bin
中包含的像素数；归一化得到颜色直方图特征向量；将所述
SIFT
特征向量
、LBP
特征向量
、
颜色直方图特征向量进行拼接作为图像的整体特征表示，得到原始图像的整体特征向量
。3.
根据权利要求1所述的基于机器视觉的智能手机相册自动分类方法，其特征在于，所述将所述整体特征向量输入预设的深度学习分类模型，以对所述原始图像进行多类别分类的步骤，包括：构建改进的
ResNet
‑
50
的图像分类模型，包括输入层
、
卷积层
、
池化层
、
残差模块
、
全连接层
、
输出层；输入层为拼接后的所述原始图像的整体特征向量，输出层为图片类别的
one
‑
hot
编码；所述改进的
ResNet
‑
50
的图像分类模型的损失函数为交叉熵损失，优化器采用
Adam。4.
根据权利要求3所述的基于机器视觉的智能手机相册自动分类方法，其特征在于，所述改进的
ResNet
‑
50
的图像分类模型中，输入层用于输入拼接的
SIFT、LBP、
颜色直方图特征；卷积层使用不同尺寸的卷积核提取图像特征；池化层用于下采样，减小维数；残差模块用于实现跨层连接，解决梯度消失，包含卷积和批归一化；全连接层用于分类输出；输出层用于经
Softmax
函数映射到图片类别上，维度为图像类别数
N
；所述改进的
ResNet
‑
50
的图像分类模型的模型运算过程为：输入特征经卷积核提取空间特征，池化降维；通过残差模块实现深层特征学习，正则化避免过拟合；全连接层整合特
征，
Softmax

【专利技术属性】
技术研发人员：施震威，庄舜冯，曾志强，张建军，
申请(专利权)人：泉州市谨讯软件有限公司，
类型：发明
国别省市：