一种基于深度层次特征学习的海量图像分类系统技术方案

本发明专利技术提供了一种基于深度层次特征学习的海量图像分类系统，包括如下步骤：步骤a、输入无标签和有标签图像数据，对无标签图像数据进行预处理，除干扰信息、保留关键信息；步骤b、将预处理之后的图像进行K-means特征学习，得到本层的字典；步骤c、如本层为第N层，对本层的字典与带标签图像数据集进行特征映射，得到深层次特征后进行步骤e，否则对本层的字典与的无标签图像数据进行特征映射，得到深层次的特征；步骤d、根据深层次特征的相关性，将多个高相关性特征聚合为一个感受野，如本层为N-1层则进行步骤e，否则作为下一层输入信息送给步骤b；步骤e、在第N层中，将学到的特征输入SVM分类器，进行分类。

【技术实现步骤摘要】
一种基于深度层次特征学习的海量图像分类系统专利
本专利技术属于机器学习与图像处理
，涉及分布式平台上的海量图像处理，尤其涉及一种基于深度层次特征的海量图像分类的实现方案。
技术介绍
如今，随着多媒体技术的发展，包括图像、音频、视频等信息的多媒体数据大量涌现，如何将大量的信息进行分类，已经成为多媒体技术研究中的热点问题.图像分类研究任务主要由预处理，特征提取和分类三个主要环节构成，每个环节对图像的分类效果都有重要的影响.随着计算机软硬件和国际互联网技术的飞速发展，多媒体数据的数量也以惊人的速度增长，各行各业有越来越多的信息通过图像的形式进行表达，这无疑又给图像分类这一任务的各个环节带来了巨大的挑战。传统的图像分类是通过提取颜色、纹理以及形状特征等在单机上进行的，随着图像库的不断增大，复杂度不断增高，单机的提取人为设计的特征已经远远不能满足需求，使用并行处理无疑是一个好的解决方案。大数据处理平台Hadoop作为Map-Reduce架构的开源实现，主要用于大规模数据集的并行计算，由于架构简单，对数据密集型应用能够有效支持。本文正是在大数据处理平台Hadoop的基础上，设计并实现了基于深度层次特征学习的大规模图像分类框架。
技术实现思路
本专利技术要解决大规模图像的快速分类问题，针对图像分类的准确度，提出一种基于深度层次特征学习的大规模图像分类模型，研究实现在大数据处理平台Hadoop的基础上，提出并行化的深度层次特征学习模型，针对图像的高维性质，将低层特征中的多个特征聚合为一个感受野，从而达到降维的目的。为了实现上述目的本专利技术采用以下技术方案:一种基于深度层次特征学习的海量图像分类系统，其特征在于包括如下步骤:步骤a、输入无标签和有标签的图像数据(学术组织来建立的数据集)，对无标签图像数据进行预处理，去除干扰信息、保留关键信息，作为第一层系统框架输入信息送给下一步处理；预处理包括对多张图片提取patches,同时对patches进行正则化和白化；步骤b、输入信息采用K-means特征学习方法进行，得到本层的系统框架的字典；步骤C、如本层为第N层，对本层系统框架的字典与的带标签图像数据集进行特征映射，得到深层次的特征后进行步骤e，否则对本层系统框架的字典与的无标签图像数据进行特征映射，得到深层次的特征；步骤d、根据深层次的特征的相关性，将多个高相关性特征聚合为一个感受野，如本层为N-1层系统框架则进行步骤e，否则作为下一层系统框架的输入信息送给步骤b，步骤e、在第N层系统框架中，其学到的特征将输入到SVM分类器中，进行最后的分类。上述技术方案中，步骤b具体为经过步骤a处理后的图像信息进行并行化的深度层次特征学习，在第一层系统框架中，预处理后的patches作为Map节点的输入，采用K-means特征学习方法进行第一层系统框架的特征学习，得到聚类中心,在Reduce节点上对各个Map节点得到的聚类中心进行综合，得到第一层系统框架的聚类中心，即得到第一层系统框架的字典，字典公式如下:本文档来自技高网...

【技术保护点】
一种基于深度层次特征学习的海量图像分类系统，其特征在于包括如下步骤：步骤a、输入无标签和有标签的图像数据，对无标签图像数据进行预处理，去除干扰信息、保留关键信息，作为第一层系统框架输入信息送给下一步处理；预处理包括对多张图片提取patches，同时对patches进行正则化和白化；步骤b、输入信息采用K‑means特征学习方法进行，得到本层的系统框架的字典；步骤c、如本层为第N层，对本层系统框架的字典与的带标签图像数据集进行特征映射，得到深层次的特征后进行步骤e，否则对本层系统框架的字典与无标签图像数据进行特征映射，得到深层次的特征；步骤d、根据深层次的特征的相关性，将多个高相关性特征聚合为一个感受野，如本层为N‑1层系统框架则进行步骤e，否则作为下一层系统框架的输入信息送给步骤b；步骤e、在第N层系统框架中，其学到的特征将输入到SVM分类器中，进行最后的分类。

【技术特征摘要】
1.一种基于深度层次特征学习的海量图像分类系统，其特征在于包括如下步骤: 步骤a、输入无标签和有标签的图像数据，对无标签图像数据进行预处理，去除干扰信息、保留关键信息，作为第一层系统框架输入信息送给下一步处理；预处理包括对多张图片提取patches,同时对patches进行正则化和白化； 步骤b、输入信息采用K-means特征学习方法进行，得到本层的系统框架的字典； 步骤C、如本层为第N层，对本层系统框架的字典与的带标签图像数据集进行特征映射，得到深层次的特征后进行步骤e，否则对本层系统框架的字典与无标签图像数据进行特征映射，得到深层次的特征； 步骤d、根据深层次的特征的相关性，将多个高相关性特征聚合为一个感受野，如本层为N-1层系统框架则进行步骤e，否则作为下一层系统框架的输入信息送给步骤b ； 步骤e、在第N层系统框架中，其学到的特征将输入到SVM分类器中，进行最后的分类。2.根据权利要求1所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于:步骤b具体为经过步骤a处理后的图像信息进行并行化的深度层次特征学习，在第一层系统框架中，预处理后的patches作为Map节点的输入,采用K_means特征学习方法进行第一层系统框架的特征学习，得到聚类中心，在Reduce节点上对各个Map节点得到的聚类中心进行综合，得到第一层系统框架的聚类中心，即得到第一层系统框架的字典，如...

【专利技术属性】
技术研发人员：董乐，吕娜，封宁，贺玲，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51