一种基于互联网社交系统的图像分类方法及装置制造方法及图纸

本发明专利技术适用于图像分类技术领域，提供了一种基于互联网社交系统的图像分类方法及装置，方法包括：从互联网社交系统的数据库中获取图像数据，以及基于图像数据的社交网络信息；根据社交网络信息构建基于图像数据的N个关系网络，通过多关系网络表征学习算法或半监督网络表征学习算法训练N个关系网络，获得N个关系网络的网络表征向量Φ；在已分类样本图像中提取视觉特征I，构建神经网络分类器，并通过网络表征向量Φ和视觉特征I训练神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类。通过本发明专利技术可以在图像处理过程中有效保存图像的社交网络信息，从而提高在网络环境下的图像分类算法性能。

An image classification method and device based on Internet social system

【技术实现步骤摘要】
一种基于互联网社交系统的图像分类方法及装置
本专利技术涉及图像分类
，尤其涉及一种基于互联网社交系统的图像分类方法及装置。
技术介绍
图像分类是一个热门的研究领域，有着巨大的商业价值，多用于辅助图像识别技术，例如人脸识别、车牌识别、图像检测、图像搜索等。目前，有不少研究人员在图像分类方面进行了大量的研究，提出了卷积神经网络等方法对图像进行分类，但仍然有不少图像难以通过视觉特征进行识别。而随着互联网社交系统的出现和移动设备的广泛使用，人们愈发倾向于把图像上传到在线社交网络中，在线社交网络或者图像分享网站中包含了大量的图像，如果仍然使用图像的视觉特征对图像进行分类，那么视觉特征的识别失败率高将导致相当一部分图像无法识别和分类，因此，使用图像的视觉特征对进行图像分类已经不适配当前的图像数据库，而亟需一种新的图像分类方法以提高对在线社交网络中图像分类的能力。
技术实现思路
本专利技术的主要目的在于提出一种基于互联网社交系统的图像分类方法及装置，以解决现有的图像分类方法无法与互联网社交系统的图像数据库适配的问题。为实现上述目的，本专利技术实施例的第一方面提供了一种基于互联网社交系统的图像分类方法，包括：从互联网社交系统的数据库中获取图像数据，以及基于所述图像数据的社交网络信息；根据所述社交网络信息构建基于所述图像数据的N个关系网络，N个所述关系网络表示所述图像数据中图像之间的多种关系；通过多关系网络表征学习算法或半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ；在已分类样本图像中提取视觉特征I，其中所述图像数据包括所述已分类样本图像；构建神经网络分类器，并通过所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类。本专利技术实施例的第二方面提供了一种基于互联网社交系统的图像分类装置，包括：图像数据获取模块，用于从互联网社交系统的数据库中获取图像数据，以及基于所述图像数据的社交网络信息；关系网络构建模块，用于根据所述社交网络信息构建基于所述图像数据的N个关系网络，所述关系网络表示所述图像数据中图像之间的多种关系；网络表征向量获取模块，用于通过多关系网络表征学习算法或半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ；视觉特征获取模块，用于在已分类样本图像中提取视觉特征I，其中所述图像数据包括所述已分类样本图像；图像分类模块，用于构建神经网络分类器，并通过所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类。本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。本专利技术实施例提出一种基于互联网社交系统的图像分类方法，以互联网社交系统的数据库为基础，获取图像数据及基于图像数据的社交网络信息，再根据社交网络信息构建多关系网络，即N个关系网络，其中，N个关系网络表示了图像数据中图像之间的多种关系，然后通过训练学习获得基于所有关系网络的网络表征向量，同时在已分类样本图像中提取视觉特征，通过网络表征向量和视觉特征训练出一个能够对待分类图像进行分类的神经网络分类器，完成基于互联网社交系统的图像分类工作。本专利技术实施例提供的图像分类方法采用网络的形式，能够更好地根据图像携带的社交网络信息发现图像之间的关联性，而学习得到的网络表征向量可以在图像处理过程中有效保存图像的社交网络信息，从而提高在网络环境下的图像分类算法性能，在面对互联网社交系统的数据库时，确保图像分类的准确性和分类效率。附图说明图1为本专利技术实施例一提供的基于互联网社交系统的图像分类方法的实现流程示意图；图2为本专利技术实施例二提供的基于互联网社交系统的图像分类装置的组成结构示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。在本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本专利技术的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。在后续的描述中，专利技术实施例序号仅仅为了描述，不代表实施例的优劣。实施例一如图1所示，本专利技术实施例提供了一种基于互联网社交系统的图像分类方法，包括但不限于一下步骤：S101、从互联网社交系统的数据库中获取图像数据，以及基于所述图像数据的社交网络信息。在上述步骤S101中，互联网社交系统包括各互联网社交平台，如微博、贴吧、百度社区等，互联网社交系统的数据库中则包括用户在互联网社交系统中上传的公开的图像，以及与图像相关的社交网络信息。在本专利技术实施例中，社交网络信息包括标签信息、用户信息、图片组类信息、拍摄位置信息和评论用户信息中的至少一种。其中，标签信息是由用户编辑的用于描述图像的词语；用户信息用于表示图像的上传者，图片组类信息用于图像分组情况，一个图片组为一个图像集合，包含多幅图像；拍摄位置信息用于表示图像的拍摄地点；评论用户信息用于表示所有对该图像进行评论的用户的信息。S102、根据所述社交网络信息构建基于所述图像数据的N个关系网络。在上述步骤S102中，N个关系网络表示图像数据中图像之间的多种关系。在具体应用中，上述步骤S102的详细实现流程可以为：在所述图像数据中N次随机获取两个图像作为一个图像组，并获取第N个所述图像组中两个图像的社交网络信息，其中N为正整数；所述两个图像的社交网络信息包括类型相同的社交网络信息T，T＝(t1,...,tn)，其中，tn表示社交网络信息中的一个信息，n为正整数；计算第N个所述图像组中的两个图像的连接权重Am，公式为其中，T1和T2为第N个所述图像组中类型相同的两个社交网络信息，m为小于或等于N的正整数；根据N个所述图像组中的两个图像的连接权重Am，构建以所述两个图像为网络节点的N个关系网络G，公式为G＝(V,Am)。在具体应用中，上述的在所述图像数据中N次随机获取本文档来自技高网...

【技术保护点】
1.一种基于互联网社交系统的图像分类方法，其特征在于，包括：/n从互联网社交系统的数据库中获取图像数据，以及基于所述图像数据的社交网络信息；/n根据所述社交网络信息构建基于所述图像数据的N个关系网络，N个所述关系网络表示所述图像数据中图像之间的多种关系；/n通过多关系网络表征学习算法或半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ；/n在已分类样本图像中提取视觉特征I，其中所述图像数据包括所述已分类样本图像；/n构建神经网络分类器，并通过所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类。/n

【技术特征摘要】
1.一种基于互联网社交系统的图像分类方法，其特征在于，包括：
从互联网社交系统的数据库中获取图像数据，以及基于所述图像数据的社交网络信息；
根据所述社交网络信息构建基于所述图像数据的N个关系网络，N个所述关系网络表示所述图像数据中图像之间的多种关系；
通过多关系网络表征学习算法或半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ；
在已分类样本图像中提取视觉特征I，其中所述图像数据包括所述已分类样本图像；
构建神经网络分类器，并通过所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类。


2.如权利要求1所述的基于互联网社交系统的图像分类方法，其特征在于，根据所述社交网络信息构建基于所述图像数据的N个关系网络，包括：
在所述图像数据中N次随机获取两个图像作为一个图像组，并获取第N个所述图像组中两个图像的社交网络信息，其中N为正整数；
所述两个图像的社交网络信息包括相同社交网络信息T，T＝(t1,...,tn)，其中，tn表示社交网络信息中的一个信息，n为正整数；
计算第N个所述图像组中的两个图像的连接权重Am，公式为其中，T1和T2为第N个所述图像组中类型相同的两个社交网络信息，m为小于或等于N的正整数；
根据N个所述图像组中的两个图像的连接权重Am，构建以所述两个图像为网络节点的N个关系网络G，公式为G＝(V,Am)。


3.如权利要求1所述的基于互联网社交系统的图像分类方法，其特征在于，通过多关系网络表征学习算法或半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ，包括：
将N个所述关系网络进行格式转换；
通过所述关系网络表征学习算法识别N个所述关系网络的重要性；
其中，用αl表示第N个所述关系网络的重要性，并将N个所述关系网络融合，公式为：



通过矩阵分解方法分解融合后的关系网络，获得N个所述关系网络的网络表征向量Φ；
或者，
将N个所述关系网络进行格式转换；
通过半监督网络表征学习算法学习N个所述关系网络中每个节点的表征向量φ1,...,φm；
拼接所述每个节点的表征向量φ1,...,φm，获得N个所述关系网络的网络表征向量Φ。


4.如权利要求3所述的基于互联网社交系统的图像分类方法，其特征在于，拼接所述每个节点的表征向量φ1,...,φm，获得N个所述关系网络的网络表征向量Φ，包括：
采用负采样算法优化所述每个节点的表征向量；
拼接所述每个节点的表征向量φ1,...,φm，并进行归一化处理，获得N个所述关...

【专利技术属性】
技术研发人员：陈小军，陈炳坤，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44