一种深度图像聚类方法、系统及存储介质技术方案

本发明专利技术提供了一种深度图像聚类方法、系统及存储介质，该方法包括以下步骤：步骤一：将含有n个样本的图像数据集输入编码器；步骤二：编码器将输入的原始图像转化为低维嵌入特征，再分别输出给解码器和维度约减模块，解码器将低维嵌入特征恢复为原始图像，维度约减模块将所接收的低维嵌入特征转化为聚类友好的二维表示，形成聚类空间，并输出给聚类划分模块；步骤三：聚类划分模块根据每个样本的低维嵌入特征将图像数据集中的n个样本划分为K个子簇，得到聚类结果。本发明专利技术的有益效果是：本发明专利技术的深度图像聚类方法TDEC是鲁棒的，可以对多簇、大规模、复杂背景等场景下的图像数据聚类，并且聚类精度明显高于现有的先进方法。类精度明显高于现有的先进方法。类精度明显高于现有的先进方法。

【技术实现步骤摘要】
一种深度图像聚类方法、系统及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种深度图像聚类方法、系统及存储介质。

技术介绍

[0002]随着信息技术的快速发展，信息产生渠道日益多元化，数据的爆炸式增长为各行业领域高质量发展带来了丰富的数据支撑，如何从繁杂的数据中分析出高价值模式信息是各行业高质量发展的前提。如今，图像数据是各行业产生最多，最常见的一类数据。如何从图像数据中挖掘出有用的模式信息已经变得非常重要。事实上，各行业产生的原始图像数据往往缺少标签信息，此外由于人工标注带来的成本限制和主观操作因素，以无监督为特点的图像聚类成为数据分析的首要选择。作为人工智能，机器学习，数据挖掘，模式识别领域中的关键技术之一，图像聚类旨在将目标图像划分为不同的群组，使同一群组的图像之间具有高度的同质性，而不同群组的图像具有最大的差异性，可快速约减原始数据间的冗余和无用信息，揭示出数据潜在的模式或结构，有助于数据的深度处理和再加工，也是众多以数据为中心的高阶任务处理原始数据的基础方法。由于具有无监督特性，图像聚类被广泛应用于图像检索，图像标注，视觉语义理解中。
[0003]面对高维、大规模的图像数据，传统的聚类方法往往产生很低的聚类精度，如基于密度的聚类（DBSCAN），基于划分的聚类（K
‑
means），层次聚类，谱聚类等，这主要因为算法在聚类图像数据时面临着高维数据的维度诅咒、浅层的手工特征、失效的相似性等固有局限。同时传统算法依赖的计算平台是基于CPU，无法高效处理矩阵类型数据如图像。
[0004]最近，结合深度学习的聚类范式（称为深度聚类：DC）获得了很多关注，因为它弥补了传统聚类方法和高维数据之间的差距。 从技术上讲，DC方法旨在利用无监督的神经网络来学习原始数据的嵌入表示，以帮助聚类任务，同时反过来使用当前的分配结果来进一步优化数据嵌入。DEC是第一个实现数据表示和聚类联合学习的深度聚类方法。DEC使用自编码器作为网络架构，训练自编码器后，只保留编码器部分用于特征提取，然后将提取的特征作为聚类模块的输入。通过计算特征空间中各点属于当前各聚类中心的概率，将得到的概率分布与目标分布进行对比，计算KL（Kullback
‑
Leibler）散度，对聚类模块进行优化，最终得到聚类结果。DEC作为深度聚类领域中的开创性工作，明确定义了面向聚类的损失用于同时进行特征表示学习和聚类任务。由于过程简单和清晰的数学背景，DEC得到了广泛的研究，包括堆叠复杂的网络模块{IDEC,LGCC,SCDCC,VaDE}，增加辅助学习目标{LNSCC, ASPC
‑
DA,DCC}，自适应参数确定（DipDECK,DeepDPM,DTC），以及嵌入多种划分操作（ICDM,IDECF,DEMC）。尽管在各种应用中都表现出了良好的性能，但我们观察到现有的方法在对图像数据进行聚类时仍然忽略了一些重要的考虑因素，特别是复杂的图像数据。
[0005]1）首先，现有的聚类方法通常缺少在特征学习过程中对图像中局部区域进行信息融合。具体来说，大多数DC方法通常采用Autoencoder(AE)或其高级变体来实现无监督的特征学习，在这种情况下，由于忽略了图像上下文，学习到的特征对图像聚类任务来说是低判
别性的。事实上，人类通过融合图像中尽可能多的局部区域特征来感知一个物体，从而理解其整体语义。例如，在猫科动物分类中，来自图像不同区域的信息，如头部、身体、四肢、尾巴和背景，被结合起来进行判断。对此，我们有一个关键的见解，在提取无监督特征之前，在图片的不同区域之间引入具有全局视野的信息融合，有利于特征提取过程中保留更多的聚类有益的整体语义信息。
[0006]2）其次，由于无监督网络必要的正则化，如重构损失，嵌入式空间（又称潜空间）的输出往往固定在10个维度，这明显低于原始数据的维度，但对后续的聚类行为仍有挑战。
[0007]3）此外，这些工作大多只采用简单的距离信息来对每一轮迭代下的嵌入特征进行分类。因此，对于一些典型的场景，如小规模、多集群，上述解决方案可能会产生摇摆不定或不理想的性能。

技术实现思路

[0008]为了解决现有图像聚类方法无法准确聚类复杂图像、鲁棒性差、耗时问题的问题，本专利技术提供了一种深度图像聚类方法。本专利技术提供了一种深度图像聚类方法，包括以下步骤：步骤一，将含有n个样本的图像数据集输入编码器；步骤二，编码器将步骤一输入的原始图像转化为低维嵌入特征，再分别输出给解码器和维度约减模块，解码器将低维嵌入特征恢复为原始图像，维度约减模块将低维嵌入特征转化为聚类友好的二维表示，形成聚类空间，并输出给聚类划分模块；步骤三，聚类划分模块根据每个样本的低维嵌入特征将图像数据集中的n个样本划分为K个子簇，得到聚类结果；步骤四，网络开始优化，并不断更新网络，直到满足迭代停止条件，否则返回步骤一。作为本专利技术的进一步改进，所述步骤二中，所述编码器运行如下步骤：步骤1，由Patch
‑
Embedding层将输入的原始图像分割为多个补丁块，并利用卷积运算将每个补丁块转换为一维向量；步骤2，将步骤1转换的一维向量顺序送入线性组合、Encoding
‑
layer层，得到原始图像的低维嵌入特征；步骤3，将步骤2获得的低维嵌入特征分别输出给解码器和维度约减模块。
[0009]作为本专利技术的进一步改进，所述编码器由一个Patch
‑
Embedding层、5个Transformer构成的线性组合，一个Encoding
‑
layer层组成。作为本专利技术的进一步改进，所述步骤二中，所述解码器将得到的重构损失用于训练网络，重构损失定义如下：（1）其中，表示图像i ，g
u
表示解码器 ，表示数据样本i的图像增强版本，f
w
表示编码器，n表示样本个数。
[0010]作为本专利技术的进一步改进，所述步骤二中，所述维度约减模块中的维度约减损失定义如下：
（2）和分别代表输入的嵌入特征和输出的聚类特征的整体分布，通过最小化两个分布的KL散度得到友好的二维特征；其中表示嵌入特征z
i
和嵌入特征z
j
之间联合概率分布，表示二维嵌入特征z
i
和二维嵌入特征z
j
联合概率分布。
[0011]作为本专利技术的进一步改进，所述步骤三还包括：步骤S1，依据网络产生的图像数据集X的二维特征，聚类划分模块计算每个图像样本的密度，然后选取K个簇中心；步骤S2，度量每个图像样本到每个簇的概率，最终得到聚类结果。
[0012]作为本专利技术的进一步改进，所述步骤S1中，密度定义如下：(5)其中，dc表示密度计算时的采样半径；距高密度样本的最小距离计算如下：（6）其中，表示图像x
j
的密度
；
簇中心的决策值定义如下：（7）图像数据集X中具有K个最大决策值的图像即为簇中心。
[0013]作为本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图像聚类方法，其特征在于，包括以下步骤：步骤一，将含有n个样本的图像数据集输入编码器；步骤二，编码器将步骤一输入的原始图像转化为低维嵌入特征，再分别输出给解码器和维度约减模块，解码器将低维嵌入特征恢复为原始图像，维度约减模块将低维嵌入特征转化为聚类友好的二维表示，形成聚类空间，并输出给聚类划分模块；步骤三，聚类划分模块根据每个样本的低维嵌入特征将图像数据集中的n个样本划分为K个子簇，得到聚类结果；步骤四，网络开始优化，并不断更新网络，直到满足迭代停止条件，否则返回步骤一。2.根据权利要求1所述的深度图像聚类方法，其特征在于，所述步骤二中，所述编码器运行如下步骤：步骤1，由Patch
‑
Embedding层将输入的原始图像分割为多个补丁块，并利用卷积运算将每个补丁块转换为一维向量；步骤2，将步骤1转换的一维向量顺序送入线性组合、Encoding
‑
layer层，得到原始图像的低维嵌入特征；步骤3，将步骤2获得的低维嵌入特征分别输出给解码器和维度约减模块。3.根据权利要求2所述的深度图像聚类方法，其特征在于，所述编码器由一个Patch
‑
Embedding层、5个Transformer构成的线性组合，一个Encoding
‑
layer层组成。4.根据权利要求1所述的深度图像聚类方法，其特征在于，所述步骤二中，所述解码器将得到的重构损失用于训练网络，重构损失定义如下：（1）其中，表示图像i，g
u
表示解码器，表示数据样本i的图像增强版本，f
w
表示编码器，n表示样本个数。5.根据权利要求1所述的深度图像聚类方法，其特征在于，所述步骤二中，所述维度约减模块中的维度约减损失定义如下：（2）和分别代表输入的嵌入特征和输出的聚类特征的整体分布，通过最小化两个分布的KL散度得到友好的二维特征；其中表示嵌入特征z
i

【专利技术属性】
技术研发人员：张瑞霖，王鸿鹏，郑海阳，谢甜，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：