基于神经网络的k-means聚类方法技术

本发明专利技术公开了基于神经网络的k‑means聚类方法，属于神经网络领域和聚类分析技术领域，解决现有的k‑means用两个独立的步骤迭代地优化聚类中心和标签分配导致推理速度慢、不能处理新的数据、大规模数据、在线数据，及对初始值敏感的问题。本发明专利技术包括重构k‑means的目标函数，得到k‑meansNet的目标函数；基于目标函数，构建k‑meansNet神经网络模型；对得到的k‑meansNet神经网络模型中的目标函数进行优化，得到训练好的k‑meansNet神经网络。本发明专利技术用于构建等价k‑means的神经网络。

K-means clustering method based on Neural Network

The present invention discloses a K means clustering method based on neural network, which belongs to the field of neural network and clustering analysis technology. It solves the problem that the existing K means iteratively optimizes the clustering center and label assignment with two independent steps, resulting in slow reasoning speed, inability to process new data, large-scale data, online data, and so on. Sensitive to initial values. The invention includes reconstructing the objective function of K means to obtain the objective function of K means Net, constructing the K means Net neural network model based on the objective function, optimizing the objective function of the obtained K means Net neural network model, and obtaining the trained K means Net neural network. The invention is used to construct a neural network equivalent to K means.

【技术实现步骤摘要】
基于神经网络的k-means聚类方法
基于神经网络的k-means聚类方法，用于构建k-meansNet神经网络模型，属于神经网络领域和聚类分析

技术介绍
聚类是机器学习和计算机视觉中最基本的任务之一，其目的是将相似的模式分组到相同的类中，并将不同的模式分组到不同的类中。在过去的几十年里，研究人员已经提出了各种聚类方法，并在各种应用中取得了巨大的成功。最近，学术界的主要焦点是处理高维数据，其关键在于解决线性不可分割的问题。为了解决这个问题，最流行的方法之一是子空间聚类。子空间聚类隐式地搜索一组低维子空间并将数据聚类到这些子空间中。典型的方法包括代数方法、迭代方法、统计方法和基于谱聚类的方法。最近，基于谱聚类的子空间聚类已经吸引了大量来自学术界的关注，其主要由表示学习和聚类两个步骤组成。更具体地说，通过表示学习将数据投影到潜在子空间中，然后通过在表示上进行k-means算法来进行聚类。根据所使用的表示学习方法，现有的基于谱聚类的子空间聚类方法可以分为两类，即浅层方法和深层方法。简而言之，诸如稀疏子空间聚类、低秩表示、基于F2范数的方法及其变体的浅方法，将每个数据点表示为具有不同正则化的整个数据集的线性/非线性组合，然后使用表示系数建立图拉普拉斯算子以降维。显然，这两个步骤可以被视为著名的流形学习。与浅层方法不同，现有的深度聚类方法采用深度神经网络而不是流形学习来获得可分离的表示，且已在数据聚类中达到了最先进的性能。尽管现有子空间聚类方法已经取得了成功，但它们主要关注在表示学习，而忽略了聚类方面。在深度学习的时代，由于深度神经网络在表示学习中的突出表现，因此值得在此基础上开发新的聚类算法。传统的k-means算法的具体说明如下：给定一个数据集X＝{x1,x2,…,xn}，k-means目的在于将数据集X分离为k(k<n)个不同的集合S＝{S1.S2,…,Sk}同时减小属于一个类的数据点之间的距离。用数学形式表示，这里Ωj是第j个类的中心，它是由所有属于Sj的数据点求均值所计算得到；即，这里|Sj|代表第j个类的数据点数量。为了求解方程(1)，可采用了一个类似EM的优化求解——通过固定或Ω，并更新另一个。这种迭代优化算法有几个缺点。首先，该方法对初始化很敏感，对于给定不好的初始化Ω，我们可能会得到比较差的结果。事实上，为了获得稳定的解决方案，研究人员已经进行了数以万计的相关工作，其中包括流行的算法k-means++[1]。其次，无论是在欧几里德空间(m)下的二聚类问题，或者在平面中寻找一个广泛的k，都是一个NP-hard问题。为了解决该NP-hard问题，一些k-means的变体被提出，例如FuzzyC-means(FCM)[4,11]。此外，k-means不能处理新的数据，它需要计算整个数据集。对于固定的k和m，k-means的复杂度是O(nmk+1)。综上所述，现有的传统k-means用两个独立的步骤迭代地优化聚类中心和标签分配，这导致推理速度慢并且不能处理新的数据以及对初始值敏感的问题。
技术实现思路
本专利技术的目的在于：解决传统k-means用两个独立的步骤迭代地优化聚类中心和标签分配导致推理速度慢、不能处理新的数据、大规模数据、在线数据，及对初始值敏感的问题；本专利技术提供了一种基于神经网络的k-means聚类方法。本专利技术采用的技术方案如下：一种基于神经网络的k-means聚类方法，其特征在于，如下步骤：步骤1、重构k-means的目标函数，得到k-meansNet的目标函数；步骤2、基于目标函数，构建k-meansNet神经网络模型；步骤3、对得到的k-meansNet神经网络模型中的目标函数进行优化，得到训练好的k-meansNet神经网络。进一步，所述步骤1的具体步骤为：步骤11、输入聚类个数k和归一化因子α，选取k个数据点作为聚类中心点Ω，将传统的k-means目标函数重写为等价形式：其中，重写过的式中，n为输入数据样本量，xi为第i个数据点，表示xi的类关系，Ωj为第j个类的中心点；步骤12、根据步骤11中xi和Ωj之间的距离将定义为概率图，即Softmax函数，公式为：式中，α>0是归一化因子；步骤13、基于根据步骤11和步骤12得到的公式，定义权重W＝2αΩ，以及归一化数据使得到k-meansNet的目标函数，具体如下：式中，b＝{b1,b2…bk}T，bj一个代表向量b第j项的分量，b＝{b1,b2…bk}T和WjT中T表示向量或矩阵的转置操作，Wj表示为列向量。进一步，所述步骤2，基于目标函数，构建单层的k-meansNet神经网络模型。进一步，所述步骤3中，采用随机梯度下降对k-meansNet神经网络模型中的目标函数进行迭代优化，得到最终的优化解W和b后，得到训练好的k-meansNet神经网络。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：1、本专利技术重构了传统k-means的目标函数，从而构建了k-meansNet神经网络模型，可同时学习一组聚类中心和与我们的神经网络的权重和输出相对应的标签分配，可以享受快速推理和处理新数据的能力，且对于不同的初始化方法具有很强的鲁棒性；2、本专利技术得到的k-meansNet神经网络模型作为一个组件与其他深度学习技术集成，可以平滑地堆叠在一起并由各种SGD优化器共同优化，也体现了是端到端学习，其中，端到端学习通常被认为是深度学习取得巨大成功的一个主要原因；3、本专利技术从聚类的角度出发，将k-means算法作为具有新的目标函数重新构建了神经网络，从而克服了k-means的缺点，享受神经网络的优点，从可微编程的角度来看，这项工作从优化过程到目标函数，从递归神经网络到前馈神经网络都有了进一步的发展。由于这种差异与可微编程的初衷(作为一种语言)更加一致，因此可以向聚类和可微编程的学术界提供新的见解。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术中构建的k-means神经网络模型的结构示意图；图2为本专利技术中对数据进行归一化处理后的k-means神经网络模型的示意图；图中：x表示给定的输入，α是参数，表示x的标签分配；使用的激活函数将输入x标准化为[0，1]的范围，可采用Softmax函数进行标准化；请注意，在数据预处理部分，进行归一化处理时，如果强制使则范数运算符||·||2可以被移除，如图2所示。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术，即所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性本文档来自技高网...

【技术保护点】
1.一种基于神经网络的k‑means聚类方法，其特征在于，如下步骤：步骤1、重构k‑means的目标函数，得到k‑meansNet的目标函数；步骤2、基于目标函数，构建k‑meansNet神经网络模型；步骤3、对得到的k‑meansNet神经网络模型中的目标函数进行优化，得到训练好的k‑meansNet神经网络。

【技术特征摘要】
1.一种基于神经网络的k-means聚类方法，其特征在于，如下步骤：步骤1、重构k-means的目标函数，得到k-meansNet的目标函数；步骤2、基于目标函数，构建k-meansNet神经网络模型；步骤3、对得到的k-meansNet神经网络模型中的目标函数进行优化，得到训练好的k-meansNet神经网络。2.根据权利要求1所述的一种基于神经网络的k-means聚类方法，其特征在于，所述步骤1的具体步骤为：步骤11、输入聚类个数k和归一化因子α，选取k个数据点作为聚类中心点Ω，将传统的k-means目标函数重写为等价形式：其中，重写过的式中，n为输入数据样本量，xi为第i个数据点，表示xi的类关系，Ωj为第j个类的中心点；步骤12、根据步骤11中xi和Ωj之间的距离将定义为概率图，即Softmax函...

【专利技术属性】
技术研发人员：彭玺，黄振宇，朱宏远，周天异，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51