基于核密度估计与均值漂移的胶囊网络快速路由方法技术

本发明专利技术提供了一种基于核密度估计与均值漂移的胶囊网络快速路由方法，根据核密度估计公式给定用于多聚类问题的概率密度函数，将动态路由过程建模成优化问题，利用均值漂移算法求解上述优化问题，将求解结果作为胶囊网络的输出，得到最终的分类结果。相较于现有技术，在大大提升动态路由的时间效率的同时，还提高了胶囊网络的识别性能。

Fast Routing Method for Capsule Networks Based on Kernel Density Estimation and Mean Shift

【技术实现步骤摘要】
基于核密度估计与均值漂移的胶囊网络快速路由方法
本专利技术涉及计算机视觉、深度学习
，具体涉及一种基于核密度估计与均值漂移的胶囊网络快速路由方法。
技术介绍
近年来，卷积神经网络在图像分类、目标检测、语义分割等方向领域上取得了很大成就，卷积神经网络通常是由卷积层、池化层与全连接层组成，池化层是卷积神经网络中重要的组成部分，典型的为最大池化与平均池化操作，池化层能减少特征图的尺寸大小，同时减少网络参数数量，从而降低模型的计算量，但是池化层也存在着空间位置信息丢失的问题。针对卷积神经网络中池化层存在的空间位置信息丢失问题，2017年Hinton提出胶囊网络，胶囊网络采用向量或矩阵作为输入输出，并采用了动态路由机制进行参数更新，可以获取空间位置信息，对传统的卷积神经网络也带来了一定冲击。胶囊网络中的动态路由机制可以帮助网络用较少的参数实现更加好的效果，但是阻碍胶囊网络广泛应用的是动态路由间计算的费用问题。有鉴于此，确有必要提出一种基于核密度估计与均值漂移的胶囊网络快速路由方法，以解决上述问题。
技术实现思路
本专利技术的目的在于提供一种基于核密度估计与均值漂移的胶囊网络快速路由方法，将该快速路由方法具体实施到胶囊网络中，不仅可提升动态路由的时间效率，还可提高胶囊网络的识别性能。为实现上述目的，本专利技术提供了一种基于核密度估计与均值漂移的胶囊网络快速路由方法，主要包括以下步骤：步骤1，根据核密度估计公式给定用于多聚类问题的概率密度函数；步骤2，在步骤1给定的概率密度函数的基础上，将动态路由过程建模成优化问题；步骤3，利用均值漂移算法求解步骤2中的优化问题；步骤4，将步骤3求解出的结果作为胶囊网络的输出，得到最终的分类结果。可选的，步骤1中的概率密度函数公式为：其中nl与nl+1分别指第l和l+1层的胶囊数量；{vj|j＝1,...,nl+1}是指第l+1层胶囊的姿势(聚类位置中心)；{ui|i＝1,...,nl}指第l层的样本数量；是指激活；rij是指加权系数，即胶囊间路由的权重。可选的，步骤2中的动态路由过程建模成以下优化问题：其中v为胶囊的姿势(聚类位置中心)，r是加权系数。可选的，步骤3中具体包括：步骤31，将f(v,r)对v进行求导得到下式：步骤32，计算得到如下式子：步骤33，对进行迭代更新直至收敛，最后返回聚类位置中心vj。可选的，步骤33中，采用梯度下降法对加权系数rij进行更新，公式为：其中，α指学习率。可选的，步骤33中使用快速动态路由算法(FRMS算法)，对加权系数rij进行更新，具体步骤为：a，初始化：b，归一化加权系数rij：c，更新聚类位置中心vj：d，更新加权系数rij：可选的，步骤4中最终的分类结果为步骤3中求解出的聚类位置中心vj。可选的，步骤4中的胶囊网络包括残差块、卷积层和胶囊层。可选的，残差块采用ResNet网络结构，输入的是胶囊的姿势。可选的，卷积层作为胶囊网络的第一层，采用步长为1的‘SAME’卷积。本专利技术的有益效果是：将核密度估计与均值漂移方法相结合得到一种快速路由方法，应用到胶囊网络中，可以大大提升动态路由的时间效率，同时也有助于提高胶囊网络的识别性能。附图说明图1是本专利技术基于核密度估计与均值漂移的胶囊网络快速路由方法的具体步骤流程图。图2是本专利技术的胶囊网络的结构图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本专利技术进行详细描述。如图1所示，本专利技术揭示了一种基于核密度估计与均值漂移的胶囊网络快速路由方法，主要包括以下步骤：步骤1，根据核密度估计公式给定用于多聚类问题的概率密度函数；步骤2，在步骤1给定的概率密度函数的基础上，将动态路由过程建模成优化问题；步骤3，利用均值漂移算法求解步骤2中的优化问题；步骤4，将步骤3求解出的结果作为胶囊网络的输出，得到最终的分类结果。以下将对步骤1-4进行详细说明。步骤1中，核密度估计(KDE)是一种非参数估计方法，用于描述给定样本的潜在经验分布，也称Parzen窗。由于KDE的计算仅与核函数和距离度量有关，所以它可以减少计算量从而提升效率，给定n个样本点{ui|i＝1,...,n}，随机变量v的KDE可以定义如下：其中k(x)是指核函数，zk是归一化常数仅与特定的k(x)有关。因上式仅考虑了二聚类问题，而胶囊网络中的动态路由实际上是一个多聚类过程，所以概率密度函数可变形为以下公式：其中nl与nl+1分别指第l和l+1层的胶囊数量；{vj|j＝1,...,nl+1}是指第l+1层胶囊的姿势(聚类位置中心)；{ui|i＝1,...,nl}指第l层的样本数量，对于第l+1层vj的位置起到投票的作用；是指激活，激活值越高对最终的聚类位置影响越大；rij是指加权系数，即胶囊间路由的权重，用于衡量ui对vj的位置的作用程度。步骤2中，由于在动态路由过程中，聚类在样本与多聚类之间共同进行，而对于多聚类问题，要使每个样本以不同程度对聚类产生影响，同时要保证每个样本对胶囊最终聚类位置贡献相等，必须将动态路由过程建模成以下优化问题：上式中为胶囊的姿势(聚类位置中心)，r是加权系数。步骤3中，均值漂移是基于核密度估计的最典型的一种聚类方法，广泛应用于特征分析与计算机视觉等领域。对于步骤2中的优化问题，可将步骤3分为以下步骤：步骤31，将f(v,r)对v进行求导得到下式：步骤32，计算得到如下式子：步骤33，对进行迭代更新直至收敛，最后返回聚类位置中心vj。步骤33中，为了不断更新必须要采用梯度下降法来更新加权系数rij，公式如下：其中α指学习率，这里令α＝1，为了与rij的约束条件相匹配，将rij作归一化处理。总结上面的式子，得到一种新的快速动态路由算法，简称FRMS算法，此时可利用该FRMS算法对加权系数rij进行更新，具体步骤如下：a，初始化：b，归一化加权系数rij：c，更新聚类位置中心vj：d，更新加权系数rij：步骤3中求解出的结果，即聚类位置中心vj，可以作为步骤4中胶囊网络最后一层的分类结果。如图2所示，本专利技术搭建了一种胶囊网络，包括残差块、卷积层和胶囊层。整个网络包含5个胶囊层。对于所有的卷积层，我们采用步长为1的‘SAME’卷积，为了初始化胶囊的姿势与激活，将卷积层作为胶囊网络的第一层，其余网络层是由胶囊层与残差块组成。所述残差块采用ResNet网络结构，残差块的输入是胶囊的姿势，输出则是将姿势与残差相加经过ReLU函数。综上所述，本专利技术提出的基于核密度估计与均值漂移的胶囊网络快速路由方法，将核密度估计与均值漂移相结合得到一种快速路由方法，应用到胶囊网络中，可以在大大提升动态路由的时间效率的同时，提高胶囊网络的识别性能。以上实施例仅用以说明本专利技术的技术方案而非限制，尽管参照较佳实施例对本专利技术进行了详细说明，本领域的普通技术人员应当理解，可以对本专利技术的技术方案进行修改或者等同替换，而不脱离本专利技术技术方案的精神和范围。本文档来自技高网...

【技术保护点】
1.一种基于核密度估计与均值漂移的胶囊网络快速路由方法，其特征在于，主要包括以下步骤：步骤1，根据核密度估计公式给定用于多聚类问题的概率密度函数；步骤2，在步骤1给定的概率密度函数的基础上，将动态路由过程建模成优化问题；步骤3，利用均值漂移算法求解步骤2中的优化问题；步骤4，将步骤3求解出的结果作为胶囊网络的输出，得到最终的分类结果。

【技术特征摘要】
1.一种基于核密度估计与均值漂移的胶囊网络快速路由方法，其特征在于，主要包括以下步骤：步骤1，根据核密度估计公式给定用于多聚类问题的概率密度函数；步骤2，在步骤1给定的概率密度函数的基础上，将动态路由过程建模成优化问题；步骤3，利用均值漂移算法求解步骤2中的优化问题；步骤4，将步骤3求解出的结果作为胶囊网络的输出，得到最终的分类结果。2.根据权利要求1所述的基于核密度估计与均值漂移的胶囊网络快速路由方法，其特征在于：所述步骤1中的概率密度函数公式为：其中nl与nl+1分别指第l和l+1层的胶囊数量；{vj|j＝1,...,nl+1}是指第l+1层胶囊的姿势(聚类位置中心)；{ui|i＝1,...,nl}指第l层的样本数量；是指激活；rij是指加权系数，即胶囊间路由的权重。3.根据权利要求2所述的基于核密度估计与均值漂移的胶囊网络快速路由方法，其特征在于：所述步骤2中的动态路由过程建模成以下优化问题：其中v为胶囊的姿势(聚类位置中心)，r是加权系数。4.根据权利要求3所述的基于核密度估计与均值漂移的胶囊网络快速路由方法，其特征在于：所述步骤3具体包括：步骤31，将f(v,r)对v进行求导得到下式：步骤32，计算得到如下式子：步骤33，...

【专利技术属性】
技术研发人员：张索非，谢奔，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32