基于随机优化和非均匀采样对大规模社团网络检测方法技术

本发明专利技术公开了基于随机优化和非均匀采样对大规模社团网络检测方法，包括如下步骤：采集大规模社团模型节点值构建概率图模型SBM；2)：根据概率模型变量Z建立社团模型网络中抽象化模型表示，即P(Z|X)；3)：对抽象化模型进行社团归属的后验分布建立社团检测的目标函数模型4)：通过非均匀采样算法对社团检测的目标函数模型进行无偏估算L

【技术实现步骤摘要】
基于随机优化和非均匀采样对大规模社团网络检测方法
本专利技术属于机器学习、复杂网络检测
，尤其涉及基于随机优化和非均匀采样对大规模社团网络检测方法。
技术介绍
网络代表了复杂系统中不同个体间的关系，是用于分析复杂系统性质和功能的有力表征工具。社团结构是复杂网络的一个重要性质，即：相同社团内节点的交互要比不同社团间节点的交互更为频繁。探测复杂网络中蕴含的社团结构可帮助人们更好的理解复杂系统的组织原理，探测其功能，并预测其未来趋势。在社团检测领域，社团网络模型(SBM)具有很多的应用，随机块模型是一种强有力的社团检测工具，因此各种基于随机块模型的社团发现算法被提出。例如，第一种是基于Gibbs采样的模型推断方法，但是基于Gibbs采样的算法在模型的推断过程中效率很低，第二种是基于EM算法来推断模型参数，EM算法通过最大化模型的一个后验概率来获得最优模型参数，相较于Gibbs采样，EM算法在效率上有了一定的提高，但是EM算法也仅仅能处理几百个结点的网络。现如今的网络规模都是巨大的，之前的社团检测算法不能很好的处理大规模网络的结构。目前大多数基于随机块的社团检测算法都是通过全部的数据点来构建社团检测目标函数，因此在社团发现的过程中的时间复杂度是巨大的。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种新的基于随机块的社团检测方法，来处理大规模网络的社团结构。本专利技术用部分数据代替全部的数据，更好的发现大规模社团的结构。为达到上述目的，本专利技术采用的技术方案是基于随机优化和非均匀采样,主要包含以下几个步骤：一种基于随机优化和非均匀采样对大规模社团网络检测方法，包括如下步骤：(1)：采集大规模社团模型节点值构建概率图模型，其中Zi表示结点的社团隐变量，Xij表示结点的边，其他的模型变量的相关描述见表1。(2)：根据概率模型变量Z建立社团模型网络中抽象化表示，即P(Z|X)；(3)：对抽象化模型P(Z|X)进行社团归属的后验分布建立社团检测的目标函数模型，即：L(q)＝Eq(logP(π,θ,Z,X))-Eq(logq(π,θ,Z))(4)：引入随机优化方法，通过非均匀采样算法对社团检测的目标函数模型进行无偏估算Lunbiased，即：(5)：对社团检测的目标函数模型变分参数进行优化求解；(6)：重复3)-5)以获得最优社团检测的目标函数模型变分参数，根据最优变分参数进行社团网络划分。进一步，所述最优变分参数进行在社团网络划分的过程为：通过社团变分参数τ选择每行最大结点作为社团归属P(Z|x)；统计每个结点的社团归属确定网络的预测标签；通过Accuracy指标衡量本专利技术对网络社团检测的准确性同时用计算收敛时间来衡量本专利技术的社团检测的时间效率。有益效果1、通过引入随机优化，构造了原始目标函数的一个无偏估计Lunbiased，社团检测的目标函数被部分网络拓扑结构代替，能够有效的减少优化的模型的复杂度，提升社团检测的算法的效率。2、本专利技术同时利用了拓扑的网络结构的一个信息，通过设计一种有效的采样策略，能够使得数据集合包含更多的信息，能够解决之前均匀采样的信息较少的一个问题，能够捕获更多的网络结构从而达到加速社团检测的一个目的。附图说明图1是本专利技术一种基于随机优化和非均匀采样的大规模社团检测方法流程图。图2是本专利技术社团检测模型结构示意图。具体实施方式：下面通过具体实施例对本专利技术作进一步的说明。本专利技术的实施例是为了使本领域的技术人员更好地理解本专利技术，并不对本专利技术作任何的限制。通过本专利技术，用户可以高效的发现大规模网络下的社团结构，该专利技术在文档分类、信息检索、推荐系统等领域具有广泛的应用前景。本专利技术基于有效的社团网络模型SBM，模型包括包括社团归属隐变量、邻接矩阵，并详细刻画模型中每个变量的含义，详细见如表1和图1。然后利用随机优化，通过构造目标函数的无偏估计，高效迅速的训练模型。获取所需的模型参数。所提的模型可以很快迭代至收敛，具有很强的可扩展性。对于训练数据的实验结果也表明，所提算法能够高效的发现大规模网络的社团结构，包括以下步骤：表1为社团检测模型中所对应的标识的解释(1)：采集大规模社团模型节点值构建概率图模型SBM，其中Zi表示结点的社团隐变量，Xij表示结点的边，其他的模型变量的相关描述见表1。(2)：根据概率模型变量Z建立社团模型网络中社团检测的概率抽象化模型表示，即：P(Z|X)(3)：对抽象化模型进行社团归属的后验分布建立社团检测的目标函数模型，即：L(q)＝Eq(logP(π,θ,Z,X))-Eq(logq(π,θ,Z))(4)：引入随机优化方法，通过非均匀采样对社团检测的目标函数模型进行无偏估算Lunbiased，即：(5)：对社团检测的目标函数的无偏估计Lunbiased的变分参数进行优化求解；(6)：重复3)-5步骤将获得最优社团检测的目标函数模型变分参数，最后根据最优的变分参数进行在社团网络划分。进一步，所述最优社团检测的目标函数模型变分参数在进行社团网络结点划分过程为：通过社团变分参数τ选择每行最大结点作为社团归属P(Z|x)；统计每个结点的社团归属确定网络的预测标签；通过Accuracy指标衡量本专利技术对网络社团检测的准确性同时用计算收敛时间来衡量本专利技术的社团检测的时间效率。表2：测试数据具体说明网络结点边数社团数Polblogs14901667172Cora270854297Uai201033634500619North191388238119357Pubmed19726443383本专利技术基于有效的社团发现模型SBM，利用随机优化，通过构造目标函数的无偏估计，高效迅速的训练模型。获取所需的模型参数。所提的模型可以很快迭代至收敛，具有很强的可扩展性。对于训练数据的实验结果也表明，所提方法能够高效的发现大规模网络的社团结构，表3为通过本专利技术的实验结果与其他方法的准确性分析方法EMVEMVBEM本专利技术方法football0.740.780.80.82Cora0.280.320.320.34Polblogs0.450.450.480.54Pubmed0.30.32...

【技术保护点】
1.基于随机优化和非均匀采样对大规模社团网络检测方法，包括如下步骤：/n(1)：采集大规模社团模型节点值构建概率图模型，即：/nP(Z,X,a,θ)/n(2)：根据概率模型变量Z建立社团模型网络中社团检测的概率抽象化模型表示，即P(Z|X)；/n(3)：对抽象化模型进行社团归属的后验分布建立社团检测的目标函数模型，即：/nL(q)＝E

【技术特征摘要】
1.基于随机优化和非均匀采样对大规模社团网络检测方法，包括如下步骤：
(1)：采集大规模社团模型节点值构建概率图模型，即：
P(Z,X,a,θ)
(2)：根据概率模型变量Z建立社团模型网络中社团检测的概率抽象化模型表示，即P(Z|X)；
(3)：对抽象化模型进行社团归属的后验分布建立社团检测的目标函数模型，即：
L(q)＝Eq(logP(π,θ,Z,X))-Eq(logq(π,θ,Z))
(4)：引入随机优化方法，通过非均匀采样对社团检测的目标函数模型进行无偏估算Lunbiased，即：



(5)：对社团检测的目标函数...

【专利技术属性】
技术研发人员：金弟，孙继滔，焦鹏飞，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12