一种基于大数据挖掘的群体发现算法模型及分析模块制造技术

本发明专利技术提供一种基于大数据挖掘的群体发现算法模型，属于大数据挖掘技术领域。该方法包括:获取目标的每一条轨迹数据，并作预处理;以目标的每一条有效轨迹数据为中点，以指定时长截取预处理后的数据；记录所截得的切片中其他人出现的次数；利用这些切片，初步确定同行的人;获取目标和同行的人的轨迹数据并作预处理;以每一条有效足迹为起点，以已知定长截取该时间序列轨迹数据;计算所有目标和同行的人出现的次数。本发明专利技术通过各个站点上传的，人进入区域的时间、坐标，名称等属性，和已知的目标，寻找那些可能与目标一起参与群体活动的人。

A group discovery algorithm model and analysis module based on big data mining

【技术实现步骤摘要】
一种基于大数据挖掘的群体发现算法模型及分析模块
本专利技术涉及大数据挖掘领域，更具体地说，是一种基于大数据挖掘的群体发现算法模型。
技术介绍
社团发现已经有很长的研究历史，并且在不同的学科有不同的形式。它与图论和计算机学科中的图分割和社会网络中的层次聚类的思想联系密切。图分割是并行计算领域研究的重要问题。假设有n个能够通信的计算处理器（处理区并不是要与其他所有的处理器相互通信）。据此可以建立一个网络，其中节点代表处理器，节点之间的边把相互通信的两个节点链接在一起。并行计算要解决的问题是为每个节点分配数量相同的任务，并且使得节点之间的通信最少，也就是使边数数量尽可能少的问题。分层聚类是寻找社会网络中的社团结构的一类传统算法，这种算法是社会科学家在研究社会网络时提出的发现社会网络中社团结构的方法。它是基于各个节点之间连接的相似性或者强度，把网络自然的分为若干个子群。根据向网络中新增边还是删减边，该算法又分为两类：凝聚算法（agglomerativemethod）和分裂算法（divisivemethod）。Giran和Newman提出了一种新的基于边移除的算法称为GN算法。GN算法寻找处于社团之间的边，然后移除这些边，从而找出网络中的社团。上述的GN算法，每移除一条边后都要重新计算边的介，这就使得此算法的复杂度较高。为此，出现了很多基于GN算法的优化。这些算法很多都是从改进边的度量以高算法的执行速度。例如Tyler算法和Radicchi算法。并且还引出了一类优化模块度Q的算法。除了上述的算法，还有一些基于其他思想的算法。例如，在已知社团数目的前提下，Wu和Huberman提出了一种基于电阻网络电压谱的快速分割算法，这种算法不但可以发现网络中的社团，而且还能在不考虑社团结构的前提下，寻找一个节点所在的整个社团，这是很多算法无法实现的。考虑到本场景的特殊性，在社团成员出现的分布未知，而且存在大量缺失数据，导致不同研究个体之间数据量严重失衡的前提下，利用时间序列中数据时间和站点的特点，只考虑碰面的情形，大胆的将时间序列数据进行切片，利用概率论中的贝叶斯和极大似然的思想，通过相关系数这一统计量，来刻画与已知的目标之间联系紧密程度。如果两个人共同参与集体活动，则他们有可能在某些时间出现在共同的地点；如果两个人频繁同时出现在共同的场所，则可以认为他们的关系紧密。
技术实现思路
本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种基于大数据挖掘的群体发现算法模型。为了实现上述目的，本专利技术的技术方案如下：一种基于大数据挖掘的群体发现算法模型，包括以下步骤：S1：获取目标的每一条轨迹数据，并作预处理；S2：以目标的每一条有效轨迹数据为起点，以指定时长δ截取预处理后的轨迹数据；记录所截得的切片中其他人出现的次数(去重);S3：利用这些切片，初步确定同行的人；S4：获取目标和同行的人的时间序列轨迹数据，按时间排序和预处理；S5：以每一条有效足迹为起点，以已知定长截取该时间序列轨迹数据;计算所有目标和同行的人出现的次数;S6：在S5的基础上对切片后的数据进行二次切片，形成一组关于目标和同行足迹的有序事务;S7：在S6的基础上，计算2-群体，3-群体…直到n-群体；并对最终的结果进行反向删除。优选的，所述步骤S1，获取目标的每一条轨迹数据，并且按站点分组，各组按时间排序后，以定长interval对分组后的数据进行去重，即如果一个人在某个站点短时间(interval)内连续出现多次，只保留第一条记录。优选的，所述步骤S2中，以目标的每一条有效轨迹数据为中心，以指定时长δ截取预处理后的轨迹数据，记录所截得的切片中其他人出现的次数，如果目标的同一个切片中出现多次某个人的记录，只记1次。优选的，所述步骤S3中，利用S2中的这些切片，利用Apriori关联分析中的支持度的思想，初步确定同行的人：如果对于目标A，如果在S2中找到的所有的以A为中心的切片中出现的所有人的集合为X，则对于任意一个不是目标的人B∈（X-A），如果B在所有以A为中心的切片中累计出现的次数count(B)>阈值S，则认为B是A同行。优选的，所述步骤S5，S6中，以每一条有效足迹为起点，以已知定长δ/2截取该时间序列轨迹数据，同时计算所有目标和同行的人出现的次数；在S5的基础上对切片后的数据进行二次切片，形成一组关于目标和同行足迹的有序事务；对时间序列数据的切分分成两步，主要是这样有利于计算所有目标和同行的人出现的次数。完成计算目标和同行的人各自出现的次数后，在S5的切片进行二次切片，具体来说，对于S5中的每一个切片，求它的不只包含首个元素的子集；即如果这个切片是[a,b,c,d]，则二次切分后的结果是[a,b]，[a,c]，[a,d]，[a,b,c]，[a,b,d]，[a,c,d]，[a,b,c,d]。优选的，所述步骤S7中，依次计算2-群体，3-群体,…n-群体;利用相关系数计算2-群体，计算任意的B与C的相关系数ρ（B,C∈T，T是目标A和所有同行的人的集合）：其中，同理如果>0，则称B、C是一个2-群体。值得一提的是，对于一个二次切分之后的一个长度为t(t>2)的集合[a,b,c…,x]，可以证明：它的任意一个长度为t-1子集都是(t-1)-群体当且仅当[a,b,c…,x]是一个t-群体。所以如果没有找到长度为m的群体m-群体时，则停止搜索更大的群体。此时，利用上述证明的结论对结果进行群体删除：如果已经确认[a,b,c]是一个3-群体，则在临时存储对象的3-群体中写入[a,b,c]，同时，清除2-群体中的[a,b,c]所有长度为2的子集。本专利技术同时提出一种基于大数据挖掘的群体发现分析系统，包括目标存储模块、站点基本信息存储模块、站点数据存储模块、数据预处理模块、数据切片模块、群体计算模块和群体存储模块；所述目标存储模块，记录着已经确认的关注对象的信息；所述站点基本信息存储模块，记录着各站点的经纬度和站点名称信息；所述站点数据存储模块，保存着实时身份的数据，一条数据包括如下属性，身份，时间，站点经纬度，一条记录意味着某人在该时间该站点附近出现；所述数据预处理模块，包括以下两部分：（1）对目标的轨迹的预处理，获取目标的每一条轨迹数据，并且按站点分组，各组按时间排序后，以定长interval对分组后的数据进行去重，即如果一个人在某个站点短时间(interval)内连续出现多次，只保留第一条记录；（2）在初步确定同行的范围后，获取目标和同行的人的时间序列轨迹数据，按地点分组，各组按时间排序后；对同一个人的连续重复数据做去重；所述的数据切片模块，包含以下部分：（1）目标数据切片：以目标的每一条有效轨迹数据为中心，以指定时长δ截取预处理后的轨迹数据，截取相应的切片，用来初步确定同行的人；（本文档来自技高网...

【技术保护点】
1.一种基于大数据挖掘的群体发现算法模型，其特征在于，包括以下步骤：/nS1：获取目标的每一条轨迹数据，并作预处理；/nS2：以目标的每一条有效轨迹数据为起点，以定长δ（指定的时间跨度，比如5min）截取预处理后的轨迹数据；记录所截得的切片中其他人出现的次数(去重)；/nS3：利用这些切片，初步确定同行的人；/nS4：获取目标和同行的人的时间序列轨迹数据并预作处理；/nS5：以每一条有效足迹为起点，以已知定长δ/2截取该时间序列轨迹数据；计算所有目标和同行的人出现的次数；/nS6：在S5的基础上对切片后的数据进行二次切片，形成一组关于目标和同行足迹的有序事务；/nS7：在S6的基础上，利用相关系数计算2-群体，并进一步推导出3-群/n体…直到n-群体;并对最终的结果进行反向删除。/n

【技术特征摘要】
1.一种基于大数据挖掘的群体发现算法模型，其特征在于，包括以下步骤：
S1：获取目标的每一条轨迹数据，并作预处理；
S2：以目标的每一条有效轨迹数据为起点，以定长δ（指定的时间跨度，比如5min）截取预处理后的轨迹数据；记录所截得的切片中其他人出现的次数(去重)；
S3：利用这些切片，初步确定同行的人；
S4：获取目标和同行的人的时间序列轨迹数据并预作处理；
S5：以每一条有效足迹为起点，以已知定长δ/2截取该时间序列轨迹数据；计算所有目标和同行的人出现的次数；
S6：在S5的基础上对切片后的数据进行二次切片，形成一组关于目标和同行足迹的有序事务；
S7：在S6的基础上，利用相关系数计算2-群体，并进一步推导出3-群
体…直到n-群体;并对最终的结果进行反向删除。


2.根据权利要求1所述的基于大数据挖掘的群体发现算法模型，其特征在于，所述步骤S1中，获取目标的每一条轨迹数据，并且按站点分组，各组按时间排序后，以定长interval（指定时长，比如3min）对分组后的数据进行去重，即如果一个人在某个站点短时间(interval)内连续出现多次，只保留第一条记录。


3.根据权利要求1所述的基于大数据挖掘的群体发现算法模型，其特征在于，所述步骤S2中，以目标的每一条有效轨迹数据为中心，以指定时长δ截取预处理后的轨迹数据，记录所截得的切片中其他人出现的次数，如果目标的同一个切片中出现多次某个人的记录，只记1次。


4.根据权利要求1所述的基于大数据挖掘的群体发现算法模型，其特征在于，所述步骤S3中，利用Apriori关联分析中支持度的思想，初步确定目标的同行：对于目标A，如果在S2中找到的所有的以A为中心的切片中出现的所有人的集合为X，则对于任意一个不是目标的人B∈（X-A），如果B在所有以A为中心的切片中累计出现的次数count(B)>阈值S，则认为B是A同行。


5.根据权利要求1所述的基于大数据挖掘的群体发现算法模型，其特征在于，所述步骤S4中，在初步确定同行的范围后，获取目标和同行的人的时间序列轨迹数据，按地点分组，各组按时间排序后；对同一个人的连续重复数据做去重。


6.根据权利要求1所述的基于大数据挖掘的群体发现算法模型，其特征在于，所述步骤S5中，以目标和所有同行的人的每一条有效足迹为起点，以已知定长δ/2截取该时间序列轨迹数据;计算目标和所有同行的人各自出现的次数。


7.根据权利要求1所述的基于大数据挖掘的群体发现算法模型，其特征在于，所述步骤S6中，在S5的基础上对切片后的数据进行二次切片，形成一组关于目标和同行足迹的有序事务。


8.根据权利要求1所述的基于大数据挖掘的群体发现算法模型，其特征在于，所述步骤S7中，依...

【专利技术属性】
技术研发人员：薛岭，王倩，徐熙豪，
申请(专利权)人：南京柏跃软件有限公司，
类型：发明
国别省市：江苏;32