一种商品关联大数据稀疏网络快速聚类方法技术

本发明专利技术公开了一种商品关联大数据稀疏网络快速聚类方法，包括以下步骤：对商品销售记录数据进行预处理，构建存储商品关联大数据稀疏网络；对商品关联大数据稀疏网络进行剪枝；对商品关联大数据稀疏网络进行快速聚类，得到聚类结果。本发明专利技术采用单步链表结构存储商品节点间的关系，只标记与商品节点直接相连商品节点的关系，消除共同购买关系矩阵中的冗余空间。本发明专利技术对商品关联大数据稀疏网络的低度商品节点进行剪枝提高挖掘效率并提高聚类的精度。本发明专利技术利用高度值商品节点被低度值商品节点分割的思想可以消除传统聚类算法的制约，直接依据度的值进行判断，无须考虑数据分布、无须多次访问数据、无须先验知识即可完成聚类过程。

【技术实现步骤摘要】

本专利技术属于大数据处理技术，特别是一种商品关联大数据稀疏网络处理方法。
技术介绍
随着信息系统和信息化建设的全面应用，零售企业在运作管理中产生大量的数据记录，挖掘这些数据之间的经营视点和市场规律，具有相当大的应用价值。通过研究零售企业的购物交易数据，挖掘商品之间存在的关联关系和频繁项目集，可以指导零售企业做出更加科学合理的品类管理、门店布局陈列和商品促销等运营决策，大幅度提高企业的经营业绩。随着电子商务的快速发展，亚马逊、京东商城、一号店等电子商务零售企业基于商品关联性分析，在平台上提供高品质的商品推荐、关联促销和关联导购等营销服务，为顾客带来便利购物体验的同时，极大地提高了客单价和商品销售。人们对零售企业购物交易数据的分析，主要可分为两大类：传统的关联规则方法和复杂网络方法。但这些方法对零售商品交易大数据进行分析时效果都不理想。关联规则方法具有如下特点：需要多次访问购物交易数据，由于零售商品交易数据量特别巨大(可称为大数据)，导致分析挖掘效率特别低下。采用复杂网络方法对购物交易数据进行挖掘时，需要建立并存储所有商品的同时购买关联图或同时购买关联矩阵(co-purchasingmatrix)，但由于零售商品品类特别多，相对所有商品而言，任何消费者同时购买商品品类的数量远远小于所有商品品类的数量，所以该矩阵为高稀疏矩阵。目前广泛使用的邻接矩阵和邻接链表存储方式用于分析挖掘潜在规律时需要多次访问数据，所以不适用于零售商品的大数据关联分析。而面向零售商品关联大数据稀疏网络的聚类需要以提高效率为核心，常用的复杂网络聚类需要预先给出有效的目标函数和最优解搜索策略，搜索过程牺牲效率来提高聚类的精度，不适用于对零售商品关联大数据稀疏网络进行聚类。
技术实现思路
为了解决现有技术存在的技术问题，本专利技术要提出一种能够易于存储商品网络高稀疏矩阵且具有高效性能的商品关联大数据稀疏网络聚类方法。为了实现上述目的，本专利技术的技术方案如下：一种商品关联大数据稀疏网络快速聚类方法，包括以下步骤：A、对商品销售记录数据进行预处理，构建存储商品关联大数据稀疏网络A1、令V为商品节点集合，商品节点数目为N，则V＝{v1,v2,…,vi,…,vN本文档来自技高网...

【技术保护点】
一种商品关联大数据稀疏网络快速聚类方法，其特征在于：包括以下步骤：A、对商品销售记录数据进行预处理，构建存储商品关联大数据稀疏网络A1、令V为商品节点集合，商品节点数目为N，则V＝{v1,v2,…,vi,…,vN}，vi表示第i种商品节点；A2、依据商品购买记录，建立商品间共同购买关系的商品关联大数据稀疏网络G＝<V,E>，所有商品间共同购买关系边的集合为E，即E＝{eij}，商品节点vi和vj间的共同购买关系作为边eij，同时所有商品共同购买关系的矩阵表达形式为(eij)N*N，vj表示第j种商品节点；j＝1,2,…,N；A3、存储商品节点vi为一个单步链表，单步链表包含三部分：商品节点vi的序号、商品节点vi的连接度di、指向所有与该商品节点vi相邻的所有商品节点序号的集合Ωi；商品节点vi的连接度di表示与商品节点vi存在共同购买关系的商品数目，即商品购买关系网络中与商品节点vi相邻的商品节点数；获取Ωi的步骤如下：A31、设定当前商品节点序号j＝1，Ωi＝Φ，Φ为空集；A32、判断：如果j≤N，则转到步骤A33，否则转到步骤A35；A33、判断：如果商品节点vi和vj相邻，即存在共同购买关系，则把商品节点vj存入Ωi，否则直接转入步骤A34；A34、令当前商品节点序号j＝j+1，返回步骤A32；A35、停止得到Ωi；B、对商品关联大数据稀疏网络进行剪枝B1、令连接度的阈值为dc；B2、设定当前商品节点序号i＝1；B3、判断：如果商品节点vi的连接度di≥dc，则转到步骤B4；否则转到步骤B5；B4、将商品节点vi放入集合Ψ，Ψ为连接度大于等于dc的商品节点集合；B5、当前商品节点序号i＝i+1；B6、判断：如果i≤N，则转到步骤B3；否则转到步骤B7；B7、停止剪枝，得到剪枝后的商品节点集合Ψ；B8、设定当前商品节点序号i＝1；B9、判断：如果vi∈Ψ，且vj∈Ωi，从Ωi中删除vj，j＝1,2,…,N；否则转到步骤B10；B10、求新的商品节点序号i＝i+1；B11、判断：如果i≤N，则转到步骤B9；否则转到步骤B12；B12、得到剪枝后的商品关联大数据稀疏网络G’＝<V’,E’>,V’为剪枝后的商品节点集合，E’为剪枝后边的集合；C、对商品关联大数据稀疏网络进行快速聚类，得到聚类结果C1、设定聚类最终得到类的数目为L，令Cl表示第l个类中的商品节点集合，首先寻找第1个类C1中的商品节点，即当前类的序号l＝1；C2、判断：如果Ψ≠Φ，Φ为空集，则转到步骤C3；否则转到步骤C9；C3、将Ψ中的商品节点按照连接度的值由大到小的顺序排列，得到当前连接度最大的商品节点vm；C4、将vm放入Cl中；C5、对Cl中的任意第j个商品节点vj，更新Cl中的商品节点得到新的类Cl*＝Cl∪Ωj；C6、如果Cl*≠Cl，则把Cl*的值赋值给Cl，即Cl＝Cl*，转到步骤C5；否则转到步骤C7；C7、令Ψ＝Ψ‑Cl；C8、求新的类序号l＝l+1，转到步骤C2；C9、聚类过程结束，输出各类中的商品节点。...

【技术特征摘要】
1.一种商品关联大数据稀疏网络快速聚类方法，其特征在于：包括以下步骤：A、对商品销售记录数据进行预处理，构建...

【专利技术属性】
技术研发人员：李桃迎，陈燕，张金松，孙爽，张春刚，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：辽宁;21