大流量数据处理方法、装置、计算设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种大流量数据处理方法、装置、计算设备及存储介质，方法包括：基于用户历史访问日志，对于各IP，分别统计预定历史时间段内各子时间段访问所述IP的手机号数量；计算各子时间段访问各IP手机号数量的方差，将方差大于第一预定阈值的作为待观察IP；基于每个待观察IP下手机号与访问时间的相关系数以及/或者登陆成功率，识别作弊用户。通过上述方案，能够实时发现作弊用户，提高用户订单的处理效率，以及提升用户的访问速度。

Data Processing Method, Device, Computing Equipment and Storage Medium for Large Flow

【技术实现步骤摘要】
大流量数据处理方法、装置、计算设备及存储介质
本专利技术涉及互联网业务支撑
，尤其涉及一种大流量数据处理方法、装置、计算设备及存储介质。
技术介绍
目前互联网营销手段，不论是团购、秒杀、抽奖，或是其它的优惠活动，都存在资源是有限而需求是无限的共同点，都会面临的高并发和大流量的用户访问请求。往往此类活动是短期，用户的访问流量和并发数将是平时的成千上万倍，任何一个生产系统不可能为了一个短期活动储备这么多服务器、网络资源。对于网络、中间件、数据库、应用来说，这一个巨大的挑战。目前针对高并发大流量的处理方案有：实时处理方式，用户所有请求全部进入web服务器，用户的流量控制和并发控制交由web中间件进行处理。这种方式易出现因网络堵塞、系统资源瞬时占用过高、系统阻塞、系统挂死等问题。异步处理方式，系统只负责收集用户请求，用户请求收集上来后，另外一个进程队列负责处理商品资源的订购处理。这种方式一定程度上减少了系统峰值资源的消耗，减少了页面响应缓慢、报错的机率。但效率非常低，用户等待时间过长，易造成暗箱操作的不良用户感知，网络堵塞仍无法解决。以上两种方案都无法对作弊请求进行处理。
技术实现思路
由本文档来自技高网...

【技术保护点】
1.一种大流量数据处理方法，其特征在于，所述方法包括：基于用户历史访问日志，对于各IP，分别统计预定历史时间段内各子时间段访问所述IP的手机号数量；计算各子时间段访问各IP手机号数量的方差，将所述方差大于第一预定阈值的作为待观察IP；基于每个所述待观察IP下手机号与访问时间的相关系数以及/或者登陆成功率，识别作弊用户。

【技术特征摘要】
1.一种大流量数据处理方法，其特征在于，所述方法包括：基于用户历史访问日志，对于各IP，分别统计预定历史时间段内各子时间段访问所述IP的手机号数量；计算各子时间段访问各IP手机号数量的方差，将所述方差大于第一预定阈值的作为待观察IP；基于每个所述待观察IP下手机号与访问时间的相关系数以及/或者登陆成功率，识别作弊用户。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述作弊用户列入黑名单；当用户请求访问时，判断用户是否在所述黑名单中。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：计算所述预定历史时间段内访问待观察IP的手机号及其访问时间之间的皮尔逊相关系数，作为所述待观察IP下手机号与访问时间的相关系数，其中，将所述相关系数大于第二阈值的所述待观察IP用户视为作弊用户。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过k-均值聚类算法，对所述预定历史时间段内登陆次数较大的IP的成功率进行聚类，确定第三阈值，其中，将登陆成功率大于所述第三阈值的所述待观察IP用户视为作弊用户。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：使用一致性哈希算法对用户访问请求进行分布式缓存队列分配。6.根据权利要求5所述的方法，其特征在于，所述使用一致性哈希算法用户访问请求进行分布式缓存队列分配，包括：使用一致性哈希算法基于用户的手机号码获取哈希值；基于所述哈希值和服务器的计算节点个数，得到对应于所述手机号码的计算节点；将所述用户的手机号码放入与所述计算节点对应的缓存队列，其中所述缓存队列的个数与所述计算节点个数相同。7.根据权利要求6所述的方法，其特征在于，所述使用一致性哈希算法对用户访问请求进行分布式缓存队列分配之后，还包括：监控各缓存队列中的队列数据积压量；当所...

【专利技术属性】
技术研发人员：刘晓斌，
申请(专利权)人：中国移动通信集团贵州有限公司，中国移动通信集团公司，
类型：发明
国别省市：贵州,52