业务数据处理方法、展示方法、装置、电子设备及介质制造方法及图纸

本发明专利技术实施例提供了一种业务数据处理方法、业务数据展示方法、装置、电子设备及存储介质，所述处理方法包括：实时获取业务数据；将所述业务数据存储到对应的消息队列中；按照时间维度对每个所述消息队列中业务数据进行数据处理，得到对应时间内的数据特征值；将对应时间内的所述数据特征值发送到第一中间存储容器进行存储，以便于第一中间存储容器在接收到在线业务系统或第三方业务系统访问数据值的请求时，第一中间存储容器根据所述数据特征值计算对应时间窗内的数据值，并将数据值反馈给在线业务系统或第三方业务系统。从而为线上业务系统或第三方业务系统提供高效的访问支持，提高了在线业务系统或第三方业务系统的实时计算准确率。

【技术实现步骤摘要】
业务数据处理方法、展示方法、装置、电子设备及介质
本专利技术涉及网络
，特别是涉及一种业务数据处理方法、业务数据展示方法、装置、电子设备和存储介质。
技术介绍
现有技术中，通常使用SparkStreaming、Flink、Storm等开源实时计算框架组件进行实时指标计算。这些开源框架的大体思路都是实时监听消息队列数据，按照固定的滑动步长计算单位时间窗口内的数据。特别是对利用爬虫获取网站大量信息的用户需要进行拦截，针对目前的网站业务场景，通常需要实时采集用户行为数据，并实时计算用户浏览页面的数量，当发现同一个用户在某个时间段内访问页面数量大于一定阈值(比如500页等)时需要及时对其拦截。下面以使用SparkStreaming实时计算为例来说明。假如时间窗口是1小时，用户访问网页数量最大阈值为500页，滑动步长是15分钟，那么SaprkStreaming将会每隔15分钟计算1次最近1小时的值，如果当前用户在10:00时浏览页面数量是499页，因此10：00这个时间点会显示无任何异常，当时间点到达10:10时浏览网页数量达到60本文档来自技高网...

【技术保护点】
1.一种业务数据处理方法，其特征在于，包括：/n实时获取业务数据；/n将所述业务数据存储到对应的消息队列中；/n按照时间维度对每个所述消息队列中业务数据进行数据处理，得到对应时间内的数据特征值；/n将对应时间内的所述数据特征值发送到第一中间存储容器进行存储，以便于所述第一中间存储容器在接收到在线业务系统或第三方业务系统访问数据值的请求时，所述第一中间存储容器根据所述数据特征值计算对应时间窗内的数据值，并将所述数据值反馈给所述在线业务系统或第三方业务系统。/n

【技术特征摘要】
1.一种业务数据处理方法，其特征在于，包括：
实时获取业务数据；
将所述业务数据存储到对应的消息队列中；
按照时间维度对每个所述消息队列中业务数据进行数据处理，得到对应时间内的数据特征值；
将对应时间内的所述数据特征值发送到第一中间存储容器进行存储，以便于所述第一中间存储容器在接收到在线业务系统或第三方业务系统访问数据值的请求时，所述第一中间存储容器根据所述数据特征值计算对应时间窗内的数据值，并将所述数据值反馈给所述在线业务系统或第三方业务系统。


2.根据权利要求1所述的方法，其特征在于，所述按照时间维度对每个所述消息队列中业务数据进行数据处理，得到对应时间内的数据特征值之后，所述方法还包括：
将对应时间内的所述数据特征值进行累加计算和/或去重计算；
将所述累加计算和/或去重计算的结果发送给第二中间存储容器进行存储，以便于所述第二中间存储容器在接收到在线业务系统访问数据值的请求时，根据所述累加计算和/或去重计算的结果计算对应时间窗内的数据值，并将所述数据值反馈给所述在线业务系统或第三方业务系统。


3.根据权利要求2所述的方法，其特征在于，所述将对应时间内的所述数据特征值进行累加计算和/或去重计算，包括：
将对应时间内的所述数据特征值分别发送到由卡夫卡kafka结构组成的第一延迟队列，所述第一延迟队列按照对应的时间戳存储所述数据特征值后通知所述第一计算中心对所述数据特征值进行累加计算，以及通过所述第一延迟队列对接收到的所述数据特征值进行过期管理，并将过期的数据特征值发送给所述第一计算中心，由所述第一计算中心从累加计算的结果中减去所述过期的数据特征值；
和/或
将对应时间内的所述数据特征值分别发送到由中间存储容器集合组成的顺序队列和由卡夫卡kafka组成的第二延迟队列，所述顺序队列和第二延迟队列分别按照对应的时间戳存储所述数据特征值，所述顺序队列按照窗口期大小对对存储的数据特征值进行裁剪，并在裁剪完成后通知第二计算中心计算当前顺序队列中剩余数据特征值的数量计算；以及所述顺序队列在收到所述第二延迟队列发送的过期消息时，根据所述过期消息按照窗口期大小进行裁剪，并在裁剪完成后通知所述第二计算中心计算当前队列中剩余数据特征值的数量计算。


4.一种业务数据展示方法，其特征在于，包括：
接收到查询用户网上业务操作的查询请求；
根据所述查询请求，向中间存储容器请求当前用户网上业务操作的数据值；以便于所述中间存储容器在接收到的所述查询请求时，根据存储的每个时间内的所述数据特征值计算当前时间窗内所述用户网上业务操作的数据值，并反馈所述数据值；
接收所述中间存储容器中发送当前时间窗内所述用户网上业务操作的数据值；
展示所述用户网上业务操作的数据值，以便于根据所述数据值确定是否对所述用户的网上业务操作进行处理。


5.一种业务数据处理装置，其特征在于，包括：
获取模块，用于实时获取业务数据；
第一发送模块，用于将所述业务数据发送到对应的消息队列中；
处理模块，用于按照时间维度对每个所述消息队列中业务数据进行数据处理，得到对应时间内的数据特征值；
第二发送模块，用于将所述处理模块得到对应时间内的所述数据特征值发送到第一中间存储容器进行存储，以便于所述第一中间存储容器在接...

【专利技术属性】
技术研发人员：李文学，史忠伟，
申请(专利权)人：五八有限公司，
类型：发明
国别省市：天津;12