【技术实现步骤摘要】
业务数据的处理方法和装置、存储介质、电子装置
本申请涉及互联网领域,具体而言,涉及一种业务数据的处理方法和装置、存储介质、电子装置。
技术介绍
许多项目在开始之初策略比较少,为了能够快速满足业务需求,相关技术中采用了“redis计数+mysql存储”的方式实现数据统计功能,但是随着策略数量增加、人群量级增大、数据量级增大,原有计算方式已经达到瓶颈,出现数据消费积压,redis集群压力过大,数据统计不准确各种问题频繁出现。数据查询使用的是mysql归档方式,即轮询方式,每隔一小时把缓存中的数据持久化到数据库中,这样就导致运营人员只能看到1小时之前的数据,无法做到实时数据展示。针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种业务数据的处理方法和装置、存储介质、电子装置,以至少解决相关技术中用户获取数据的及时性较差的技术问题。根据本申请实施例的一个方面,提供了一种业务数据的处理方法,包括:获取第一数据,其中,第一数据为目标业务产生的待处理的业务数据;按照 ...
【技术保护点】
1.一种业务数据的处理方法,其特征在于,包括:/n获取第一数据,其中,所述第一数据为目标业务产生的待处理的业务数据;/n按照配置信息的配置对所述第一数据进行实时分析,得到目标分析结果;/n通过消息中间件将所述目标分析结果发送给目标终端,其中,所述目标终端为通过所述消息中间件订阅了所述目标业务的业务数据的分析结果的终端。/n
【技术特征摘要】 【专利技术属性】
1.一种业务数据的处理方法,其特征在于,包括:
获取第一数据,其中,所述第一数据为目标业务产生的待处理的业务数据;
按照配置信息的配置对所述第一数据进行实时分析,得到目标分析结果;
通过消息中间件将所述目标分析结果发送给目标终端,其中,所述目标终端为通过所述消息中间件订阅了所述目标业务的业务数据的分析结果的终端。
2.根据权利要求1所述的方法,其特征在于,按照配置信息的配置对所述第一数据进行实时分析,得到目标分析结果包括:
按照所述配置信息中的预处理方案对所述第一数据进行预处理,得到第二数据,其中,所述预处理方案包括对所述第一数据进行格式转换和数据过滤;
调用实时处理引擎,按照所述配置信息中的分析方案对所述第二数据进行分析,得到所述目标分析结果。
3.根据权利要求2所述的方法,其特征在于,所述目标业务包括多个业务,其中,按照所述配置信息中的分析方案对所述第二数据进行分析,得到所述目标分析结果包括:
调用多个进程对所述多个业务的所述第二数据进行分析,得到所述多个业务的所述目标分析结果,其中,所述多个进程为并行运行的进程,每个进程用于对一个业务的所述第二数据进行分析。
4.根据权利要求1所述的方法,其特征在于,
获取第一数据包括:第一队列接收到发送方发送的携带所述第一数据的消息,其中,所述第一队列用于缓存收到的业务数据;
在获取第一数据之后,所述方法还包括:所述第一队列向所述发送方反馈收到所述第一数据的回执消息,其中,所述发送方用于在未收到所述回执消息的情况下按照配置的重试次数重复发送所述第一数据,在收到所述回执消息的情况下停止发送所述第一数据。
5.根据权利要求4所述的方法,其特征在于,第一队列接收到发送方发送的携带所述第一数据的消息包括以下至少之一:
第一队列接收到第二队列发送的携带所述第一数据的消息,其中,所述第二队列用于为所述目标业务发送业务数据;
第一队列接收到远程过程调用接口发送的携带所述第一数据的消息;
第一队列接收到所述目标业务的代理发送的携带所述第一数据的消息。
6.根据权利要求1所述的方法,其特征在于,按照配置信息的配置对所述第一数据进行实时分析,得到目标分析结果包括以下至少之一:
按照配置信息的配置对所述第一数据进行实时分析,得到进入所述目标业务的业务任务的帐号数量;
按照配置信息的配置对所述第一数据进行实时分析,得到所述目标业务的节点执行成功数;
按照配置信息的配置对所述第一数据进行实时分析,得到所述目标业务的节点执行失败数;
按照配置信息的配置对所述第一数据进行实时分析,得到所述目标业务中产生的异常数;
按照配置信息的配置对所述第一数据进行实时分析,得到所述目标业务中调用外部接口的错误码。
7.根据权利要求1所述的方法,其特征在于,在按照配置信息的配置对所述第一数据进行实时分析,得到目标分析结果之后,所述方法还包括:
将所述目标分析结果保存到搜索服务器,其中,所述搜索服务器用于提供搜索分析结果的接口。
技术研发人员:康晓鸣,王忠宝,
申请(专利权)人:京东数字科技控股股份有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。