一种基于redis实时用户数据采集传输及数据监控的方法技术

本发明专利技术公开了一种基于redis实时用户数据采集传输及数据监控的方法，应用于多应用端异构用户实时状态数据的解析和多源存储介质传输，包括：核心引擎实时监控配置中心应用调度配置，同步更新相应的调度任务配置；核心引擎实时监控配置中心应用解析规则变化，进行实时配置同步；核心引擎智能调度实时数据消费引擎，实时数据消费引擎批量解析用户状态数据，写入多源存储介质，实时数据消费引擎解析保存日志信息。本发明专利技术解决多应用端异构型用户状态信息数据种类繁多而数据不能共享的问题，优化了解析写入数据缓慢、多应用端用户状态数据异构的问题，同时还提供日志监控，以监控任务在执行过程中的执行情况。执行过程中的执行情况。执行过程中的执行情况。

【技术实现步骤摘要】
一种基于redis实时用户数据采集传输及数据监控的方法


[0001]本专利技术属于数据传输领域，更具体地说，涉及一种基于redis实时用户数据采集传输及数据监控的方法。
[0002]
技术介绍
：随着互联网时代的到来，网络在大数据背景下，用户数据作为最重要的组成部分，指导着企业的生产和经营，如何运用和分析用户数据已经成为了不可或缺的一部分，而对于用户数据安全、数据共享和数据分析在大数据的背景下是一个至关重要的一个环节。
[0003]然而，传统的软件行业中，同一集团下不同应用端的用户数据一般存储在独立的数据服务中，只满足自身应用使用。这就产生了一下劣势：由于数据服务内部闭塞，形成数据孤岛，导致数据无法共享和分析；由于不同应用端用户数据结构和认证方式均存在差异，导致不同数据服务存在数据不匹配或者匹配错位问题；再者传统数据解析对于并发以及批量解析操作处理不够友好；在实际生产中，我们往往需要快速响应用户解析请求并且能够批量去解析用户数据，对这里面的数据进行抽取、转化和加载操作，形成数据集市、业务库和数据仓库，提供数据分析和使用，而原有的用户状态数据服务模式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于redis实时用户数据采集传输及数据监控的方法，其特征在于，应用于多应用端异构用户实时状态数据的解析和多源存储介质传输，包括：核心引擎实时监控配置中心应用调度配置，同步更新相应的调度任务配置；核心引擎实时监控配置中心应用解析规则变化，进行实时配置同步；核心引擎智能调度实时数据消费引擎，实时数据消费引擎批量解析用户状态数据，写入多源存储介质，实时数据消费引擎解析保存日志信息。2.根据权利要求1所述的基于redis实时用户数据采集传输及数据监控的方法，其特征在于，所述核心引擎实时监控配置中心应用调度配置，同步更新相应的调度任务配置，包括：判断核心引擎中的任务调度配置版本和配置中心的调度配置版本是否一致；若不一致，更新核心引擎中的任务调度配置。3.根据权利要求2所述的基于redis实时用户数据采集传输及数据监控的方法，其特征在于，核心引擎更新核心引擎中的任务调度配置，具体包括：更新核心引擎调度配置版本；将旧的配置归档，标记为不可用；根据新的调度配置，重新生成新的调度任务配置。4.根据权利要求1所述的基于redis实时用户数据采集传输及数据监控的方法，其特征在于，所述核心引擎实时监控配置中心应用解析规则变化，进行实时配置同步，包括：判断核心引擎中的解析规则版本和配置中心的解析规则版本是否一致；若不一致，同步实时数据收集引擎/消费引擎中的规则配置；若不一致，更新核心引擎解析调度版本。5.根据权利要求4所述的基于redis实时用户数据采集传输及数据监控的方法，其特征在于，同步实时数据收集引擎/消费引擎中的规则配置，具体包括:更新实时数据收集引擎解析配置版本；更新实时数据收集引擎解...

【专利技术属性】
技术研发人员：闫安，旷晓鹏，
申请(专利权)人：杭州雷数科技有限公司，
类型：发明
国别省市：