一种数据监控系统和方法技术方案

本发明专利技术的实施方式提供了一种数据监控系统。该系统包括：数据发送模块、消息队列模块、数据处理模块，其中：所述数据发送模块，配置用于向所述消息队列模块发送待处理数据；所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。本系统实现了对海量数据的实时处理，显著提高了系统对实时数据的处理能力。此外，本发明专利技术的实施方式提供了一种数据监控方法。

【技术实现步骤摘要】

本专利技术的实施方式涉及数据处理领域，更具体地，本专利技术的实施方式涉及一种数 据监控系统和方法。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的 描述不因为包括在本部分中就承认是现有技术。 随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，产生了大量待处理的 实时数据，例如网络监测数据、电信呼叫记录、金融应用数据、Web日志及点击流数据等。这 些实时数据具有数据量极大、生成速度快和生成速率随时间变化等特点。如何在资源有限 的情况下，实现对这些实时数据的快速、有效处理成为一个亟需解决的问题。 传统的关系数据库管理系统在处理有限的存储数据方面是高效的，但是处理大量 的实时数据时则效率低下。
技术实现思路
因此在现有技术中，如何高效地处理海量实时数据，是非常令人烦恼的过程。 为此，非常需要一种改进的数据监控系统和方法，以高效地处理海量实时数据。 在本上下文中，本专利技术的实施方式期望提供。 在本专利技术实施方式的第一方面中，提供了一种系统，包括：数据发送模块、消息队 列模块、数据处理模块，其中： 所述数据发送模块，配置用于向所述消息队列模块发送待处理数据； 所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数 据，以及，向所述数据处理模块发送待处理数据； 所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时， 按照预置的监控规则对所述待处理数据进行处理，输出处理结果。 优选地，所述数据发送模块配置用于异步地向所述消息队列模块发送待处理数 据。 优选地，所述数据处理模块配置用于： 当所述数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请 求待处理数据； 所述消息队列模块配置用于： 当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块 发送待处理数据。 优选地，所述消息队列模块配置用于： 根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅信息对应的待处 理数据。 优选地，所述数据处理模块包括数据聚合单元和数据收集单元， 所述数据聚合单元配置用于：当所述预置的监控规则包括监控对象和监控指标 时，按照预置的监控规则将待处理数据聚合处理成以监控对象为键、监控指标为值的键值 对数据，以及，对聚合处理后的数据进行哈希运算，得到与其对应的数据收集单元的访问地 址，将所述聚合处理后的数据发送到相应位置； 所述数据收集单元配置用于：接收所述数据聚合单元聚合处理后的数据，对具有 相同键的键值对数据进行合并得到合并结果。 优选地，所述数据处理模块包括至少两个数据聚合单元以及至少两个数据收集单 J Li 〇 优选地，所述系统包括至少两个数据发送模块；和/或 所述系统包括至少两个消息队列模块。 优选地，所述系统还包括： 报警模块，配置用于对经过数据处理模块处理后的处理结果进行统计，当获得的 统计结果满足预置的报警条件时，输出报警提示信息。 优选地，所述系统还包括： 统一配置模块，配置用于对所述数据处理模块进行统一配置。 在本专利技术实施方式的第二方面中，提供了一种方法，应用于数据监控系统，所述系 统包括数据发送模块、消息队列模块、以及数据处理模块，所述方法包括： 所述数据发送模块向所述消息队列模块发送待处理数据； 所述消息队列模块接收并存储所述数据发送模块发送的所述待处理数据，以及， 向所述数据处理模块发送待处理数据； 所述数据处理模块接收所述消息队列模块发送的待处理数据，按照预置的监控规 则对所述待处理数据进行处理，输出处理结果。 本专利技术实施例提供的系统和方法可以对实时产生的待处理数据，通过数据发送模 块、消息队列模块发送给数据处理模块，由数据处理模块实现数据的实时处理，以输出处理 结果，实现了对海量数据的实时处理，显著提高了对实时数据的处理能力。 【附图说明】 通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目 的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若 干实施方式，其中： 图1示意性地示出了本专利技术实施例的一种应用场景； 图2示意性地示出了根据本专利技术实施方式的数据监控系统的一种实现； 图3示意性地示出了根据本专利技术另一实施例的数据监控系统； 图4示意性地示出了根据本专利技术又一实施例的数据监控方法。 在附图中，相同或对应的标号表不相同或对应的部分。 【具体实施方式】 下面将参考若干示例性实施方式来描述本专利技术的原理和精神。应当理解，给出这 些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本专利技术，而并非以任何 方式限制本专利技术的范围。 本领域技术人员知道，本专利技术的实施方式可以实现为一种系统、装置、设备、方法 或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件 (包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。 根据本专利技术的实施方式，提出了。 在本文中，需要理解的是，所涉及的术语消息队列用于表示在消息的传输过程 中保存消息的容器。一般地，消息是在两台计算机间传送的数据单位。消息队列的主 要作用在于提供路由并保证消息的传递。例如，发送消息时接收者不可用，消息队列会保留 消息，直到可以成功地传递它。 此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分， 而不具有任何限制含义。 下面参考本专利技术的若干代表性实施方式，详细阐释本专利技术的原理和精神。 专利技术概沭 本专利技术人发现，传统的关系数据库管理系统在处理有限的存储数据方面是高效 的，但是处理大量的实时数据时则效率低下。 根据本专利技术实施方式，提供了，当有待处理数据时，通过 数据发送模块，向消息队列模块发送待处理数据，消息队列模块用于接收并存储待处理数 据，并向数据处理模块发送待处理数据，所述数据处理模块用于当接收到所述消息队列模 块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。 本专利技术实施例提供的系统和方法可以对实时产生的待处理数据，通过数据发送模块、消息 队列模块发送给数据处理模块，由数据处理模块实现数据的实时处理，以输出处理结果，实 现了对海量数据的实时处理，显著提高了系统对实时数据的处理能力。 在介绍了本专利技术的基本原理之后，下面具体介绍本专利技术的各种非限制性实施方 式。 应用场景总览 首先参考图1，对本专利技术实施例的一种应用场景进行说明。其中，如图1所示，线上 数据系统100生成待处理数据，数据监控系统200用于实时处理所述线上数据系统100生 成的待处理数据。例如，线上数据系统100是一个web网站服务器，其可以记录用户对这个 web网站服务器的访问信息。当然，本领域技术人员可以理解的是，图1所示仅为本专利技术一 种应用场景的示意性说明，并不视为对本专利技术应用场景的限制。 示例件设各 下面结合图1的应用场景，参考图2来描述根据本专利技术示例性实施方式的数据监 控系统。需要注意的是，上述应用场景仅是为了便于理解本专利技术的精本文档来自技高网...

【技术保护点】
一种系统，包括数据发送模块、消息队列模块、数据处理模块，其中：所述数据发送模块，配置用于向所述消息队列模块发送待处理数据；所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。

【技术特征摘要】
1. 一种系统，包括数据发送模块、消息队列模块、数据处理模块，其中： 所述数据发送模块，配置用于向所述消息队列模块发送待处理数据； 所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据， 以及，向所述数据处理模块发送待处理数据； 所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照 预置的监控规则对所述待处理数据进行处理，输出处理结果。2. 根据权利要求1所述的系统，其中： 所述数据发送模块配置用于异步地向所述消息队列模块发送待处理数据。3. 根据权利要求1所述的系统，其中： 所述数据处理模块配置用于： 当所述数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请求待 处理数据； 所述消息队列模块配置用于： 当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发送 待处理数据。4. 根据权利要求1所述的系统，其中： 所述消息队列模块配置用于： 根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅信息对应的待处理数 据。5. 根据权利要求1所述的系统，其中： 所述数据处理模块包括数据聚合单元和数据收集单元， 所述数据聚合单元配置用于：当所述预置的监控规则包括监控对象和监控指标时，按 照预置的监控规则将待处理数据聚合处理成以监控对象为...

【专利技术属性】
技术研发人员：崔坤，曹鲁，董海疆，张红泽，
申请(专利权)人：网之易信息技术北京有限公司，
类型：发明
国别省市：北京;11