监控数据查询方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请实施例公开了监控数据查询方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及云计算技术领域，进一步涉及大数据云领域。该方法的一具体实施方式包括：接收包含有待查询参数的参数查询请求；根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点，全量的待查询参数分散存储在遵循一致性哈希的不同分布式节点，采集到的原始参数在按维度进行预聚合后经消息中间件被存储在相应的分布式节点；将参数查询请求转发至目标分布式节点，并将目标分布式节点返回的数据作为查询结果返回。该实施例提供了一种高可用的监控数据查询方式。

【技术实现步骤摘要】
监控数据查询方法、装置、设备、存储介质及程序产品
本申请涉及云计算
，进一步涉及大数据云领域，尤其涉及监控数据查询方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
技术介绍
随着电子信息化技术的快速发展，各种线上应用、服务的持续稳定运行都依赖于监控系统对运行状态的分析和反馈，即监控系统的好坏是影响整个运维乃至整个产品生命周期最重要的一环，一个良好的监控系统需要能够在事前及时预警发现故障、事后提供详细的数据用于准查定位问题。在基于DAG(DatabaseAvailabilityGroup，数据库可用性组)交互模式的数据开发集成过程中，由于基于DAG交互的可拖拽式ETL(Extract-Transform-Load，数据仓库技术)过程中，用户创建的每条流水线、流水线的每个节点是一组具有相同抽象但实际功能不同的数据集成场景。如果在此场景下提供合适、高可用的监控系统是本领域技术人员研究的重点。
技术实现思路
本申请实施例提出了一种监控数据查询方法、装置、电子设备、计算机可读存储介质及计算机程序产品。第一方面，本申请实施例提出了一种监控数据查询方法，包括：接收包含有待查询参数的参数查询请求；根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点；其中，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；将参数查询请求转发至目标分布式节点，并将目标分布式节点返回的数据作为查询结果返回。第二方面，本申请实施例提出了一种监控数据查询装置，包括：查询请求接收单元，被配置成接收包含有待查询参数的参数查询请求；目标分布式节点确定单元，被配置成根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点；其中，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；请求转发及结果返回单元，被配置成将参数查询请求转发至目标分布式节点，并将目标分布式节点返回的数据作为查询结果返回。第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的监控数据查询方法。第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的监控数据查询方法。第五方面，本申请实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的监控数据查询方法。本申请实施例提供的监控数据查询方法、装置、电子设备、计算机可读存储介质及计算机程序产品，首先，接收包含有待查询参数的参数查询请求；然后，根据待查询参数的哈希值确定存储有待查询参数的目标分布式节点，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；最后，将参数查询请求转发至目标分布式节点，并将目标分布式节点返回的数据作为查询结果返回。根据上述技术方案可知，本申请基于遵循一致性哈希的多个分布式节点构建了一个高可用的参数监控框架，在一致性哈希的帮助下，全量参数将被分散至不同的分布式节点中进行存储，并由不同的分布式节点来提供用户对相应参数的查询服务，有效防止了单点故障对监控系统整体正常运作的影响，而在原始参数存入消息中间件前按维度进行预聚合，使得相同维度数据可以更加集中的被存储至相同位置，不仅便于减少相同维度参数查询所调用的分布式节点数量、减少IO次数，也便于进行统计分析。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请可以应用于其中的示例性系统架构；图2为本申请实施例提供的一种监控数据查询方法的流程图；图3为图2所示监控数据查询方法中一种参数存储方法的流程图；图4为图3所示参数存储方法中一种基于CUBE存储模型和HBase存储介质的具体处理方法的流程图；图5为本申请结合实际应用场景提供的一种高可用的参数监控系统的架构图；图6为本申请实施例提供的一种分别对系统级别指标和用户级别指标按维度进行预聚合的过程示意图；图7为本申请实施例提供的一种指标存储计算过程的示意图；图8为本申请实施例提供的CUBE模型与各类表的关系示意图；图9为本申请实施例提供的一种指标查询过程的示意图；图10为本申请实施例提供的一种监控数据查询装置的结构框图；图11为本申请实施例提供的一种适用于执行监控数据查询方法的电子设备的结构示意图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。图1示出了可以应用本申请的监控数据查询方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。如图1所示，系统架构100可以包括用户终端101和分布式集群102。其中，分布式集群102中包括多台分布式节点，多台分布式节点基于一致性哈希的方式构成高可用架构。用户终端101与分布式集群102中的任一分布式节点以及分布式集群102中的不同分布式节点之间，均可以通过各种连接类型实现数据交换，例如有线、无线通信链路或者光纤电缆等等。用户可以通过用户终端101向分布式集群102发起交互，以接收或发送消息，例如可以向分布式集群102发起某一类型参数的查询请求，该类型参数是分布式集群102所监控的目标类型参数之一。具体的，上述交换可通过分别安装在用户终端101和分布式集群102中的各分布式节点上的应用实现，例如参数查询应用。当然，用户终端101和分布式集群102中的各分布式节点上也可以安装有其它应用，例如为保障参数查询应用持续稳定运行的保障类应用，即时通讯类应用等。用户终端101和分布式集群102可以具体直接表现为硬件，也可以是基于硬件虚拟得到的软件。当用户终端101表现为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当用户终端101表现为软件时，则可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。分布式集群102可表现为多个实体服务器构成的硬件集群时，也可本文档来自技高网...

【技术保护点】
1.一种监控数据查询方法，包括：/n接收包含有待查询参数的参数查询请求；/n根据所述待查询参数的哈希值确定存储有所述待查询参数的目标分布式节点；其中，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；/n将所述参数查询请求转发至所述目标分布式节点，并将所述目标分布式节点返回的数据作为查询结果返回。/n

【技术特征摘要】
1.一种监控数据查询方法，包括：
接收包含有待查询参数的参数查询请求；
根据所述待查询参数的哈希值确定存储有所述待查询参数的目标分布式节点；其中，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；
将所述参数查询请求转发至所述目标分布式节点，并将所述目标分布式节点返回的数据作为查询结果返回。


2.根据权利要求1所述的方法，其中，所述全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中，包括：
将从预设时间段的目标系统中采集到的原始参数，以参数的维度聚合为各维度参数集合；
响应于当前存储的各维度参数集合的数据总量超过预设阈值，将当前存储的各维度参数集合下发至所述消息中间件；
控制所述消息中间件将接收到的各维度参数集合按照哈希值存储至相应的分布式节点。


3.根据权利要求2所述的方法，其中，所述控制所述消息中间件将接收到的各维度参数集合按照哈希值存储至相应的分布式节点，包括：
控制所述消息中间件将接收到的各维度参数集合经处理后转发给参数存储服务；
控制所述参数存储服务将各所述维度参数集合中的各参数通过数据立方体CUBE存储模型转换为相应的CUBE事实；
控制所述参数存储服务将每个所述CUBE事实转换为二进制序列，并将所述二进制序列存储至分布式存储HBase数据库；其中，所述HBase数据库可被各所述分布式节点访问。


4.根据权利要求3所述的方法，其中，在将所述目标分布式节点返回的数据作为查询结果返回之前，还包括：
控制所述目标分布式节点根据所述参数查询请求构造事实查询器；
控制所述目标分布式节点根据所述事实查询器中包含的主键rowkey过滤器对所述待查询参数进行过滤和匹配，得到相应的查询结果。


5.根据权利要求1所述的方法，还包括：
响应于传入的自定义参数监控需求，返回自定义参数配置模板；
接收基于所述自定义参数配置模板进行自定义配置后的自定义参数配置项，并根据所述自定义参数配置项对相应的自定义参数进行采集、处理、存储以及提供参数查询。


6.根据权利要求1-5任一项所述的方法，还包括：
响应于任意存储有参数相关信息的分布式节点掉线，通过一致性哈希的方式调整全量参数在剩余的各分布式节点上的存储分布。


7.一种监控数据查询装置，包括：
查询请求接收单元，被配置成接收包含有待查询参数的参数查询请求；
目标分布式节点确定单元，被配置成根据所述待查询参数的哈希值确定存储有所述待查询参数的目标分布式节点；其中，全量的原始参数在按维度进行预聚合后经消息中间件分散存储在遵循一致性哈希的不同分布式节点中；
请求转发及结果返回单元，被配置成将所述参数查询请求转发至所述目标分布式节点，并将所述目标分布式节点返回的数据作为查询结果返回。
...

【专利技术属性】
技术研发人员：陈伟旭，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11