一种IAAS指标与PAAS指标分拆采集的方法技术

本发明专利技术公开了一种IAAS指标与PAAS指标分拆采集的方法，它包括：IAAS指标采集的方法和PAAS指标的采集方法；IAAS指标采集的方法包括：设置计划时间为整点提前2秒；到达计划时间后，设置虚拟机所需要采集指标属性键；采用For循环排列虚拟机指标采集多线程执行队列；在提交至vSphere API之前设置开始时间戳；并发执行vSphere API查询方法；获取到查询结果之后设置结束时间戳；获得采集执行时刻时间戳；以虚拟机查询对象为单位排列hash数组，写入数据仓库，完成IAAS指标的采集；解决了采用IAAS指标与PAAS指标分拆采集的方法存在的IAAS指标与PAAS指标的采集一致性差的问题。

A Method of Separating IAAS Index and PAAS Index

The invention discloses a method for collecting IAAS and PAAS indices separately, which includes: the method for collecting IAAS indices and the method for collecting PAAS indices; the method for collecting IAAS indices includes: setting the plan time to be 2 seconds ahead of the whole point; setting the attribute keys of the indices needed for collecting virtual machines after arriving at the plan time; and adopting Forfollow. Loop Arrangement Virtual Machine Target Collection Multithread Execution Queue; Set Start Time Stamp before submitting to vSphere API; Execute vSphere API Query Method concurrently; Set End Time Stamp after getting the query result; Get Collection Execution Time Stamp; Arrange hash arrays in units of virtual machine query objects and write data. The warehouse completes the collection of IAAS indicators, and solves the problem of poor consistency between IAAS indicators and PAAS indicators by using the method of separation and collection of IAAS indicators and PAAS indicators.

【技术实现步骤摘要】
一种IAAS指标与PAAS指标分拆采集的方法
本专利技术属于云平台系统数据采集技术，尤其涉及一种IAAS指标与PAAS指标分拆采集的方法。
技术介绍
传统数据采集平台数据采集通过统一vSphere的SDK接口进行数据抽取，好处是可以统一管理，而弊端也相当明显：随着云平台虚拟机和业务系统复杂度的增加，数据仓库的数据抽取服务能力急需提升。以Vmware平台性能数据仓库的抽取需求为例：电网数据采集接口服务器需要为多达八百多台虚拟主机进行数据抽取，其中包括基础架构虚拟机性能指标、告警指标、任务指标、主机性能指标、告警指标以及PAAS层比如数据库、中间件的指标，采集时间间隔不能低于60秒,经测试,需要完成的日加载数据流量达到400多万条数据，而且随着业务系统的增多,支撑业务系统的基础架构也会日渐趋多,因此接口服务器的压力越来越大，CPU、内存的使用率在实际运维过程中,单点执行都趋近100％，已经无法承载越来越多的业务系统虚拟机和云平台的并行采集需求。基于这个背景之下，提出了一种IAAS指标与PAAS指标分拆采集的方法，同时，将采集执行端转化为分布式架构，以应对高并发量的采集，这种采集方法，能够解决数据采集中心的采集压力，然而，衍生了一个新的问题，即是IAAS指标与PAAS指标的采集一致性差等问题。
技术实现思路
：本专利技术要解决的技术问题：提供一种IAAS指标与PAAS指标分拆采集的方法，以解决现有技术采用IAAS指标与PAAS指标分拆采集的方法存在的IAAS指标与PAAS指标的采集一致性差的问题。本专利技术技术方案：一种IAAS指标与PAAS指标分拆采集的方法，它包括：IAAS指标采集的方法和PAAS指标的采集方法；其特征在于：所述IAAS指标采集的方法包括：步骤1.1：设置计划时间为整点提前2秒；步骤1.2：到达计划时间后，设置虚拟机所需要的采集指标属性键；步骤1.3：采用For循环排列虚拟机指标采集多线程执行队列；步骤1.4：在提交至vSphereAPI之前设置开始时间戳；步骤1.5：并发执行vSphereAPI查询方法；步骤1.6：获取到查询结果之后设置结束时间戳；步骤1.7：按Math.int((End-Start)/2)，获得采集执行时刻时间戳；步骤1.8：以虚拟机查询对象为单位，排列hash数组，写入数据仓库，完成IAAS指标的采集；所述PAAS指标的采集方法包括：步骤2.1：设置计划时间为整点提前3秒；步骤2.2：到达计划时间后，Mina服务端设置PAAS所需要的采集指标属性键；步骤2.3：获取需要采集的客户端，采用For循环排列虚拟机指标采集多线程执行队列，将采集消息推送至客户端；步骤2.4：Mina客户端接收到采集指令以及所需采集的指标之后，采用For循环排列采集指标多线程执行队列，在执行采集脚本之前设置开始时间戳；步骤2.5：并发执行采集脚本，以Key→Value的形式吐出参数值；步骤2.6：按线程编号收集线程执行结果；步骤2.7：完成全部脚本执行线程之后设置结束时间戳；步骤2.8：按Math.int((End-Start)/2)，获得采集执行时刻时间戳；步骤2.9：Mina客户端将收集到的结果加密序列化，并推送至Mina服务端；步骤2.10：以虚拟机查询对象为单位，排列hash数组，写入数据仓库，完成PAAS指标的采集。所述设置开始时间戳和结束时间戳时，精确到纳秒。二次采集的结果写入数据到数据仓库后，最低单位设置为秒。本专利技术的有益效果：通过本专利技术的采集方法，可以在在分布式架构下，保证数据采集的一致性；两次采集的结果，写入数据仓库之后，最低单位设置为秒，则IAAS与PAAS的采集结果，时间无限接近于同步；解决了现有技术采用IAAS指标与PAAS指标分拆采集的方法存在的IAAS指标与PAAS指标的采集一致性差的问题具体实施方式：一种IAAS指标与PAAS指标分拆采集的方法，它包括：IAAS指标采集的方法和PAAS指标的采集方法。IAAS指标采集方法包括：步骤1：设置计划时间为整点提前2秒。步骤2：到达计划时间后，设置虚拟机所需要14个采集指标属性键。步骤3：采用For循环排列虚拟机指标采集多线程执行队列。步骤4：在提交至vSphereAPI之前设置开始时间戳，精确到纳秒。步骤5：并发执行vSphereAPI查询方法。步骤6：获取到查询结果之后设置结束时间戳，精确到纳秒。步骤7：按Math.int((End-Start)/2)，获得采集执行时刻时间戳。其中，End为结束时间戳，Start为开始时间戳。步骤8：以虚拟机查询对象为单位，排列hash数组，写入数据仓库，完成IAAS指标的采集。执行IAAS指标采集方法包括：步骤1：设置计划时间为整点提前3秒。步骤2：到达计划时间后，Mina服务端设置PAAS所需要的采集指标属性键。步骤3：获取需要采集的客户端，采用For循环排列虚拟机指标采集多线程执行队列，将采集消息推送至客户端。步骤4：Mina客户端接收到采集指令以及所需采集的指标之后，采用For循环排列采集指标多线程执行队列，在执行采集脚本之前设置开始时间戳，精确到纳秒。步骤5：并发执行采集脚本，以Key→Value的形式吐出参数值。步骤6：按线程编号收集线程执行结果步骤7：完成全部脚本执行线程之后设置结束时间戳，精确到纳秒。步骤8：按Math.int((End-Start)/2)，获得采集执行时刻时间戳。其中，End为结束时间戳，Start为开始时间戳。步骤9：Mina客户端将收集到的结果加密序列化，并推送至Mina服务端。步骤10：以虚拟机查询对象为单位，排列hash数组，写入数据仓库，完成PAAS指标的采集。两次采集的结果，写入数据仓库之后，最低单位设置为秒，则IAAS与PAAS的采集结果，时间无限接近于同步。本专利技术的关键点：保持采集计划一致性：保持采集计划整点发生：从计划方法发起调度到执行采集存在延迟，所以不能设置整点进行计划，需存在一定的提前时间。测试计划方法发起调度到执行API采集方法耗时测试50次。测试计划方法发起调度到执行客户端采集方法耗时测试50次。采集结论：在不考虑方法调度硬件响应波动的情况下，第一段测试，从计划发起到API执行采集的耗时约等于2秒，所以我们可以认为，在设置计划时间的时候，我们可以提前2秒，即零点的采集计划实际设置时间为23:59:58。第二段测试，从计划发起到客户端执行采集的耗时约等于3秒，所以我们可以认为，在设置计划时间的时候，我们可以提前3秒，即零点的采集计划实际设置时间为23:59:57。保持采集频率一致：以vSphere最高采集频率1分钟为单位,所有IAAS指标、PAAS层指标采集最高频率也设定为1分钟，并设置计划提前偏移量API采集为2秒执行，客户端采集为3秒执行。本文档来自技高网...

【技术保护点】
1.一种IAAS指标与PAAS指标分拆采集的方法，它包括：IAAS指标采集的方法和PAAS指标的采集方法；其特征在于：所述IAAS指标采集的方法包括：步骤1.1：设置计划时间为整点提前2秒；步骤1.2：到达计划时间后，设置虚拟机所需要的采集指标属性键；步骤1.3：采用For循环排列虚拟机指标采集多线程执行队列；步骤1.4：在提交至vSphere API之前设置开始时间戳；步骤1.5：并发执行vSphere API查询方法；步骤1.6：获取到查询结果之后设置结束时间戳；步骤1.7：按Math.int((End‑Start)/2)，获得采集执行时刻时间戳；步骤1.8：以虚拟机查询对象为单位，排列hash数组，写入数据仓库，完成IAAS指标的采集。

【技术特征摘要】
1.一种IAAS指标与PAAS指标分拆采集的方法，它包括：IAAS指标采集的方法和PAAS指标的采集方法；其特征在于：所述IAAS指标采集的方法包括：步骤1.1：设置计划时间为整点提前2秒；步骤1.2：到达计划时间后，设置虚拟机所需要的采集指标属性键；步骤1.3：采用For循环排列虚拟机指标采集多线程执行队列；步骤1.4：在提交至vSphereAPI之前设置开始时间戳；步骤1.5：并发执行vSphereAPI查询方法；步骤1.6：获取到查询结果之后设置结束时间戳；步骤1.7：按Math.int((End-Start)/2)，获得采集执行时刻时间戳；步骤1.8：以虚拟机查询对象为单位，排列hash数组，写入数据仓库，完成IAAS指标的采集。2.根据权利要求1所述的一种IAAS指标与PAAS指标分拆采集的方法，其特征在于：所述PAAS指标的采集方法包括：步骤2.1：设置计划时间为整点提前3秒；步骤2.2：到达计划时间后，Mina服务端设置PAAS所需要的采集指标属性键；步骤2.3：获取需要采集...

【专利技术属性】
技术研发人员：周晋，甘润东，卢仁猛，王皓然，袁捷，王玮，罗念华，钟腋，汤杰，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：贵州,52