一种基于数据挖掘的云服务性能预警事件生成方法技术

本发明专利技术提供一种基于数据挖掘的云服务性能预警事件生成方法，包括：监测物理机群数据、虚拟机数据、服务组件数据；若当前数据触发约束事件，则直接根据自适应方法库进行云服务性能自优化动作选择，否则判断当前数据是否触发预警事件：触发预警事件则根据自适应方法库进行云服务性能自优化动作选择，否则继续监测；反馈学习，更新触发事件库。本发明专利技术对触发SLA约束事件的环境数据进行挖掘，从而获取服务组件在不同服务环境下对应的承载能力的阈值，建立以服务环境硬件资源类型为基本粒度的触发事件库，从而达到在服务性能下降至不满足SLA约束之前，提前激活触发事件并启动自适应动作决策的目的，进而提升整个云服务性能自优化过程中处理故障的效率。

【技术实现步骤摘要】

本专利技术属于云服务
，具体涉及一种基于数据挖掘的云服务性能预警事件 生成方法。
技术介绍
在大数据时代中，信息量指数型的增长特性直接导致了诸多行业中的数据大爆 发，整个社会也因此在生活方式和生产方式上产生了巨大的变革，而支撑这种科技大变革 的技术基础，则要归功于当前运供应商和云服务商提供的各种各样的"云"服务。云计算技 术（CloudComputing)是利用高速互联网的传输能力，将数据的处理过程从个人计算机或 服务器转移到互联网上的计算机集群中的技术。云计算是一种新兴的商业计算模型，它将 计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、 存储空间和各种软件服务。"云"是一些可以自我维护和管理的虚拟计算资源，通常为一些 大型服务器集群，这使得应用提供者无需为繁琐的细节而烦恼，能够更加专注于自己的业 务，有利于创新和降低成本。随着分布式异构计算机应用项目的大量推广，云计算凭借着 其创新的计算模式，近年来日益受到商业界和学术界的高度重视。根据云计算服务模式的 不同，可以将其分为三个服务层次，软件即服务（softwareasaservice，SaaS)、平台即服 务（platformasaservice，PaaS)和基础设施即服务（infrastructureasaservice， IaaS)〇 在常规云环境中，云硬件供应商已经在硬件服务基础上做了大量基础工作，通常 情况下云服务的供应商只需要将自己的服务部署到相应的硬件环境中，也就是云集群中 的虚拟机（virtualmachine，VM)上即可对外提供服务。但是随着服务的长时间运营，月艮 务的自身组件会逐渐受到历史数据的积累、即时大并发流量冲击以及新增部署组件的干 扰等多因素的影响，致使其服务性能下降以至于违反先定服务等级协议（servicelevel agreement，SLA)。SLA是关于网络服务供应商和客户间的一份合同，其中定义了服务类型、 服务质量等术语。SLA协议是云系统对客户提供的服务基础，在提供服务的全过程中，供应 商必须严格遵守SLA。故此，云系统的主要任务之一就是保证系统持续稳定的提供满足SLA 的服务，进而保证整个服务的服务质量（qualityofservice，QoS)。 针对这种情况，服务环境需要一个高效准确的服务性能自适应优化系统，以助各 云服务在服务性能下架的场景下，可以自发的调节服务自身工作环境，从而为客户提供一 个稳定舒适的服务体验。 在现有技术中，大多数都是从组件在线运营场景层面上设计服务组件的触发事 件，在云服务系统开发设计阶段枚举所有可能的场景，针对各场景特性和不同的SLA协议 设计不同的触发事件集，构建该组件的触发事件系统。但由于服务组件部署环境具有极强 的不确定性和服务组件所承受负载压力的随机性，就其能够罗列出的场景相对于实际运行 的场景而言，数量是十分有限的，另外单纯基于在线运营场景静态设计出的触发事件集在 后期维护工作上也需要投入大量的人力。也有通过预测技术预测服务组件未来负载压力， 从而进一步预测服务组件的响应时间来达到提前预警的目的，但是其解决思路依然停留在 了SLA约束层面，未能进一步挖掘更精确、更微粒度的事件触发条件，未能从实质上改善预 警系统的预警精度和时效性问题。
技术实现思路
针对现有技术存在的不足，本专利技术提供一种基于数据挖掘的云服务性能预警事件 生成方法。 本专利技术的技术方案是： -种基于数据挖掘的云服务性能预警事件生成方法，包括如下步骤： 步骤1 :监测物理机群数据、虚拟机数据、服务组件数据； 步骤2 :针对实时监测的数据利用触发事件库进行触发判断：若当前数据触发约 束事件，则执行步骤4,否则执行步骤3 ; 所述触发事件库中包括约束事件和预警事件：根据SLA生成约束事件；根据历史 运营日志数据库生成预警事件； 步骤3 :判断当前数据是否触发预警事件：是，则执行步骤4,否则返回步骤1 ; 步骤4 :根据自适应方法库进行云服务性能自优化； 根据历史自优化轨迹数据库建立自适应方法库，自适应方法库中包括资源调整方 案决策方法、服务迀移方案决策方法和虚拟机副本增删方案决策方法； 步骤5 :反馈学习，更新触发事件库，返回步骤1。 所述步骤1包括以下步骤： 步骤1-1 :实时采集物理机群数据、虚拟机数据、服务组件数据； 物理机群数据、虚拟机数据均包括CPU核数、内存大小、带宽、服务组件数据、可用 磁盘大小； 服务组件数据包括CPU占用率、内存占用率、并发量、响应时间、I/O设备调用频 率； 步骤1-2 :预处理：对筛选出的数据中的错误信息、非法信息、冗余信息和噪点信 息进行清洗。 所述触发事件库的建立过程如下： 步骤2-1 :根据历史运营日志、历史自优化轨迹建立历史运营日志数据库、历史自 优化轨迹数据库； 历史运营日志信息包括某时间段某服务组件所占内存大小、负载大小、吞吐量； 历史自优化轨迹是：服务组件的性能下降、自优化方案及其执行效果的历史信 息； 步骤2-2 :根据历史运营日志数据库和SLA约束生成触发事件库； 步骤2-2-1 :根据SLA生成约束事件； 步骤2-2-2 :根据历史运营日志数据库生成预警事件； 步骤2-2-3 :根据约束事件和预警事件生成触发事件库； 预警事件生成：结合当前组件服务环境的资源量、部署环境及Vlini，生成该环境下 该组件的预警事件，并存入触发事件数据库De中。所述步骤2-2-2根据历史运营日志数据库生成预警事件，按以下步骤进行： 步骤2-2-2-1:预警事件数据定位与采集： 触发约束事件的某时间点Ts的采集数据超过设定阈值且距离前次自优化结束的 时间点Te时间间隔h大于N个监测周期，则时间点Ts为预警事件触发节点； 采集的数据包括物理机群数据、虚拟机数据、服务组件数据； 物理机群数据、虚拟机数据均包括CPU核数、内存大小、带宽、服务组件数据、可用 磁盘大小； 服务组件数据包括CPU占用率、内存占用率、并发量、响应时间、I/O设备调用频 率； 步骤2-2-2_2:预警事件数据整合：将Ts至Te之间的M各监测周期内采集的数据 分别按组件ID分组，随后再将各分组不同监测周期内的数据按资源类型分组，并删去非特 征属性的干扰数据； 所述特征属性数据包括内存占用率、内存使用率和组件调用率； 所述删去非特征属性的干扰数据：计算在Ts之后的特征属性值得均值Vn，将各时 间段内与均值Vn偏差大于n%的数据作为噪点数据去除； 步骤2-2-2_3:预警事件特征属性阈值提取： 步骤2-2-2-3-1:去除干扰数据后剩余有效数据的均值记为Va，并取Va的r%作 为特征属性阈值指标，并标记为As，r为特征属性阈值系数，As=Va*r% ; 步骤2-2-2-3_2:计算在Ts之前的若干个大于As且小于Va的最高峰值，计算均 值，取该均值的q%作为该组件在此环境下的该资源的最高阈值，记作Vlini，Vlini即所需的预 警事件的预警阈值，q为阈值系数。[0当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种基于数据挖掘的云服务性能预警事件生成方法，其特征在于，包括如下步骤：步骤1：监测物理机群数据、虚拟机数据、服务组件数据；步骤2：针对实时监测的数据利用触发事件库进行触发判断：若当前数据触发约束事件，则执行步骤4，否则执行步骤3；所述触发事件库中包括约束事件和预警事件：根据SLA生成约束事件；根据历史运营日志数据库生成预警事件；步骤3：判断当前数据是否触发预警事件：是，则执行步骤4，否则返回步骤1；步骤4：根据自适应方法库进行云服务性能自优化动作类型选择；根据历史自优化轨迹数据库建立自适应方法库，自适应方法库中包括资源调整方案决策方法、服务迁移方案决策方法和虚拟机副本增删方案决策方法；步骤5：反馈学习，更新触发事件库，返回步骤1。

【技术特征摘要】

【专利技术属性】
技术研发人员：周琳，赵险峰，殷敬怡，
申请(专利权)人：陕西红方软件测评实验室有限责任公司，
类型：发明
国别省市：陕西;61