基于分布式系统的高并发工况处理系统及方法技术方案

本发明专利技术提供了一种基于分布式系统的高并发工况处理系统及方法，涉及云计算技术领域。方法包括：获取分布式系统的系统运行状态参数信息；根据系统运行状态参数信息以及高并发识别阈值，确定在预设周期内分布式系统的当前并发工况等级以及当前高并发响应模式；将系统运行状态参数信息输入至预先训练完成的并发事件预测模型，以得到分布式系统的高并发工况等级变更敏感度，其中，并发事件预测模型是根据分布式系统的历史并发事件的数据训练得到的；根据高并发工况等级变更敏感度、当前并发工况等级以及当前高并发响应模式，确定在预设周期内分布式系统对应的高并发响应模式。内分布式系统对应的高并发响应模式。内分布式系统对应的高并发响应模式。

【技术实现步骤摘要】
基于分布式系统的高并发工况处理系统及方法


[0001]本专利技术涉及云计算
，尤其涉及一种基于分布式系统的高并发工况处理系统及方法。

技术介绍

[0002]随着应用上云的推进与发展，越来越多的应用实现云化部署与云端运行。云计算相对于传统数据中心机制的优势之一，就是云计算后端集群可扩展性较为灵活，集群性能弹性大。但是构建在云计算集群上的业务应用系统的运行状态，会根据业务服务对象的特点，展现出不均匀分布的业务爆发高峰期。进而会不定期的产生高并发问题。
[0003]实际业务应用中的高并发工况的发生，既包含周期性高并发事件又包含随机性高并发事件。周期性高并发事件是指，具有集中性、策划性和一定的周期性特征的高并发事件。比如，每年有一定时间范围的或节点的购物节，或者社会性考试集中报名等时间分布式较为规律的高并发事件导致系统访问压力集中增大。随机性高并发事件是指，具有随机性，未经过业务系统运营方事先策划的，因突发不可抗力因素导致的系统高并发事件。比如，因自然灾害或战争，导致的系统高并发事件。
[0004]现有技术中，无论是垂直扩展通过提升单机硬件性能，还是水平扩展，通过互联网分布式集群架构设计来应对高并发，都会造成常规累积硬件性能或者常规负载均衡措施造成的资源浪费。

技术实现思路

[0005]本专利技术实施例提供一种基于分布式系统的高并发工况处理系统及方法，以解决传统系统纵向扩展硬件设备成本较高与能源消耗增大，以及横向扩展技术成本、设计实施成本较高，且扩增的资源非高并发工况利用率不高造成设备与能源浪费的问题。
[0006]为了解决上述技术问题，本专利技术是这样实现的：
[0007]第一方面，本专利技术实施例提供了一种基于分布式系统的高并发工况处理方法，所述方法包括：获取分布式系统的系统运行状态参数信息；根据所述系统运行状态参数信息以及高并发识别阈值，确定在预设周期内所述分布式系统的当前并发工况等级以及当前高并发响应模式；将所述系统运行状态参数信息输入至预先训练完成的并发事件预测模型，以得到所述分布式系统的高并发工况等级变更敏感度，其中，所述并发事件预测模型是根据所述分布式系统的历史并发事件的数据训练得到的；根据所述高并发工况等级变更敏感度、所述当前并发工况等级以及所述当前高并发响应模式，确定在所述预设周期内所述分布式系统对应的高并发响应模式。
[0008]进一步地，所述将所述系统运行状态参数信息输入至预先训练完成的并发事件预测模型，以得到所述分布式系统的高并发工况等级变更敏感度，包括：将所述系统运行状态参数信息输入至第一并发事件模型，以得到第一预测结果，其中，所述第一并发事件预测模型是根据所述分布式系统的第一时间段的历史并发事件的数据训练得到的；将所述系统运
行状态参数信息输入至第二并发事件模型，以得到第二预测结果，其中，所述第二并发事件预测模型是根据所述分布式系统的第二时间段的历史并发事件的数据训练得到的，其中，所述第一时间段大于所述第二时间段；根据所述第一预测结果以及所述第二预测结果，确定所述高并发工况等级变更敏感度。
[0009]进一步地，所述第一预测结果包括并发事件的第一时间分布和第一等级，所述第二预测结果包括并发事件的第二时间分布和第二等级，其中，所述根据所述第一预测结果以及所述第二预测结果，确定所述高并发工况等级变更敏感度，包括：根据所述第一时间分布以及所述第二时间分布，获取时间分布预测结果集合；根据所述第一等级以及所述第二等级，获取等级预测结果集合；对所述时间分布预测结果集合以及所述等级预测结果集合进行组合，以得到预测结果集合；根据所述预测结果中时间分布预测结果和等级预测结果的一致性，确定所述高并发工况等级变更敏感度。
[0010]进一步地所述高并发识别阈值包括第一高并发工况阈值以及第二高并发工况阈值，其中，所述根据所述系统运行状态参数信息以及高并发识别阈值，确定在预设周期内所述分布式系统的当前并发工况等级以及当前高并发响应模式，还包括：接收用户输入的所述第一高并发工况阈值、所述第二高并发工况阈值；根据所述第一高并发工况阈值、所述第二高并发工况阈值以及所述系统运行状态参数信息，确定所述当前并发工况等级以及所述当前高并发响应模式。
[0011]进一步地所述高并发识别阈值包括第一高并发工况阈值以及第二高并发工况阈值，其中，所述根据所述系统运行状态参数信息以及高并发识别阈值，确定在预设周期内所述分布式系统的当前并发工况等级以及当前高并发响应模式，包括：获取所述分布式系统启动后预设时间段内，单位时间的访问数最大值以及单位时间的访问数最小值；根据所述访问数最大值以及所述访问数最小值，确定所述第一高并发工况阈值；根据所述第一高并发工况阈值、所述第二高并发工况阈值以及所述系统运行状态参数信息，确定所述当前并发工况等级以及所述当前高并发响应模式。
[0012]进一步地所述根据所述高并发工况等级变更敏感度、所述当前并发工况等级以及所述当前高并发响应模式，确定在所述预设周期内所述分布式系统对应的高并发响应模式，包括：若所述当前并发等级与当前高并发响应模式对应的高并发等级不相符，则根据所述高并发工况等级变更敏感度、所述当前并发工况以及所述当前并发等级，确定所述高并发响应模式。
[0013]进一步地所述高并发响应模式包括以下之一：按照预设业务逻辑以及预设分布式存储集群配置，进行所述分布式系统的业务数据以及数据副本的存储；或，对分布式存储集群中的结构化数据存储系统与非结构化数据存储系统原有的数据一致性配置进行备份，并在所述分布式存储集群磁盘剩余空间建立缓存区；或，对所述分布式存储集群中的结构化数据存储系统与非结构化数据存储系统中原有的数据一致性配置进行备份，控制所述分布式系统的数据副本的存储数量，并在所述分布式存储集群磁盘剩余空间建立缓存区。
[0014]第二方面，本专利技术实施例另外提供了一种基于分布式系统的高并发工况处理装置，所述装置包括：获取模块，用于获取分布式系统的系统运行状态参数信息；第一确定模块，用于根据所述系统运行状态参数信息以及高并发识别阈值，确定在预设周期内所述分布式系统的当前并发工况等级以及当前高并发响应模式；处理模块，用于将所述系统运行
状态参数信息输入至预先训练完成的并发事件预测模型，以得到所述分布式系统的高并发工况等级变更敏感度，其中，所述并发事件预测模型是根据所述分布式系统的历史并发事件的数据训练得到的；第二确定模块，用于根据所述高并发工况等级变更敏感度、所述当前并发工况等级以及所述当前高并发响应模式，确定在所述预设周期内所述分布式系统对应的高并发响应模式。
[0015]第三方面，本专利技术实施例另外提供了一种基于分布式系统的高并发工况处理系统，所述系统包括系统运行状态信息综合采集模块以及高并发事件分析控制模块，其中：基于所述系统运行状态信息综合采集模块，获取分布式系统的系统运行状态参数信息；基于所述高并发事件分析控制模块，根据所述系统运行状态参数信息以及高并发识别阈值，确定在预设周期内所述分布式系统的当前并发工况等级以及当前高并发响应模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式系统的高并发工况处理方法，其特征在于，所述方法包括：获取分布式系统的系统运行状态参数信息；根据所述系统运行状态参数信息以及高并发识别阈值，确定在预设周期内所述分布式系统的当前并发工况等级以及当前高并发响应模式；将所述系统运行状态参数信息输入至预先训练完成的并发事件预测模型，以得到所述分布式系统的高并发工况等级变更敏感度，其中，所述并发事件预测模型是根据所述分布式系统的历史并发事件的数据训练得到的；根据所述高并发工况等级变更敏感度、所述当前并发工况等级以及所述当前高并发响应模式，确定在所述预设周期内所述分布式系统对应的高并发响应模式。2.根据权利要求1所述的方法，其特征在于，所述将所述系统运行状态参数信息输入至预先训练完成的并发事件预测模型，以得到所述分布式系统的高并发工况等级变更敏感度，包括：将所述系统运行状态参数信息输入至第一并发事件模型，以得到第一预测结果，其中，所述第一并发事件预测模型是根据所述分布式系统的第一时间段的历史并发事件的数据训练得到的；将所述系统运行状态参数信息输入至第二并发事件模型，以得到第二预测结果，其中，所述第二并发事件预测模型是根据所述分布式系统的第二时间段的历史并发事件的数据训练得到的，其中，所述第一时间段大于所述第二时间段；根据所述第一预测结果以及所述第二预测结果，确定所述高并发工况等级变更敏感度。3.根据权利要求2所述的方法，其特征在于，所述第一预测结果包括并发事件的第一时间分布和第一等级，所述第二预测结果包括并发事件的第二时间分布和第二等级，其中，所述根据所述第一预测结果以及所述第二预测结果，确定所述高并发工况等级变更敏感度，包括：根据所述第一时间分布以及所述第二时间分布，获取时间分布预测结果集合；根据所述第一等级以及所述第二等级，获取等级预测结果集合；对所述时间分布预测结果集合以及所述等级预测结果集合进行组合，以得到预测结果集合；根据所述预测结果中时间分布预测结果和等级预测结果的一致性，确定所述高并发工况等级变更敏感度。4.根据权利要求1所述的方法，其特征在于，所述高并发识别阈值包括第一高并发工况阈值以及第二高并发工况阈值，其中，所述根据所述系统运行状态参数信息以及高并发识别阈值，确定在预设周期内所述分布式系统的当前并发工况等级以及当前高并发响应模式，还包括：接收用户输入的所述第一高并发工况阈值、所述第二高并发工况阈值；根据所述第一高并发工况阈值、所述第二高并发工况阈值以及所述系统运行状态参数信息，确定所述当前并发工况等级以及所述当前高并发响应模式。5.根据权利要求1所述的方法，其特征在于，所述高并发识别阈值包括第一高并发工况阈值以及第二高并发工况阈值，其中，
所述根据所述系统运行状态参数信息以及高并发识别阈值，确定在预设周期内所述分布式系统的当前并发工况等级以及当前高并发响应模式，包括：获取所述分布式系统启动后预设时间段内，单位时间的访问数最大值以及单位时间的访问数最小值；根据所述访问数最大值以及所述访问数最小值，确定所述第一高并发工况阈值；根据所述第一高并发工况阈值、所述第二高并发工况阈值以及所述系统运行状态参数信息，确定所述当前并发工况等级以及所述当前高...

【专利技术属性】
技术研发人员：侯永进，田生军，刘刚，刘悦，闫峰，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：