一种基于动态适配的服务质检方法及存储介质技术

本申请涉及一种基于动态适配的服务质检方法及存储介质，该方法将各类服务的质检需求，形成统一的任务池，根据不同任务对应的资源类型，抽样形成质检区的资源池，执行服务对应的处理引擎，结合资源种类、数据量、并发数等维度的特性，自动分析出各类服务的运行指标，发布到生产环境；实时监测大数据平台运行环境的变化，动态调整各类服务的运行指标；实现对各类服务的科学、有序、安全的管理，确保大数据平台稳定安全运行，支撑各业务场景下的大数据应用需求。应用需求。应用需求。

【技术实现步骤摘要】
一种基于动态适配的服务质检方法及存储介质


[0001]本申请涉及服务质检的
，尤其是涉及一种基于动态适配的服务质检方法及存储介质。

技术介绍

[0002]数字经济时代,大数据平台聚集了海量的数据、能力等资源，应用生态厂商通过注册申请各类服务的方式，实现大数据资源的共享共用，现在各类服务的审核往往停留在申请人、申请事由等业务规则，服务的性能安全等核心指标。
[0003]由于大数据平台的数据量大、用户量多、业务场景复杂等特点，很难再建设一套测试环境用于服务检测，传统的服务注册审核往往只停留在申请人、申请事由等业务规则的校验，服务性能安全等核心指标无法自动检测，这些技术存在以下不足：
[0004]1)质检时效性差，大数据时代的数据量很大，传统的方法只停留在业务规则的审核上，无法及时检测出指标达不到要求的服务，当服务发布到生产环境运行后，经常会引起平台的宕机，进而影响平台所有业务系统的应用；
[0005]2)质检适应性差，传统的质检方法产生的服务运行指标是固定的、静态的，无法根据大数据平台运行特性的变化而自动调整，无法保障各类资源被安全可信合规地使用，有一定的安全隐患。

技术实现思路

[0006]针对上述技术问题,本申请提出了一种基于动态适配的服务质检方法及存储介质。
[0007]第一方面，本申请提出了一种基于动态适配的服务质检方法，包括以下步骤：
[0008]S1：获取服务特征集合并将所述服务特征集合保存在服务特征表，获取检测方案集合并将所述检测方案集合保存在检测方案表；
[0009]S2：遍历所述服务特征集合，获得运行数据量以及检测方案关联节点，利用所述检测方案关联节点遍历所述检测方案集合，得到抽样方案，利用所述运行数据量和所述抽样方案进行资源抽样以获得抽样资源，并将所述抽样资源复制到质检区的内存空间；
[0010]S3：利用所述检测方案关联节点遍历所述检测方案集合，获得方案类型、检测区间和处理引擎，利用所述检测区间将所述抽样资源分成若干份抽样数据，分别针对若干份所述抽样数据调用所述处理引擎进行处理，得到检测结果集合；
[0011]S4：利用SCA方法对所述检测结果集合进行分析并计算得到服务的运行指标，将计算得到的所述运行指标存储到服务特征表；
[0012]S5：将所述运行指标发布到大数据平台运行环境，并对所述运行指标进行自动调整。
[0013]通过采用上述技术方案，本申请将各类服务的质检需求，形成统一的任务池，根据不同任务对应的资源类型，抽样形成质检区的资源池，执行服务对应的处理引擎，结合资源
种类、数据量、并发数等维度的特性，自动分析出各类服务的运行指标，发布到生产环境；实时监测大数据平台运行环境的变化，动态调整各类服务的运行指标；实现对各类服务的科学、有序、安全的管理，确保大数据平台稳定安全运行，支撑各业务场景下的大数据应用需求。
[0014]优选的，所述服务特征集合包括服务ID、输入参数、输出参数、主要资源、检测方案关联节点、状态、备注、调用次数、运行指标、运行数据量以及调整方案，所述检测方案集合包括方案ID、服务ID、方案类型、方案参数、检测结果、抽样方案、处理引擎、检测区间、最后执行时间、内存区域以及状态。
[0015]优选的，所述利用运行数据量和抽样方案进行资源抽样以获得抽样资源具体为：将所述运行数据量和所述抽样方案相乘得到抽样数量，从所述服务的主要资源中随机抽取出抽样数量条的抽样资源。
[0016]优选的，所述S3具体包括以下步骤：
[0017]S31：利用所述检测方案关联节点遍历相关联的检测方案集合，得到方案类型、检测区间和处理引擎，利用检测区间将抽样资源分成若干份抽样数据，分别针对若干份所述抽样数据调用处理引擎进行处理，得到检测结果集合；
[0018]S32：对服务的安全性进行检测，所述对服务的安全性进行检测包括验证服务的输出参数是否与实际返回结果一致。
[0019]优选的，所述对服务的安全性进行检测还包括防止爬取全量资源，所述防止爬取全量资源采用的算法为单次返回数量乘以调用次数大于资源当前数据量。
[0020]优选的，所述利用SCA方法对所述检测结果集合进行分析并计算得到服务的运行指标具体为：运行指标结果＝SCA(数组[检测环境，检测结果],资源数据量,偏差率)。
[0021]优选的，所述S4具体包括以下步骤：
[0022]S41：利用SCA方法对所述检测结果集合进行分析并计算得到服务的运行指标，将计算得到的所述运行指标存储到服务特征表；
[0023]S42：对质检区进行清理，所述对质检区进行清理具体为定期检测检索方案的最后操作时间与当前系统时间的间隔是否超过设置的阈值，若超过设置的阈值，则自动将名称为内存区域的缓存区清理掉，以释放出没在用的资源。
[0024]优选的，所述步骤S5具体包括：将所述运行指标发布到大数据平台运行环境，并对资源的当前数据量实时监测，若变化达到一定阈值，则自动调整服务的运行指标。
[0025]优选的，所述步骤S5中，对所述运行指标进行自动调整的算法为：如果资源的当前数据量>资源运行数据量*(1+要素增幅比例)，则令调整后的运行指标＝当前运行指标*(1
‑
指标变动比例)，其中，所述要素增幅比例的算法为相邻两次抽样数据规模的增长率，所述指标变动比例的算法为：指标变动比例＝((|当前运行指标|
‑
偏差率最小值)*(1
‑
偏差率最小值)。
[0026]第二方面，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的计算方法。
[0027]本专利技术对比现有技术，具有以下有益技术效果：
[0028]1)服务质检方法不同，本方法创新性地设计一个服务质检区，将各类服务的质检需求融合，形成统一的任务池，根据不同任务对应的资源类型，抽样形成质检区的资源池，
执行服务对应的处理引擎，结合资源种类、数据量、并发数等维度的特性，自动分析出各类服务的运行指标，及时发现存在问题的服务，确保大数据平台的稳定运行。
[0029]2)指标调整方式不同，本专利技术实时监测大数据平台运行环境的变化，当变化达到一定阈值，动态调整各类服务的运行指标，同时自动启动服务的梯级检测流程，验证服务的运行指标的准确性；动态适配大数据平台复杂多变的运行特性，实现对各类服务的科学、有序、安全的管理，支撑各业务场景下的大数据应用需求。
附图说明
[0030]包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本申请的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
[0031]图1是本申请一个实施例中的基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态适配的服务质检方法，其特征在于，包括以下步骤：S1：获取服务特征集合并将所述服务特征集合保存在服务特征表，获取检测方案集合并将所述检测方案集合保存在检测方案表；S2：遍历所述服务特征集合，获得运行数据量以及检测方案关联节点，利用所述检测方案关联节点遍历所述检测方案集合，得到抽样方案，利用所述运行数据量和所述抽样方案进行资源抽样以获得抽样资源，并将所述抽样资源复制到质检区的内存空间；S3：利用所述检测方案关联节点遍历所述检测方案集合，获得方案类型、检测区间和处理引擎，利用所述检测区间将所述抽样资源分成若干份抽样数据，分别针对若干份所述抽样数据调用所述处理引擎进行处理，得到检测结果集合；S4：利用SCA方法对所述检测结果集合进行分析并计算得到服务的运行指标，将计算得到的所述运行指标存储到服务特征表；S5：将所述运行指标发布到大数据平台运行环境，并对所述运行指标进行自动调整。2.根据权利要求1所述的一种基于动态适配的服务质检方法，其特征在于：所述服务特征集合包括服务ID、输入参数、输出参数、主要资源、检测方案关联节点、状态、备注、调用次数、运行指标、运行数据量以及调整方案，所述检测方案集合包括方案ID、服务ID、方案类型、方案参数、检测结果、抽样方案、处理引擎、检测区间、最后执行时间、内存区域以及状态。3.根据权利要求1所述的一种基于动态适配的服务质检方法，其特征在于，所述利用运行数据量和抽样方案进行资源抽样以获得抽样资源具体为：将所述运行数据量和所述抽样方案相乘得到抽样数量，从所述服务的主要资源中随机抽取出抽样数量条的抽样资源。4.根据权利要求1所述的一种基于动态适配的服务质检方法，其特征在于：所述S3具体包括以下步骤：S31：利用所述检测方案关联节点遍历相关联的检测方案集合，得到方案类型、检测区间和处理引擎，利用检测区间将抽样资源分成若干份抽样数据，分别针对若干份所述抽样数据调用处理引擎进行处理，得到检测结果集合；S32：对服务的安全性进行检测，所述对服务的安全性进行检测包括...

【专利技术属性】
技术研发人员：林文楷，周成祖，魏超，郑小梅，郭琦，章永芳，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：