一种数据处理方法及装置制造方法及图纸

本申请提供一种数据处理方法及装置，获取当前时刻的待处理文本集合，待处理文本集合包括至少一条待处理文本，待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本；根据待处理文本集合中待处理文本的数据量，从节点集群中确定与待处理文本对应的处理节点；通过确定的处理节点对各个待处理文本进行敏感词分析，以得到从非功能性服务质量方面指示服务质量的分析结果；如果分析结果指示服务异常，则进行预警处理，实现从非功能性服务质量方面对服务质量进行监控，提高监控准确度。并且处理待处理文本的处理节点与待处理文本集合中待处理文本的数据量匹配，实现节点集群的自动缩放容，在保证服务稳定的情况下有效控制监控成本。

【技术实现步骤摘要】
一种数据处理方法及装置
本申请属于服务质量监控
，尤其涉及一种数据处理方法及装置。
技术介绍
服务质量监控是各互联网平台的基础运维工作，通过服务质量监控对各互联网平台中用于提供服务的各个设备(如服务器)进行监控，其中服务质量监控包括硬件监控和软件监控，若通过硬件监控和软件监控中的至少一种监控方式确定出现异常趋势，进行预警处理，以有效提高设备的服务质量。目前对提供服务的各个设备的监控由各互联网平台中的监控终端执行，监控终端从指定位置中获取硬件数据和软件数据，硬件数据和软件数据通过部署在提供服务的各个设备中的采集软件采集，如硬件数据包括但不限于CPU(中央处理器，CentralProcessingUnit)使用率、内存使用率、IO(输入输出，Input-Output)使用状况等，软件数据包括但不限于日志数据。监控终端对硬件数据和软件数据进行实时监控，若确定硬件数据和软件数据中的至少一种数据出现异常，则进行预警处理。但是目前服务质量监控都是借助提供服务的各个设备的硬件数据和软件数据进行监控，以从提供服务的各个设备的功能性服务质量方面进行本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取当前时刻的待处理文本集合，所述待处理文本集合包括至少一条待处理文本，所述待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本；/n根据所述待处理文本集合中待处理文本的数据量，从节点集群中确定与所述待处理文本对应的处理节点；/n通过确定的处理节点对各个所述待处理文本进行敏感词分析，以得到从所述非功能性服务质量方面指示服务质量的分析结果；/n如果所述分析结果指示服务异常，则进行预警处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取当前时刻的待处理文本集合，所述待处理文本集合包括至少一条待处理文本，所述待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本；
根据所述待处理文本集合中待处理文本的数据量，从节点集群中确定与所述待处理文本对应的处理节点；
通过确定的处理节点对各个所述待处理文本进行敏感词分析，以得到从所述非功能性服务质量方面指示服务质量的分析结果；
如果所述分析结果指示服务异常，则进行预警处理。


2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理文本集合中待处理文本的数据量，从节点集群中确定与所述待处理文本对应的处理节点包括：
根据所述待处理文本集合中待处理文本的数据量，确定所述节点集群中当前处于工作状态的处理节点是否能处理所述所有待处理文本；
如果当前处于工作状态的处理节点能处理所有待处理文本，将当前处于工作状态的处理节点确定为所述待处理文本对应的处理节点；
如果当前处于工作状态的处理节点不能处理所有待处理文本，根据所述待处理文本集合中待处理文本的数据量与当前处于工作状态的处理节点的处理能力之间的关系，在所述节点集群中增设至少一个处于工作状态的处理节点，以分配与所述待处理文本集合中待处理文本的数据量匹配的处理节点。


3.根据权利要求2所述的方法，其特征在于，所述在所述节点集群中增设至少一个处于工作状态的处理节点包括：
如果所述节点集群中存在处于非工作状态的处理节点，且处于非工作状态的处理节点和处于工作状态的处理节点能处理所有待处理文本，则控制所述节点集群中处于非工作状态的处理节点切换至工作状态；
如果所述节点集群中存在处于非工作状态的处理节点，但处于非工作状态的处理节点和处于工作状态的处理节点不能处理所有待处理文本，则控制所述节点集群中处于非工作状态的处理节点切换至工作状态，在所述节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态；
如果所述节点集群中不存在处于非工作状态的处理节点，则在所述节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态。


4.根据权利要求1所述的方法，其特征在于，所述通过确定的处理节点对各个所述待处理文本进行敏感词分析，以得到从所述非功能性服务质量方面指示服务质量的分析结果包括：
针对任一所述待处理文本，对所述待处理文本进行分词处理，得到所述待处理文本中的各个词语；
计算所述各个词语与预设敏感词库中各个敏感词之间的词语相似度，计算所述各个词语与预设敏感词库中各个敏感词的衍生词之间的词语相似度；
基于所有待处理文本的词语相似度，得到从所述非功能性服务质量方面指示服务质量的分析结果。


5.根据权利要求4所述的方法，其特征在于，所述基于所有待处理文本的词语相似度，得到从所述非功能性服务质量方面指示服务质量的分析结果包括：
针对任一所述待处理文本，基于所述待处理文本的词语相似度和所述词语相似度对应的敏感词的敏感级别，得到所述待处理文本针对所述服务质量的评分；
基于所述待处理文本的业务类型，对所述待处理文本集合中的待...

【专利技术属性】
技术研发人员：向钊豫，吴红，张亦弛，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：湖南;43