一种服务器测试结果采集方法技术

一种服务器测试结果采集方法，用于对研发测试服务器进行监测，具体包括以下步骤：监测被测服务器的日志信息，并对监测到的日志信息进行数据清洗；对清洗过的数据进行时间、关键文字的分析；将分析完的数据进行展示。使用了Logstash服务器和Elasticsearch服务器能够将收集到的非结构的化的日志进行数据清洗，可以对日志进行集群管理，方便检索；Elasticsearch服务器采用的是分布式存储方式，能够备份日志防止节点损坏导致文件丢失。能够把日志信息进行展现，而且可以通过时间、字段、关键字方式快速搜索到需要的信息。

A method of collecting the result of server test

A server test results collection method is used for monitoring the development of the test server, it includes the following steps: log information monitoring server, log information and the monitored data cleaning; analysis of time, the key word to the cleaned data; the analysis after data display. The use of the Logstash server and the Elasticsearch server can be collected from the non structure of log data cleaning, can be convenient to cluster management, log retrieval; Elasticsearch server is used in distributed storage, to prevent damage to the backup log section file is missing. It can display the log information and quickly search for the required information by time, field, and keyword.

【技术实现步骤摘要】
一种服务器测试结果采集方法
本专利技术涉及数据采集
，具体地说是一种服务器测试结果采集方法。
技术介绍
当前国内云计算市场在不断的发展，也逐步趋于成熟，对服务器的需求越来越大，性能和可靠性要求也越来越高。作为服务器产品提供商，一款服务器无论是在研发阶段还是生产阶段，都需要对开发、测试和生产中执行的程序或者系统中产生的日志加以保存和分析，从而判断服务器的功能、性能、可靠性等等是否符合所期盼的标准。而如何保存大量日志，如何分析大量日志，以及通过这些日志找到Bug，就成为一个至关重要的部分。在服务器研发测试领域，每天的测试日志记录数据量繁杂庞大，容易出现两大问题：1)如果只是普通方法将原始日志保存起来，这样log存储分散且不容易集中化管理和检索；2)如果操作不当，历史测试原始记录容易丢失。在服务器研发测试中，针对服务器系统的监控手段比较单一，大多数是通过输入Linuxshell命令来查看测试结果或日志，而实际产生的日志数量庞大，而且分散在各不同路径，对于查看、检索以及分析来说，不仅效率较低，而且效果较差。
技术实现思路
本专利技术的目的在于提供一种服务器测试结果采集方法，用于解决的海量的数据存贮、有条理的数据分析和清晰的结果展现的问题。本专利技术解决其技术问题所采取的技术方案是：一种服务器测试结果采集方法，用于对研发测试服务器进行监测，具体包括以下步骤：监测被测服务器的日志信息，并对监测到的日志信息进行数据清洗；对清洗过的数据进行时间、关键文字的分析；将分析完的数据进行展示。进一步地，在进行上述步骤的前提是：在被测服务器上安装Filebeat软件，用于采集被测服务器的日志信息。进一步地，监测被测服务器的日志信息通过一台Logstash服务器利用TCP的5044端口进行监测。进一步地，对数据进行清洗，其具体方法包括：自定义logstas规则；对非结构化的文本字符串日志进行词语的分析；过滤logstas规则需要的词语信息。进一步地，多台Elasticsearch服务器利用TCP的9200端口监测并保存Logstash服务器输出的清洗过的日志数据，对清洗过的日志数据通过倒序索引将关键文字与文本进行映射。进一步地，Elasticsearch服务器保存数据采取分布式存储，将一个索引进行分片,不同的分片存在不同的服务器节点上。进一步地，所述的关键文字包括时间、字段、关键字。进一步地，将分析完的数据进行展示的具体方式包括：Kibana服务器对分析完的数据进行报表展示、仪表盘展示。进一步地，服务器均接入研发内网，以保证服务器之间可以相互通信。以上
技术实现思路
提供的仅仅是本专利技术实施例的表述，而不是专利技术本身。
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：使用了Logstash服务器和Elasticsearch服务器能够将收集到的非结构的化的日志进行数据清洗，可以对日志进行集群管理，方便检索；Elasticsearch服务器采用的是分布式存储方式，能够备份日志防止节点损坏导致文件丢失。能够把日志信息进行展现，而且可以通过时间、字段、关键字方式快速搜索到需要的信息。附图说明此处所说明的附图用来提供对本专利技术的进一步解释，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例的结构示意图；图2为本专利技术实施例的方法流程示意图。具体实施方式为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本专利技术进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述。此外，本专利技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本专利技术省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本专利技术。如图1所示，在本专利技术中，需要被测服务器、Elasticsearch服务器、Logstash服务器和Kibana服务器。可以对多个被测服务器进行监测，多个被测服务器为不同的节点。Elasticsearch服务器为多台，分布式存储信息，将索引进行分片，每一片对应一个节点。Logstash服务器和Kibana服务器选取一台即可。如图2所示，一种服务器测试结果采集方法，用于对研发测试服务器进行监测，具体包括以下步骤：步骤1)监测被测服务器的日志信息，并对监测到的日志信息进行数据清洗；步骤2)对清洗过的数据进行时间、关键文字的分析；步骤3)将分析完的数据进行展示。在进行上述步骤的前提是：在被测服务器上安装Filebeat软件，用于采集被测服务器的日志信息。步骤1)中监测被测服务器的日志信息通过一台Logstash服务器利用TCP的5044端口进行监测。步骤1)中对数据进行清洗，其具体方法包括：步骤11)自定义logstas规则；步骤12)对非结构化的文本字符串日志进行词语的分析；步骤13)过滤logstas规则需要的词语信息。步骤2)中对清洗过的数据进行时间、关键文字的分析具体为：多台Elasticsearch服务器利用TCP的9200端口监测并保存Logstash服务器输出的清洗过的日志数据，对清洗过的日志数据通过倒序索引将关键文字与文本进行映射。步骤3)中Elasticsearch服务器保存数据采取分布式存储，将一个索引进行分片，不同的分片存在不同的服务器节点上。关键文字包括时间、字段、关键字。将分析完的数据进行展示的具体方式包括：Kibana服务器对分析完的数据进行报表展示、仪表盘展示。服务器均接入研发内网，以保证服务器之间可以相互通信。Elasticsearch服务器、Logstash服务器、Kibana服务器简称为ELK集群。以上所述只是本专利技术的优选实施方式，对于本
的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
一种服务器测试结果采集方法，用于对研发测试服务器进行监测，其特征是，具体包括以下步骤：监测被测服务器的日志信息，并对监测到的日志信息进行数据清洗；对清洗过的数据进行时间、关键文字的分析；将分析完的数据进行展示。

【技术特征摘要】
1.一种服务器测试结果采集方法，用于对研发测试服务器进行监测，其特征是，具体包括以下步骤：监测被测服务器的日志信息，并对监测到的日志信息进行数据清洗；对清洗过的数据进行时间、关键文字的分析；将分析完的数据进行展示。2.根据权利要求1所述的方法，其特征是，在进行上述步骤的前提是：在被测服务器上安装Filebeat软件，用于采集被测服务器的日志信息。3.根据权利要求1所述的方法，其特征是，监测被测服务器的日志信息通过一台Logstash服务器利用TCP的5044端口进行监测。4.根据权利要求1所述的方法，其特征是，对数据进行清洗，其具体方法包括：自定义logstas规则；对非结构化的文本字符串日志进行词语的分析；过滤logstas规则需要的词语信息。5.根据权利要求3所述的方法，其特征...

【专利技术属性】
技术研发人员：齐煜，戴明甫，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41