一种采集数据的方法以及装置制造方法及图纸

本发明专利技术为一种采集数据的方法以及装置，实施例公开了一种接收客户端发送的交互命令；所述服务器判断是否是所述交互命令的结束命令；若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。从而可以准确的展示集群数据量统计信息和数据集统计数据，并且可以对各集群运行情况、处理速度和硬件资源占用情况进行实时监控。

【技术实现步骤摘要】
一种采集数据的方法以及装置
本专利技术实施例涉及数据处理的
，尤其涉及一种采集数据的方法以及装置。
技术介绍
在大数据产品运维日常工作中，经常会出现数据异常的情况，在分析这些异常原因时，发现数据会在很多环节出错，比如YCL、kafka、storm、solr、Hadoop等。而定位这些原因往往会花费开发人员很大的精力，有时甚至会出现查找一个原因团队所有人都出动的情况。通过逐项排查各节点查找数据异常的方法越来越困难，效率也很低。
技术实现思路
本专利技术实施例的目的在于提出一种采集数据的方法以及装置，旨在解决需要开发出一套高效、可靠、具有整合性的运维产品。为达此目的，本专利技术实施例采用以下技术方案：第一方面，一种采集数据的方法，所述方法包括：服务器接收客户端发送的交互命令；所述服务器判断是否是所述交互命令的结束命令；若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。可选地，所述方法还包括：当所述客户端发起所述交互命令时，所述客户端根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头。可选地，所述服务器与所述客户端交互、发送日志，包括：所述服务器根据所述消息头的内容，所述服务器获取对应类型或者路径下的日志。可选地，所述方法还包括：若所述消息头是实时类型的消息，所述客户端需将通信协议中的时间间隔指定为目标更新时间。可选地，所述服务器与所述客户端交互、发送日志，包括：若所述消息头是实时类型的消息，则所述服务器采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。可选地，所述方法还包括：若所述服务器判断不是所述交互命令的结束命令，则所述服务器退出采集数据的流程。第二方面，一种采集数据的装置，所述装置包括：接收模块，用于接收客户端发送的交互命令；判断模块，用于判断是否是所述交互命令的结束命令；发送模块，用于若所述服务器判断是所述交互命令的结束命令，则根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。可选地，所述装置还包括：创建模块，用于当所述客户端发起所述交互命令时，根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头；所述发送模块，具体用于：根据所述消息头的内容，获取对应类型或者路径下的日志。可选地，所述装置还包括：处理模块，用于若所述消息头是实时类型的消息，需将通信协议中的时间间隔指定为目标更新时间；所述发送模块，具体用于：若所述消息头是实时类型的消息，则采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。可选地，所述装置还包括：退出模块，用于若所述服务器判断不是所述交互命令的结束命令，则退出采集数据的流程。本专利技术实施例的有益效果为：可以准确的展示集群数据量统计信息和数据集统计数据，并且可以对各集群运行情况、处理速度和硬件资源占用情况进行实时监控。作为数据中心平台必不可少的辅助监测工具，不仅能为运维人员提供高效、可靠的数据反馈，减少集群发生问题时的故障排除时间，且为以后运维功能的逐渐完善打造了一个良好的基础。附图说明图1是本专利技术实施例提供的一种采集数据的方法的流程示意图；图2是本专利技术实施例提供的一种采集数据的方法的交互流程示意图；图3是本专利技术实施例提供的一种采集数据的装置的功能模块示意图。具体实施方式下面结合附图和实施例对本专利技术实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术实施例，而非对本专利技术实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术实施例相关的部分而非全部结构。参考图1，图1是本专利技术实施例提供的一种采集数据的方法的流程示意图。如图1所示，所述采集数据的方法包括：步骤110，服务器接收客户端发送的交互命令；步骤120，所述服务器判断是否是所述交互命令的结束命令；步骤130，若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。第一种方式：所述方法还包括：当所述客户端发起所述交互命令时，所述客户端根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头。所述服务器与所述客户端交互、发送日志，包括：所述服务器根据所述消息头的内容，所述服务器获取对应类型或者路径下的日志。第二种方式：所述方法还包括：若所述消息头是实时类型的消息，所述客户端需将通信协议中的时间间隔指定为目标更新时间。所述服务器与所述客户端交互、发送日志，包括：若所述消息头是实时类型的消息，则所述服务器采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。可选地，所述方法还包括：若所述服务器判断不是所述交互命令的结束命令，则所述服务器退出采集数据的流程。示例性的，当程序启动后会读取并保存配置文件中的相关信息，当client发起获取数据时，根据保存的配置文件中相关的serverip、采集日志类型、日志路径来创建对server端的连接，并根据这些信息组织通信协议的消息头，如果是实时类型的消息，还需将通信协议中的时间间隔指定为目标更新时间；server端根据接收到的通信协议消息头中的内容，去获取相应类型、相应路径下的日志。如果是实时日志就取相应时间段内的日志，如果是前一天类型日志就取其一天的日志，server端采集到日志后，根据所需的数据类型，将相应的数据通过数据传输发送给client端。示例性的，如图2所示，步骤210，服务器接收客户端发送的交互命令；步骤220，服务器判断是否是交互命令的接收命令；步骤230，若否，则服务器根据接收到的客户端发送的协议头中的日志类型、日志路径等信息，与客户端开始交互、发送日志；步骤240，若是，则退出。本专利技术实施例的有益效果为：可以准确的展示集群数据量统计信息和数据集统计数据，并且可以对各集群运行情况、处理速度和硬件资源占用情况进行实时监控。作为数据中心平台必不可少的辅助监测工具，不仅能为运维人员提供高效、可靠的数据反馈，减少集群发生问题时的故障排除时间，且为以后运维功能的逐渐完善打造了一个良好的基础。参考图3，图3是本专利技术实施例提供的一种采集数据的装置的功能模块示意图。如图3所示，所述采集数据的装置包括：接收模块310，用于接收客户端发送的交互命令；判断模块320，用于判断是否是所述交互命令的结束命令；发送模块330，用于若所述服务器判断是所述交互命令的结束命令，则根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。第一种方式：所述装置还包括：创建模块，用于当所述客户端发起所述交互命令时，根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头；所述发送模块330，具体用于：根据所述消息头的内容，获取对应类型或者路径下的日志。第二种方式：所述装置还包括：处理模块，用于若所述消息头是实时类型的消息，需将通信协议中的时间间隔指定为目标更新时间；所述发送模块330，具体本文档来自技高网...

【技术保护点】
一种采集数据的方法，其特征在于，所述方法包括：服务器接收客户端发送的交互命令；所述服务器判断是否是所述交互命令的结束命令；若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。

【技术特征摘要】
1.一种采集数据的方法，其特征在于，所述方法包括：服务器接收客户端发送的交互命令；所述服务器判断是否是所述交互命令的结束命令；若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述客户端发起所述交互命令时，所述客户端根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头。3.根据权利要求2所述的方法，其特征在于，所述服务器与所述客户端交互、发送日志，包括：所述服务器根据所述消息头的内容，所述服务器获取对应类型或者路径下的日志。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述消息头是实时类型的消息，所述客户端需将通信协议中的时间间隔指定为目标更新时间。5.根据权利要求4所述的方法，其特征在于，所述服务器与所述客户端交互、发送日志，包括：若所述消息头是实时类型的消息，则所述服务器采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：若所述服务器判...

【专利技术属性】
技术研发人员：黄朝顺，万月亮，王梅，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京,11