【技术实现步骤摘要】
本专利技术涉及互联网
，具体涉及一种日志收集系统。
技术介绍
互联网时代的后台数据非常重要而且庞大，比如日志数据和统计数据。这些后台数据可能是后台工程师分析程序运行状况的第一手资料，也可能是业务运营决策所依赖的第一参考。然而大流量的网站一般都有上千万台生产服务器，且分布于各个不同的机房。日志文件或统计数据就会存放在这些网络异构且分布零散的生产服务器上，给日志的收集、传输、汇总及分析带来很大的困难。目前有一些开源的软件可以用来收集这些日志，但也存 在着很多不能解决的情况。目前较为常用的一些开源软件例如Scribe，可以达到简单收集日志数据的目的。Scribe是当前的一个大型的社交网络服务网站的开源的日志收集系统，在该大型的社交网络服务网站内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统(可以是NFS，分布式文件系统HDFS等)上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置，当中央存储系统恢复后，scri...
【技术保护点】
一种日志收集系统，包括：服务器端和部署于不同生产服务器上的多个客户端，所述客户端，适于获取生产服务器所产生的对应不同类别业务的数据，并将特定标识的数据归并为一条数据后发送给所述服务器端；所述服务器端，适于从各客户端接收数据，并进行存储或转发。
【技术特征摘要】
1.一种日志收集系统，包括服务器端和部署于不同生产服务器上的多个客户端， 所述客户端，适于获取生产服务器所产生的对应不同类别业务的数据，并将特定标识的数据归并为一条数据后发送给所述服务器端； 所述服务器端，适于从各客户端接收数据，并进行存储或转发。2.如权利要求I所述的系统，其中，所述客户端包括数据获取单元、归并处理单元和多个存储单元，所述多个存储单元分别对应不同类别的业务，且每个存储单元都有一个对应的定时周期； 所述数据获取单元，适于从生产服务器获取对应不同类别业务的数据，将所获取的数据按照对应的不同类别的业务分发到对应的存储单元进行保存；其中，每条数据包含一个以上的字段，不同的字段具有不同的类型，且每条数据的至少一个字段标识有关键码；每个存储单元，适于保存来自数据获取单元的数据； 所述归并处理单元，适于在每个存储单元对应的定时周期结束时，将该存储单元所保存的数据中的标识有关键码的字段的值相同的数据归并为一条数据后发送给服务器端。3.如权利要求2所述的系统，其中， 所述归并处理单元，进一步适于在每种类别业务对应的定时周期结束时，将所保存的该类别业务...
【专利技术属性】
技术研发人员：张珂，郝国梁，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。