日志存储方法和分布式系统技术方案

本发明专利技术公开了一种日志存储方法和分布式系统。其中，该方法包括：客户端采集用户访问日志数据；服务器接收用户访问日志数据，并确定与用户访问日志数据对应的业务项目，其中，服务器上设置有多个存储点；服务器统计用户访问日志数据的数据量；服务器依据业务项目和数据量，确定存储用户访问日志数据的目标存储点；服务器将用户访问日志数据存储至目标存储点。

【技术实现步骤摘要】
日志存储方法和分布式系统
本专利技术涉及分布式存储
，具体而言，涉及一种日志存储方法和分布式系统。
技术介绍
在相关技术中，对于单体项目或者分布式项目中，经常会对用户访问日志记录进行采集，并存储采集到的用户访问日志记录，在现有的方案中，对用户访问日志记录采集的方式是利用不同客户端的采集逻辑进行采集，然后将用户访问日志记录进行相同逻辑的存储，其存储的数据基本相同，这样会造成存储代码重复，造成存储用户访问日志数据混乱的情况，而且需要针对不同的客户端采集的方案不同，需要针对每种客户端采用对应的存储方案，存储方式差异较大，需要后台节点花费较多的线程处理不同客户端的采集到的用户日志数据。针对上述的相关技术中对于不同客户端采集的用户访问日志数据，在存储数据时容易造成存储数据混乱且数据容易重复的技术问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种日志存储方法和分布式系统，以至少解决相关技术中对于不同客户端采集的用户访问日志数据，在存储数据时容易造成存储数据混乱且数据容易重复的技术问题。根据本专利技术实施例的一个方面，提供了一种日志存储方法，包括：客户端采集用户访问日志数据；服务器接收所述用户访问日志数据，并确定与所述用户访问日志数据对应的业务项目，其中，所述服务器上设置有多个存储点；所述服务器统计所述用户访问日志数据的数据量；所述服务器依据所述业务项目和所述数据量，确定存储所述用户访问日志数据的目标存储点；所述服务器将所述用户访问日志数据存储至所述目标存储点。<br>进一步地，所述客户端为多个，每个所述客户端采集所述用户访问日志数据的采集逻辑不同；所述服务器为一个，所述服务器存储每个所述客户端采集到的所述用户访问日志数据的存储逻辑相同。进一步地，日志存储方法还包括：所述服务器将存储所述用户访问日志数据的存储逻辑打包为可执行文件，其中，所述可执行文件用于存储所述用户访问日志数据；所述服务器根据所述可执行文件提供对存储在所述服务器上的所述用户访问日志数据进行检索操作。进一步地，日志存储方法还包括：所述服务器在接收到所述用户访问日志数据后，通过预设应用程序界面API调用所述存储逻辑，以将所述用户访问日志数据存储至所述目标存储点。进一步地，日志存储方法还包括：所述服务器将所述用户访问日志数据分类，得到多个分类日志数据，其中，每个所述存储点存储一个所述分类日志数据。进一步地，所述服务器将所述用户访问日志数据分类，得到多个分类日志数据包括：所述服务器按照预先设置的多个时间段对所述用户访问日志数据分类；所述服务器按照预先设置的多个分类级别对所述用户访问日志数据分类，其中，所述多个分类级别至少包括：调试级别、错误级别、执行级别。进一步地，日志存储方法还包括：所述客户端在采集到所述用户访问日志数据后，建立消息队列，并将所述消息队列放入预设的传输通道；所述服务器监听所述传输通道中是否有所述消息队列，并在监听到所述消息队列后，将所述消息队列对应的用户访问日志数据存储至目标存储点。根据本专利技术实施例的另一个方面，还提供了一种分布式系统，包括：至少一个日志采集模块，设置于客户端上，用于采集用户访问日志数据；第一确定模块，用于确定所述用户访问日志数据的所属业务项目；统计模块，用于统计所述用户访问日志数据的数据量；第二确定模块，用于依据所述所属业务项目和所述数据量，确定存储所述用户访问日志数据的目标存储点，其中，所述目标存储点设置于服务器上，在所述服务器上设置多个存储点；日志存储模块，用于将所述用户访问日志数据存储至所述目标存储点。进一步地，所述客户端为多个，每个所述客户端采集所述用户访问日志数据的采集逻辑不同；所述服务器为一个，所述服务器存储每个所述客户端采集到的所述用户访问日志数据的存储逻辑相同。进一步地，所述日志存储模块包括：分类单元，用于将所述用户访问日志数据分类，得到多个分类子单元，其中，每个所述分类子单元中存储一类所述用户访问日志数据。进一步地，所述分类单元包括：时间分类子单元，用于按照预先设置的多个时间段对所述用户访问日志数据分类；级别分类子单元，用于按照预先设置的多个分类级别对所述用户访问日志数据分类，其中，所述多个分类级别至少包括：调试级别、错误级别、执行级别。进一步地，所述分布式系统还包括：队列模块，与所述至少一个日志采集模块连接，用于建立消息队列；监听模块，与所述队列模块连接，用于监听是否有待处理的所述消息队列，并在监听到所述消息队列后，发送通知消息，其中，所述通知消息用于告知所述日志存储模块将所述用户访问日志数据存储至所述目标存储点。在本专利技术实施例中，在客户端上设置至少一个日志采集模块，以采集用户访问日志数据，并通过服务器来确定用户访问日志数据的所属业务项目，并统计用户访问日志数据的数据量，然后可以依据业务项目和数据量，确定存储用户访问日志数据的目标存储点，其中，目标存储点设置于服务器上，在服务器上设置有多个存储点，可以将用户访问日志数据存储至目标存储点。本专利技术中，可以将数据采集和存储分别设置在客户端和服务器上，并且通过目标存储点来存储日志数据，不同客户端会对应不同的开发语言，这样采集不同的语言记录的用户访问日志数据，并通过日志存储模块来存储用户访问日志数据，将日志存储模块存储的逻辑做成统一的服务端，减少了代码量，这样采集端和存储端分离，不会造成存储数据的混乱，且由于存储的统一性，会使得数据单一化，不会出现数据重复的情况，从而解决相关技术中对于不同客户端采集的用户访问日志数据，在存储数据时容易造成存储数据混乱且数据容易重复的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种分布式系统的示意图；图2是根据本专利技术实施例的一种日志存储方法的流程图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为便于用户理解本专利技术，下面对本专利技术各实施例中涉及的部分术本文档来自技高网...

【技术保护点】
1.一种日志存储方法，其特征在于，包括：/n客户端采集用户访问日志数据；/n服务器接收所述用户访问日志数据，并确定与所述用户访问日志数据对应的业务项目，其中，所述服务器上设置有多个存储点；/n所述服务器统计所述用户访问日志数据的数据量；/n所述服务器依据所述业务项目和所述数据量，确定存储所述用户访问日志数据的目标存储点；/n所述服务器将所述用户访问日志数据存储至所述目标存储点。/n

【技术特征摘要】
1.一种日志存储方法，其特征在于，包括：
客户端采集用户访问日志数据；
服务器接收所述用户访问日志数据，并确定与所述用户访问日志数据对应的业务项目，其中，所述服务器上设置有多个存储点；
所述服务器统计所述用户访问日志数据的数据量；
所述服务器依据所述业务项目和所述数据量，确定存储所述用户访问日志数据的目标存储点；
所述服务器将所述用户访问日志数据存储至所述目标存储点。


2.根据权利要求1所述的方法，其特征在于，所述客户端为多个，每个所述客户端采集所述用户访问日志数据的采集逻辑不同；所述服务器为一个，所述服务器存储每个所述客户端采集到的所述用户访问日志数据的存储逻辑相同。


3.根据权利要求2所述的方法，其特征在于，还包括：
所述服务器将存储所述用户访问日志数据的存储逻辑打包为可执行文件，其中，所述可执行文件用于存储所述用户访问日志数据；
所述服务器根据所述可执行文件提供对存储在所述服务器上的所述用户访问日志数据进行检索操作。


4.根据权利要求2所述的方法，其特征在于，还包括：
所述服务器在接收到所述用户访问日志数据后，通过预设应用程序界面API调用所述存储逻辑，以将所述用户访问日志数据存储至所述目标存储点。


5.根据权利要求1所述的方法，其特征在于，还包括：
所述服务器将所述用户访问日志数据分类，得到多个分类日志数据，其中，每个所述存储点存储一个所述分类日志数据。


6.根据权利要求5所述的方法，其特征在于，所述服务器将所述用户访问日志数据分类，得到多个分类日志数据包括：
所述服务器按照预先设置的多个时间段对所述用户访问日志数据分类；
...

【专利技术属性】
技术研发人员：唐铨，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11