一种日志存储系统和方法技术方案

本发明专利技术提供了一种日志存储系统和方法，包括多个应用节点和至少一个中心节点；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；所述应用节点，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；所述中心节点，用于对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。能够防止云平台中的日志丢失。

A log storage system and method

The invention provides a log storage system and method, including a plurality of application nodes and at least one central node; wherein each application node in the deployment of the log collection process and at least one application, each node is connected with at least one application node communication; the application nodes for log data by the the log collection of real-time process generated in the application in the operation process, and through the log collection process will be sent to the log data collection application node establishes communication center node connection; the central node, for the integration of application log data of nodes, and the log data integration after storage. Can prevent log loss in cloud platform.

【技术实现步骤摘要】
一种日志存储系统和方法
本专利技术涉及云存储
，具体而言，涉及一种日志存储系统和方法。
技术介绍
随着云计算技术和互联网技术的发展，越来越多的企业将应用部署在云平台上。在云平台上，可以按需服务和动态分配资源，也就是说，部署在云平台之上的应用，其所占用的资源是可以随着实际需求动态变化的。当部署在云平台之上的应用在低负载情况时，根据云平台的伸缩性特点，多余的计算机资源(如服务器、存储、应用软件、服务等)就会被释放，此时，存储在计算机资源上的各种日志也会丢失，如，记录用户对应用的使用情况的应用日志、记录系统运行情况的系统日志、记录系统安全相关的信息的安全日志等日志。而日志对于追踪应用使用情况、系统运行情况、以及系统安全情况有着至关重要的作用，因此，防止日志丢失就显示至关重要。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种日志存储系统和方法，用于解决现有技术中在云平台中日志容易丢失的问题。第一方面，本专利技术实施例提供一种日志存储系统，该系统包括多个应用节点和至少一个中心节点；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；所述应用节点，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；所述中心节点，用于对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。可选地，所述中心节点还用于：在对日志数据进行整合之前，对所述多个应用节点的日志数据进行数据清洗；所述中心节点，具体用于基于日志数据中的用户操作行为记录，进行用户识别；以及针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，使所述日志数据以用户会话为单位进行存储。可选地，所述中心节点，具体用于针对注册用户，通过所述注册用户的注册信息进行用户识别；针对非注册用户，通过所述非注册用户产生操作行为时使用的互联网协议IP地址信息进行用户识别。可选地，所述中心节点具体用于针对识别的每个用户，根据以下步骤进行会话识别：根据对应日志数据中该用户的操作行为记录对应的操作时间，将各条操作行为记录按照时间顺序排序；在排序后的各条操作行为记录中，将符合预设条件的至少一条操作行为记录确定为一条用户会话；其中，针对一条用户会话包括一条操作行为记录的情况，所述预设条件包括：该一条操作行为记录对应的操作时间与其相邻前一条操作行为记录以及相邻后一条操作行为记录分别对应的操作时间之间的时间差均大于设定阈值；针对一条用户会话包括至少两条操作行为记录的情况，所述预设条件包括：所述至少两条操作行为记录中，每相邻两条操作行为记录对应的操作时间之间的时间差均不大于设定阈值，且所述至少两条操作行为记录中最早操作行为记录对应的操作时间与其相邻前一条操作行为记录对应的操作时间之间的时间差大于设定阈值，且所述至少两条操作行为记录中最晚操作行为记录对应的操作时间与其相邻后一条操作行为记录对应的操作时间之间的时间差大于设定阈值。可选地，所述系统还包括：至少一个分片存储节点；所述中心节点，具体用于将所述整合后的日志数据划分为多个日志数据片段，并提取每个日志数据片段对应的关键字信息；按照预设分配原则将日志数据片段分别存储到对应的分片存储节点；并每个日志数据片段的关键字信息与该日志数据片段存储位置之间的对应关系存储。可选地，所述系统还包括：至少一个查询节点、至少一个路由节点、以及至少一个配置节点；所述中心节点，具体用于将所述对应关系存储到所述配置节点；所述查询节点，用于接收用户发送的日志数据查询请求，并将所述日志数据查询请求转发给对应的路由节点；所述路由节点，用于从接收的查询请求中提取所查询日志数据对应的关键字信息；并根据提取的关键字信息查询配置节点，确定存储有对应日志数据片段的至少一个分片存储节点；以及从确定的分片存储节点中获取对应的日志数据片段；将获取的日志数据片段组合后发送给所述查询节点。可选地，将所述至少一个分片存储节点作为主分片存储节点，为每个主分片存储节点设置至少一个从分片存储节点，所述从分片存储节点，用于对所述主分片存储节点存储的内容进行备份；所述路由节点，具体用于在根据提取的关键字信息查询配置节点之后，根据存储的路由信息，确定存储有对应日志数据片段的从分片存储节点中，路由最短的从分片存储节点；以及从路由最短的从分片存储节点中获取日志数据片段。第二方面，本专利技术实施例提供一种日志存储方法，应用于包括多个应用节点和至少一个中心节点的日志存储系统；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；该方法包括：所述应用节点通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；所述中心节点对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。可选地，在所述中心节点对接收的应用节点的日志数据进行整合之前，还包括：所述中心节点对所述多个应用节点的日志数据进行数据清洗；所述中心节点基于日志数据中的用户操作行为记录，进行用户识别；以及针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，使所述日志数据以用户会话为单位进行存储。可选地，所述中心节点针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，包括：所述中心节点根据对应日志数据中该用户的操作行为记录对应的操作时间，将各条操作行为记录按照时间顺序排序；在排序后的各条操作行为记录中，将符合预设条件的至少一条操作行为记录确定为一条用户会话；其中，针对一条用户会话包括一条操作行为记录的情况，所述预设条件包括：该一条操作行为记录对应的操作时间与其相邻前一条操作行为记录以及相邻后一条操作行为记录分别对应的操作时间之间的时间差均大于设定阈值；针对一条用户会话包括至少两条操作行为记录的情况，所述预设条件包括：所述至少两条操作行为记录中，每相邻两条操作行为记录对应的操作时间之间的时间差均不大于设定阈值，且所述至少两条操作行为记录中最早操作行为记录对应的操作时间与其相邻前一条操作行为记录对应的操作时间之间的时间差大于设定阈值，且所述至少两条操作行为记录中最晚操作行为记录对应的操作时间与其相邻后一条操作行为记录对应的操作时间之间的时间差大于设定阈值。本专利技术实施例的日志存储系统和方法，包括多个应用节点和至少一个中心节点；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；所述应用节点，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；所述中心节点，用于对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。本专利技术实施例提供的日志存储系统为每个应用节点部署日志收集进程，实时收集对应应用运行过程中产生的日志数据，并及时发送给中心节点，与现有云平台中日志数据存储相比，可有效防止主机在低负载运行的情况下，由于计算机资源被释放，导致日志数据丢失的情况本文档来自技高网...

【技术保护点】
一种日志存储系统，其特征在于，该系统包括多个应用节点和至少一个中心节点；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；所述应用节点，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；所述中心节点，用于对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。

【技术特征摘要】
1.一种日志存储系统，其特征在于，该系统包括多个应用节点和至少一个中心节点；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；所述应用节点，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；所述中心节点，用于对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。2.如权利要求1所述的系统，其特征在于，所述中心节点还用于：在对日志数据进行整合之前，对所述多个应用节点的日志数据进行数据清洗；所述中心节点，具体用于基于日志数据中的用户操作行为记录，进行用户识别；以及针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，使所述日志数据以用户会话为单位进行存储。3.如权利要求2所述的系统，其特征在于，所述中心节点，具体用于针对注册用户，通过所述注册用户的注册信息进行用户识别；针对非注册用户，通过所述非注册用户产生操作行为时使用的互联网协议IP地址信息进行用户识别。4.如权利要求2所述的系统，其特征在于，所述中心节点具体用于针对识别的每个用户，根据以下步骤进行会话识别：根据对应日志数据中该用户的操作行为记录对应的操作时间，将各条操作行为记录按照时间顺序排序；在排序后的各条操作行为记录中，将符合预设条件的至少一条操作行为记录确定为一条用户会话；其中，针对一条用户会话包括一条操作行为记录的情况，所述预设条件包括：该一条操作行为记录对应的操作时间与其相邻前一条操作行为记录以及相邻后一条操作行为记录分别对应的操作时间之间的时间差均大于设定阈值；针对一条用户会话包括至少两条操作行为记录的情况，所述预设条件包括：所述至少两条操作行为记录中，每相邻两条操作行为记录对应的操作时间之间的时间差均不大于设定阈值，且所述至少两条操作行为记录中最早操作行为记录对应的操作时间与其相邻前一条操作行为记录对应的操作时间之间的时间差大于设定阈值，且所述至少两条操作行为记录中最晚操作行为记录对应的操作时间与其相邻后一条操作行为记录对应的操作时间之间的时间差大于设定阈值。5.如权利要求1-4中任一项所述的系统，其特征在于，所述系统还包括：至少一个分片存储节点；所述中心节点，具体用于将所述整合后的日志数据划分为多个日志数据片段，并提取每个日志数据片段对应的关键字信息；按照预设分配原则将日志数据片段分别存储到对应的分片存储节点；并将每个日志数据片段的关键字信息与该日志数据片段存储位置之间的对应关系存储。6.如权利要求5所述的系统，其特征在于，所述系统还包括：至少一个查询节点、至少一个路由节点、以及至少一个配置节点；所述中心节点，具体用于将所述对应关系存储到所述配置节点；所述查询节点，用于接收用户发送的日志数据查询请求，并将所述日志数...

【专利技术属性】
技术研发人员：陈进宝，刘希，唐妍，
申请(专利权)人：国信优易数据有限公司，
类型：发明
国别省市：北京,11