一种日志数据处理的方法、电子设备和可读存储介质技术

本发明专利技术涉及一种日志数据处理的方法、电子设备和可读存储介质，该方法包括：持续监听第一操作系统所在的第一服务器下的目标日志文件，根据目标日志文件的列表、目标日志文件的字节数的变化来判断是否有新的日志数据产生；如果有，读取新的日志数据，在新的日志数据中添加第一服务器的代码和配置标识以形成待传输日志数据，并将待传输日志数据转化为系统日志协议的格式；通过套接字将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。本发明专利技术提供的一种日志数据处理的方法、电子设备和可读存储介质，能够监控多源日志文件，并实现多源日志数据的跨系统转发，提高业务灵活性和扩展性。

A method of log data processing, electronic device and readable storage medium

The invention relates to a method of log data processing, electronic equipment and readable storage medium, the method comprises: continuously monitor the first operating system where the first server target log file, according to the change of the number of bytes list, target log file target log file to determine whether the log data of new generation; if read the log data, add new code and configuration, identifies the first server in log data in order to form a new log data to be transmitted, the transmitting log data into system log protocol format; through the designated port socket will be transformed to be sent to the second operating system log data transmission in the second server. A log data processing method, the invention provides electronic equipment and readable storage medium, can monitor multiple log files, and achieve cross system forwarding multi-source log data, improve business flexibility and scalability.

【技术实现步骤摘要】
一种日志数据处理的方法、电子设备和可读存储介质
本专利技术涉及数据处理
，尤其涉及一种日志数据处理的方法、电子设备和可读存储介质。
技术介绍
随着大数据时代的到来，诸如智能设备、云计算和物联网等的课题革新成为互联网技术行业新的技术革命。其中，日志数据作为各种智能设备的信息输出，是人与机器之间联系的重要渠道。随着计算机技术的迅猛发展，各类应用系统产生的日志数据呈现指数式的增长，如何从海量的日志数据中及时发现有价值的信息已经成为当前研究的重要课题。目前，处理海量数据的技术不断成长和创新，但是主要的技术手段仍集中在Linux操作系统下，Linux操作系统是基于UNIX操作系统发展而来的系统，相比之下，Windows系统的分布更为广泛，所包括的应用程序及生成的日志规模也更为巨大，对Windows系统的日志的分析具有更重大的价值和意义。但是，对于Windows系统来说，日志数据分析存在跨操作系统的障碍，如何实现高效的跨系统收集日志数据是进行日志数据分析的前提。系统日志(英文：Syslog)协议是在网络之间互连协议(英文：InternetProtocol，缩写：IP)网络中转发系统日志数据的工业标准协议。日志工具Rsyslog作为日志采集工具，扩展了Syslog协议，可用于监控本地日志并通过网络转发数据。基于此，本专利技术的专利技术人发现，Rsyslog只能处理单一日志文件，不能监控多源日志文件，在大量的日志管理任务场景下缺乏灵活性和扩展性。公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
有鉴于此，本专利技术要解决的技术问题是，如何提供一种日志数据处理的方法、电子设备和可读存储介质能够监控多源日志文件，并实现多源日志数据的跨系统转发，提高业务的灵活性和扩展性。为解决以上技术问题，本专利技术在第一方面提供一种日志数据处理的方法，包括：持续监听第一操作系统所在的第一服务器下的目标日志文件，根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生；当有新的日志数据产生时，读取所述新的日志数据，在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据，并将所述待传输日志数据转化为系统日志syslog协议的格式；通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。在一种可能的实现方式中，所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括：同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹，对所述多个目标文件夹作并行处理，并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。在一种可能的实现方式中，所述读取所述新的日志数据包括：获取新的日志数据产生的目标日志文件的列表、所述新的日志数据产生的目标日志文件的上次终止位置和所述新的日志数据产生的目标日志文件的本次终止位置；从所述新的日志数据产生的目标日志文件的上次终止位置逐行读取日志数据，直到所述新的日志数据产生的目标日志文件的本次终止位置。在一种可能的实现方式中，所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括：当数据传输发生错误时，动态设定socket重联的启动时间，所述socket重联的启动时间随所述错误的次数增加而增加。在一种可能的实现方式中，所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括：当数据传输发生错误时，返回到错误发生前的所述转化后的待传输日志数据的数据终止节点，并从所述数据终止节点开始，重新将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。由此，本专利技术提供的一种日志数据处理的方法能够监控多源日志文件，并实现多源日志数据的跨系统转发，提高业务灵活性和扩展性，为快速发现操作系统和应用程序问题、提升服务效率提供可行的解决方案。为解决以上技术问题，本专利技术在第二方面提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行：持续监听第一操作系统所在的第一服务器下的目标日志文件，根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生；当有新的日志数据产生时，读取所述新的日志数据，在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据，并将所述待传输日志数据转化为系统日志syslog协议的格式；通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。在一种可能的实现方式中，所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括：同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹，对所述多个目标文件夹作并行处理，并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。在一种可能的实现方式中，所述读取所述新的日志数据包括：获取新的日志数据产生的目标日志文件的列表、所述新的日志数据产生的目标日志文件的上次终止位置和所述新的日志数据产生的目标日志文件的本次终止位置；从所述新的日志数据产生的目标日志文件的上次终止位置逐行读取日志数据，直到所述新的日志数据产生的目标日志文件的本次终止位置。在一种可能的实现方式中，所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括：当数据传输发生错误时，动态设定socket重联的启动时间，所述socket重联的启动时间随所述错误的次数增加而增加。在一种可能的实现方式中，所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括：当数据传输发生错误时，返回到错误发生前的所述转化后的待传输日志数据的数据终止节点，并从所述数据终止节点开始，重新将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。由此，本专利技术提供的一种电子设备能够监控多源日志文件，并实现多源日志数据的跨系统转发，提高业务灵活性和扩展性，为快速发现操作系统和应用程序问题、提升服务效率提供可行的解决方案。为解决以上技术问题，本专利技术在第三方面提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于：持续监听第一操作系统所在的第一服务器下的目标日志文件，根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生；当有新的日志数据产生时，读取所述新的日志数据，在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据，并将所述待传输日志数据转化为系统日志syslog协议的格式；通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。在一种可能的实现方式中，所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括：同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹，对所述多个目标文件本文档来自技高网...

【技术保护点】
一种日志数据处理的方法，其特征在于，包括：持续监听第一操作系统所在的第一服务器下的目标日志文件，根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生；当有新的日志数据产生时，读取所述新的日志数据，在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据，并将所述待传输日志数据转化为系统日志syslog协议的格式；通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。

【技术特征摘要】
1.一种日志数据处理的方法，其特征在于，包括：持续监听第一操作系统所在的第一服务器下的目标日志文件，根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生；当有新的日志数据产生时，读取所述新的日志数据，在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据，并将所述待传输日志数据转化为系统日志syslog协议的格式；通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。2.根据权利要求1所述的方法，其特征在于，所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括：同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹，对所述多个目标文件夹作并行处理，并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。3.根据权利要求1所述的方法，其特征在于，所述读取所述新的日志数据包括：获取新的日志数据产生的目标日志文件的列表、所述新的日志数据产生的目标日志文件的上次终止位置和所述新的日志数据产生的目标日志文件的本次终止位置；从所述新的日志数据产生的目标日志文件的上次终止位置逐行读取日志数据，直到所述新的日志数据产生的目标日志文件的本次终止位置。4.根据权利要求1所述的方法，其特征在于，所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括：当数据传输发生错误时，动态设定socket重联的启动时间，所述socket重联的启动时间随所述错误的次数增加而增加。5.根据权利要求1所述的方法，其特征在于，所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括：当数据传输发生错误时，返回到错误发生前的所述转化后的待传输日志数据的数据终止节点，并从所述数据终止节点开始，重新将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。6.一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行：持续监听第一操作系统所在的第一服务器下的目标日志文件，根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生；当有新的日志数据产生时，读取所述新的日志数据，在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据，并将所述待传输日志数据转化为系统日志syslog协议的格式；通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。7.根据权利要求6所述的电子设备，其特征在于，所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括：同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹，对所述多个目标文件夹作并行处理，并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。8.根据权利要求6所述的电子设备，其特征在于，所述读取所述新的日志数据包括：获取新的日志数据产生的目标日志文件的列表...

【专利技术属性】
技术研发人员：熊梓锴，刘丰，唐旭，郑志钰，李人则，
申请(专利权)人：北京开数科技有限公司，
类型：发明
国别省市：北京,11