本发明专利技术实施例提供一种日志传输方法及装置，所述方法包括：监听并获取日志数据；将监听获取到的日志数据依次转存到数据转存队列中；从所述数据转存队列中读取日志数据，根据包含日志的存储类型和日志存储服务器的对应关系的日志类型配置对应表，确定所述日志数据需要存储的对应的日志存储服务器，将所述日志数据发送到对应的日志存储服务器上。上述技术方案具有如下有益效果：降低了日志产生业务方的接入门槛，解决了现有技术特定协议的接入不灵活的问题和日志消息实时性的问题，顺便解决了日志吞吐量的问题，最终使得业务方随便选择一个自己团队熟悉的接入方式即可，不再需要业务方考虑日志消息的实时性问题和日志存储服务对接方式的解决方案。
【技术实现步骤摘要】
本专利技术涉及网络日志
，尤其涉及一种日志传输方法及装置。
技术介绍
现有技术在日志传输方面一般都是开源解决方案，如Scribe(Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用)、Flume(Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据)或者通过编写脚本将本地文件定期传输到处理节点上，对于有些属于事务类型的日志，这些方式传输无法达到实时传输，trace(追踪)类型的日志可以用以上方式传输，但是如果日志传输用两套解决方案势必会增加业务团队的工作量，维护成本也会随之增加。
技术实现思路
本专利技术实施例提供一种日志传输方法及装置，以降低日志产生业务方的接入门槛。一方面，本专利技术实施例提供了一种日志传输方法，所述方法包括：监听并获取日志数据；将监听获取到的日志数据依次转存到数据转存队列中；从所述数据转存队列中读取日志数据，根据包含日志的存储类型和日志存储服务器的对应关系的日志类型配置对应表，确定所述日志数据需要存储的对应的日志存储服务器，将所述日志数据发送到对应的日志存储服务器上。另一方面，本专利技术实施例提供了一种日志传输装置，所述装置包括：日志数据获取单元，用于监听并获取日志数据；数据转存队列单元，用于将监听获取到的日志数据依次转存到数据转存队列中；<br>日志存储适配单元，用于从所述数据转存队列中读取日志数据，根据包含日志的存储类型和日志存储服务器的对应关系的日志类型配置对应表，确定所述日志数据需要存储的对应的日志存储服务器，将所述日志数据发送到对应的日志存储服务器上。上述技术方案具有如下有益效果：降低了日志产生业务方的接入门槛，解决了现有技术特定协议的接入不灵活的问题和日志消息实时性的问题，顺便解决了日志吞吐量的问题，最终使得业务方随便选择一个自己团队熟悉的接入方式即可，不再需要业务方考虑日志消息的实时性问题和日志存储服务对接方式的解决方案。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一种日志传输方法流程图；图2为本专利技术实施例一种日志传输装置结构示意图；图3为本专利技术实施例一种日志数据获取单元结构示意图；图4为本专利技术实施例另一种日志传输装置结构示意图；图5为本专利技术应用实例一种日志传输流程示意图；图6为本专利技术应用实例日志数据的统一的数据封装数据格式示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，为本专利技术实施例一种日志传输方法流程图，所述方法包括：101、监听并获取日志数据；102、将监听获取到的日志数据依次转存到数据转存队列中；103、从所述数据转存队列中读取日志数据，根据包含日志的存储类型和日志存储服务器的对应关系的日志类型配置对应表，确定所述日志数据需要存储的对应的日志存储服务器，将所述日志数据发送到对应的日志存储服务器上。优选地，所述日志数据包括：不同的网络协议数据、发生变更的目录或文件数据。优选地，监听并获取所述不同的网络协议数据具体包括：监听并获取超文本传输协议Http数据；监听并获取分布式的高速缓存系统使用的应用层协议Memcache数据；监听并获取公司内部应用层通讯协议Adhead数据。优选地，监听并获取所述不同的网络协议数据后，所述方法还包括：对不同的网络协议数据分别进行网络协议适配，然后进行网络协议解析，获得需要传输的日志数据；将解析出的不同的网络协议数据对应的需要传输的日志数据和所述发生变更的目录或文件数据，封装为一个统一的数据格式，然后再依次转存到所述数据转存队列中。优选地，所述统一的数据格式包括：日志的存储类型，要转存的日志数据，用于保证时序一致的哈希身份标识号hashid。如图2所示，为本专利技术实施例一种日志传输装置结构示意图，所述装置包括：日志数据获取单元21，用于监听并获取日志数据；数据转存队列单元22，用于将监听获取到的日志数据依次转存到数据转存队列中；日志存储适配单元23，用于从所述数据转存队列中读取日志数据，根据包含日志的存储类型和日志存储服务器的对应关系的日志类型配置对应表，确定所述日志数据需要存储的对应的日志存储服务器，将所述日志数据发送到对应的日志存储服务器上。优选地，如图3所示，为本专利技术实施例一种日志数据获取单元结构示意图，所述日志数据获取单元21包括：网络数据获取模块211，用于监听并获取不同的网络协议数据；目录文件数据获取模块212，用于监听并获取发生变更的目录或文件数据。优选地，所述网络数据获取模块211，具体用于监听并获取超文本传输协议Http数据；还具体用于监听并获取分布式的高速缓存系统使用的应用层协议Memcache数据；还具体用于监听并获取公司内部应用层通讯协议Adhead数据。优选地，如图4所示，为本专利技术实施例另一种日志传输装置结构示意图，所述装置不但包括日志数据获取单元21、数据转存队列单元22、日志存储适配单元23，还包括：网络协议适配单元24，用于所述日志数据获取单元监听并获取不同的网络协议数据后，对不同的网络协议数据分别进行网络协议适配，然后进行网络协议解析，获得需要传输的日志数据；统一数据格式封装单元25，用于将解析出的不同的网络协议数据对应的需要传输的日志数据和所述发生变更的目录或文件数据，封装为一个统一的数据格式，然后再依次转存到所述数据转存队列中。优选地，所述统一的数据格式包括：日志的存储类型，要转存的日志数据，用于保证时序一致的hashid。本专利技术实施例上述技术方案具有如下有益效果：降低了日志产生业务方的接入门槛，解决了现有技术特定协议的接入不灵活的问题和日志消息实时性的问题，顺便解决了日志吞吐量的问题，最终使得业务方随便选择一个自己团队熟悉的接入方式即可，不再需要业务方考虑日志消息的实时性问题和日志存储服务对接方式的解决方案。...
【技术保护点】
一种日志传输方法，其特征在于，所述方法包括：监听并获取日志数据；将监听获取到的日志数据依次转存到数据转存队列中；从所述数据转存队列中读取日志数据，根据包含日志的存储类型和日志存储服务器的对应关系的日志类型配置对应表，确定所述日志数据需要存储的对应的日志存储服务器，将所述日志数据发送到对应的日志存储服务器上。
【技术特征摘要】
1.一种日志传输方法，其特征在于，所述方法包括：
监听并获取日志数据；
将监听获取到的日志数据依次转存到数据转存队列中；
从所述数据转存队列中读取日志数据，根据包含日志的存储类型和日志存储服务器的
对应关系的日志类型配置对应表，确定所述日志数据需要存储的对应的日志存储服务器，
将所述日志数据发送到对应的日志存储服务器上。
2.如权利要求1所述日志传输方法，其特征在于，所述日志数据包括：
不同的网络协议数据、发生变更的目录或文件数据。
3.如权利要求2所述日志传输方法，其特征在于，监听并获取所述不同的网络协议
数据具体包括：
监听并获取超文本传输协议Http数据；
监听并获取分布式的高速缓存系统使用的应用层协议Memcache数据；
监听并获取公司内部应用层通讯协议Adhead数据。
4.如权利要求3所述日志传输方法，其特征在于，监听并获取所述不同的网络协议
数据后，所述方法还包括：
对不同的网络协议数据分别进行网络协议适配，然后进行网络协议解析，获得需要传
输的日志数据；
将解析出的不同的网络协议数据对应的需要传输的日志数据和所述发生变更的目录
或文件数据，封装为一个统一的数据格式，然后再依次转存到所述数据转存队列中。
5.如权利要求4所述日志传输方法，其特征在于，所述统一的数据格式包括：日志
的存储类型，要转存的日志数据，用于保证时序一致的哈希身份标识号hashid。
6.一种日志传输装置，其特征在于，所述装置包括：
日志数据获取单元，用于监听并获取日志数据；
【专利技术属性】
技术研发人员：郝忠秀，陆勇，王崇，任文越，
申请(专利权)人：微梦创科网络科技中国有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。