日志处理的方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种日志处理的方法、装置、设备及存储介质，涉及计算机技术中的大数据和云计算技术领域，更具体地涉及分布式存储、智能搜索计、数据统计、数据分析等领域。具体实现方案为：通过将用户行为日志存储到第一数据库的实时日志表中，实现用户行为日志实时存储；通过每间隔一个时间段，将前一个时间段内的用户行为日志存储到第二数据库的离线日志表中，并删除实时日志表中前一个时间段的用户行为日志，能够实现用户行为日志的海量存储，通过在第二数据库中建立虚拟视图表，虚拟视图表用于关联实时日志表和离线日志表，能够实现用户行为日志的实时查询，这样，在实现存储海量日志的同时能够实现日志的实时存储和实时查询统计。

【技术实现步骤摘要】
日志处理的方法、装置、设备及存储介质
本申请涉及计算机技术中的大数据和云计算
，更具体地涉及分布式存储和智能搜索。本申请提供了一种日志处理的方法、装置、设备及存储介质。
技术介绍
随着互联网技术飞速发展，互联网各种服务已经变成人们生活中不可或缺的一部分。每天各种应用服务，如游戏、电商、垂类、feed流、搜索、即时通讯等各种应用都产生了大量的用户行为日志，分析这些用户行为日志可以帮助企业更好的理解用户，推荐更合适的信息来满足用户需求，也能满足企业自身的数据统计需求。常规的实时存储系统保存不了太多的数据，能保存非常多数据的分布式存储系统又没法实时插入查询数据，现有的实时或者准实时的日志流系统不得不舍弃了明细数据，只保存结果数据集或者少量维度的阉割明细数据集，可用性低。
技术实现思路
本申请提供了一种日志处理的方法、装置、设备及存储介质。根据本申请的一方面，提供了一种日志处理的方法，包括：将用户行为日志存储到第一数据库的实时日志表中；每间隔一个时间段，将前一个时间段内的所述用户行为日志存储到第本文档来自技高网...

【技术保护点】
1.一种日志处理的方法，包括：/n将用户行为日志存储到第一数据库的实时日志表中；/n每间隔一个时间段，将前一个时间段内的所述用户行为日志存储到第二数据库的离线日志表中，并删除所述实时日志表中所述前一个时间段的用户行为日志；/n在所述第二数据库中建立虚拟视图表，所述虚拟视图表用于关联所述实时日志表和离线日志表。/n

【技术特征摘要】
1.一种日志处理的方法，包括：
将用户行为日志存储到第一数据库的实时日志表中；
每间隔一个时间段，将前一个时间段内的所述用户行为日志存储到第二数据库的离线日志表中，并删除所述实时日志表中所述前一个时间段的用户行为日志；
在所述第二数据库中建立虚拟视图表，所述虚拟视图表用于关联所述实时日志表和离线日志表。


2.根据权利要求1所述的方法，其中，所述在所述第二数据库中建立虚拟视图表，所述虚拟视图表用于关联所述实时日志表和离线日志表，包括：
在所述第二数据库中建立所述实时日志表的关联映射表；
在所述第二数据库中建立所述虚拟视图表，所述虚拟视图表用于关联所述关联映射表和所述离线日志表。


3.根据权利要求1所述的方法，其中，所述将用户行为日志存储到第一数据库的实时日志表中之前，还包括：
实时地获取所述用户行为日志。


4.根据权利要求1所述的方法，所述每间隔一个时间段，将前一个时间段内的所述用户行为日志存储到第二数据库的离线日志表中，包括：
每间隔一个时间段，将所述前一个时间段内的所述用户行为日志传输到分布式文件系统上；
将所述用户行为日志从所述分布式文件系统导入所述第二数据库的离线日志表中。


5.根据权利要求4所述的方法，其中，所述将所述用户行为日志导入所述第二数据库的离线日志表中之前，还包括：
在所述第二数据库中建立所述离线日志表。


6.根据权利要求4所述的方法，其中，所述将所述用户行为日志导入所述第二数据库的离线日志表中之前，还包括：
根据业务需求，对所述用户行为日志进行数据清洗。


7.根据权利要求1-6中任一项所述的方法，还包括：
响应于日志查询请求，查询所述虚拟视图表，得到查询结果。


8.根据权利要求7所述的方法，其中，所述响应于日志查询请求，查询所述虚拟视图表，得到查询结果，包括：
响应于日志查询请求，根据所述日志查询请求中的时间范围，查询所述实时日志表和/或离线日志表，得到查询结果。


9.一种日志处理的装置，包括：
实时数据处理模块，用于将用户行为日志存储到第一数据库的实时日志表中；
离线...

【专利技术属性】
技术研发人员：陈钢，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11