基于数据流的报表指标的显示方法、装置及终端制造方法及图纸

本发明专利技术提供了一种基于数据流的报表指标的显示方法、装置及设备，所述方法包括：将接收到的流式数据按照数据类型拆分成多个数据流，所述多个数据流包括：第一日志流和第二日志流，且第一日志流和第二日志流存在先后关系；将所述第一日志流按照关键字key缓存到数据库中；从所述数据库中为所述第二日志流确定对应的第一日志流；将所述第二日志流与对应的第一日志流进行实时关联；统计关联后的第二日志流，得到对应的报表指标；实时显示所述报表指标。本发明专利技术在流式数据中，实时将第二日志流关联到相应的第一日志流，实现了实时数据流的关联操作及指标统计，并将报表中指标进行可视化，提供高了用户满意度。

【技术实现步骤摘要】
基于数据流的报表指标的显示方法、装置及终端
本专利技术涉及数据处理
，特别是涉及一种基于数据流的报表指标的显示方法、装置及终端。
技术介绍
报表指标统计的数据源都是依赖于用户日志数据，但是用户日志数据由多个不同的设备传输的，有些统计的报表指标需要将日志进行关联统计，如用户的点击展示行为日志和播放行为日志是分开发送的，但是统计时需要一起进行统计；在离线系统中，可以用一些大数据工具如HIVE进行join操作，将数据关联后统计，但是，在现有流式数据的统计中，不能对流式数据提供实时关联，因此导致统计的某些报表指标不可实时化。因此，如何实现报表指标的实时化，是目前有待解决的技术问题。
技术实现思路
本专利技术实施例所要解决的技术问题是提供一种基于数据流的报表指标的显示方法，以解决现有的流式数据统计中，由于不能将相关的数据进行实时关联，导致一些报表指标不能实时化，降低了用户满意度的技术问题。相应的，本专利技术实施例还提供了一种基于数据流的报表指标的显示装置及终端，用以保证上述方法的实现及应用。为了解决上述问题，本专利技术是通过如下技术方案实现的：第一方面提供一种基于数据流的报表指标的显示方法，包括：将接收到的流式数据按照数据类型拆分成多个数据流，所述多个数据流包括：第一日志流和第二日志流，且第一日志流和第二日志流存在先后关系；将所述第一日志流按照关键字key缓存到数据库中；从所述数据库中为所述第二日志流确定对应的第一日志流；将所述第二日志流与对应的第一日志流进行实时关联；统计关联后的第二日志流，得到对应的报表指标；实时显示所述报表指标。可选的，所述从所述数据库中为所述第二日志流确定对应的第一日志流，包括：提取所述第二日志流的关键字key；从所述数据库中查询所述第二日志流的关键字key；如果查询到所述关键字key，则读取与所述关键字key对应的第一日志流的数值value；所述将所述第二日志流与对应的第一日志流进行实时关联，包括：将与所述关键字key对应的数值value添加到所述第二日志流中。可选的，所述关键字key包括：用户ID和视频ID，所述数值value包括：需要提供给第二日志流的内容的时间戳和维度信息。可选的，所述方法还包括：将拆分得到的所述第一日志流按照设定的时间通过对应的布隆过滤器进行过滤；对通过每个时间的布隆过滤器的所述第一日志流的关键字key进行标记，得到对应的标志位；将所述标志位对应的关键字key及第一日志流同时存储到内存分布式数据库中和普通分布式数据库中。可选的，所述方法还包括：提取所述第二日志流的关键字key；按照所述关键字key查询标志位；如果查询到对应的标志位，则根据所述标志位确定对应布隆过滤器的时间；判断所述时间与当前时间的差值是否大于等于设定缓存阈值；如果所述差值大于等于设定的缓存阈值，则从所述普通分布式数据库读取与所述标志位对应的第一日志流的数值value；如果所述差值不大于等于设定的缓存阈值，则从所述内存分布式数据库中读取与所述标志位对应的第一日志流的数值value；其中，所述将所述第二日志流与对应的第一日志流进行实时关联，包括：将与所述标志位对应的第一日志流的数值value添加到所述第二日志流中。第二方面提供一种基于数据流的报表指标的显示装置，包括：拆分模块，用于将接收到的流式数据按照数据类型拆分成多个数据流，所述多个数据流包括：第一日志流和第二日志流，且第一日志流和第二日志流存在先后关系；缓存模块，用于将所述第一日志流按照关键字key缓存到数据库中；第一确定模块，用于从所述数据库中为所述第二日志流确定对应的第一日志流；关联模块，用于将所述第二日志流与对应的第一日志流进行实时关联；统计模块，用于统计关联后的第二日志流，得到对应的报表指标；显示模块，用于实时显示所述报表指标。可选的，所述第一确定模块包括：第一提取模块，用于提取所述第二日志流的关键字key；第一查询模块，用于从所述数据库中查询所述第二日志流的关键字key；第一读取模块，用于在所述查询模块查询到所述关键字key时，读取与所述关键字key对应的第一日志流的数值value；所述关联模块，具体用于将与所述关键字key对应的数值value添加到所述第二日志流中。可选的，所述第一提取模块提取的所述关键字key包括：用户ID和视频ID；所述第一读取模块读取的所述数值value包括：需要提供给第二日志流的内容的时间戳和维度信息。可选的，所述装置还包括：过滤模块，用于将所述拆分模块拆分得到的所述第一日志流按照设定的时间通过对应的布隆过滤器进行过滤；标记模块，用于对通过每个时间的布隆过滤器的所述第一日志流的关键字key分别进行标记，得到对应的标志位；存储模块，用于将所述标志位对应的关键字key及第一日志流同时存储到内存分布式数据库中和普通分布式数据库中。可选的，所述装置还包括：第二提取模块，用于提取所述拆分模块拆分得到的所述第二日志流的关键字key；第二查询模块，用于按照所述关键字key查询标志位；第二确定模块，用于在所述第二查询模块查询到对应的标志位时，根据所述标志位确定对应布隆过滤器的时间；判断模块，用于判断所述时间与当前时间的差值是否大于等于设定缓存阈值；第二读取模块，用于在所述判断模块判断所述差值大于等于设定缓存阈值时，则从所述普通分布式数据库读取与所述标志位对应的第一日志流的数值value；第三读取模块，用于在所述判断模块判断所述差值不大于等于设定缓存阈值，则从所述内存分布式数据库中读取与所述标志位对应的第一日志流的数值value；所述关联模块，还用于将所述第二读取模块或第三读取模块读取的与所述标志位对应的第一日志流的数值value添加到所述第二日志流中。第三方面提供一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的基于数据流的统计指标的显示方法的步骤。第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于数据流的统计指标的显示方法中的步骤。与现有技术相比，本专利技术实施例包括以下优点：本专利技术实施例中，先将接收到的流式数据拆分成多个数据流，多个数据流中包括第一日志流和第二日志流，且第一日志流和第二日志流存在先后关系；然后，将所述第一日志流按照关键字key缓存到数据库中，从所述数据库中为所述第二日志流确定对应的第一日志流；将第二日志流与对应的第一日志流进行实时关联，最后，统计关联后的第二日志流，得到对应的报表指标，实时显示所述报表指标。也就是说，本专利技术实施例中，在流式数据中，先将接收到的第一日志流缓存到数据库中，在接收到第二日志流时，将第二日志流与数据库中的第一日志流进行实时关联，并统计关联后的第二日志流，得到并实时显示对应的报表指标。本专利技术实施例中，实现了实时数据流的关联操作，对报表中的指标实时统计并显示，实现了报表指标的可视化，提供高了用户满意度。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明图1是本专利技术实施例提供的一种基于数据流的报表指标的显示方法的流程图；图2为本专利技术实施例提供的一种数据关联过本文档来自技高网...

【技术保护点】
1.一种基于数据流的报表指标的显示方法，其特征在于，包括：将接收到的流式数据按照数据类型拆分成多个数据流，所述多个数据流包括：第一日志流和第二日志流，且第一日志流和第二日志流存在先后关系；将所述第一日志流按照关键字key缓存到数据库中；从所述数据库中为所述第二日志流确定对应的第一日志流；将所述第二日志流与对应的第一日志流进行实时关联；统计关联后的第二日志流，得到对应的报表指标；实时显示所述报表指标。

【技术特征摘要】
1.一种基于数据流的报表指标的显示方法，其特征在于，包括：将接收到的流式数据按照数据类型拆分成多个数据流，所述多个数据流包括：第一日志流和第二日志流，且第一日志流和第二日志流存在先后关系；将所述第一日志流按照关键字key缓存到数据库中；从所述数据库中为所述第二日志流确定对应的第一日志流；将所述第二日志流与对应的第一日志流进行实时关联；统计关联后的第二日志流，得到对应的报表指标；实时显示所述报表指标。2.根据权利要求1所述的方法，其特征在于，所述从所述数据库中为所述第二日志流确定对应的第一日志流，包括：提取所述第二日志流的关键字key；从所述数据库中查询所述第二日志流的关键字key；如果查询到所述关键字key，则读取与所述关键字key对应的第一日志流的数值value；所述将所述第二日志流与对应的第一日志流进行实时关联，包括：将与所述关键字key对应的数值value添加到所述第二日志流中。3.根据权利要求2所述的方法，其特征在于，所述关键字key包括：用户ID和视频ID，所述数值value包括：需要提供给第二日志流的内容的时间戳和维度信息。4.根据权利要求1所述的方法，其特征在于，还包括：将拆分得到的所述第一日志流按照设定的时间通过对应的布隆过滤器进行过滤；对通过每个时间的布隆过滤器的所述第一日志流的关键字key进行标记，得到对应的标志位；将所述标志位对应的关键字key及第一日志流同时存储到内存分布式数据库中和普通分布式数据库中。5.根据权利要求4所述的方法，其特征在于，还包括：提取所述第二日志流的关键字key；按照所述关键字key查询标志位；如果查询到对应的标志位，则根据所述标志位确定对应布隆过滤器的时间；判断所述时间与当前时间的差值是否大于等于设定缓存阈值；如果所述差值大于等于设定的缓存阈值，则从所述普通分布式数据库读取与所述标志位对应的第一日志流的数值value；如果所述差值不大于等于设定的缓存阈值，则从所述内存分布式数据库中读取与所述标志位对应的第一日志流的数值value；其中，所述将所述第二日志流与对应的第一日志流进行实时关联，包括：将与所述标志位对应的第一日志流的数值value添加到所述第二日志流中。6.一种基于数据流的报表指标的显示装置，其特征在于，包括：拆分模块，用于将接收到的流式数据按照数据类型拆分成多个数据流，所述多个数据流包括：第一日志流和第二日志流，且第一日志流和第二日志流存在先后关系；缓存模块，用于将所述第一日志流按照关键字key缓存到数据库中；第一确定模块，用于从所述数据库中为所述第二日志流确定对应的第一日志流；关联模块，用于将所述第二日志流与...

【专利技术属性】
技术研发人员：唐锦阳，罗华林，余文喆，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11