一种基于Flink架构实时处理终端播放日志的方法技术

本发明专利技术公开了一种基于Flink架构实时处理终端播放日志的方法，包括以下步骤：S1、读取kafka中的终端播放日志，转换成统一格式；S2、使用Flink的FlatMap算子处理，根据终端日志中的终端信息，把终端播放日志划分到不同的省份的kafka的topic中；S3、按分省消费数据，缓存所有终端当前正在播放的数据；S4、定时任务，扫描缓存中的数据；S5、针对缓存的数据，按照需要的统计策略，统计播放数据；S6、把统计后的播放数据写入mongodb。本发明专利技术可以用以解决现有处理方式实时程度不够的问题。方式实时程度不够的问题。方式实时程度不够的问题。

【技术实现步骤摘要】
一种基于Flink架构实时处理终端播放日志的方法


[0001]本专利技术涉及一种基于Flink架构实时处理终端播放日志的方法，属于互联网电视


技术介绍

[0002]互联网电视凭借其内容的丰富性、可回放性、操作便捷性等优势，深受用户喜爱。其行业发展也非常迅速，新产品层出不穷，家庭渗透率也不断提高。
[0003]互联网电视的客户端通常通过终端播放日志的方式向后台上传播放数据。当客户端上传终端播放日志时，会上报播放数据，播放行为有别于一般的用户点击行为，点击是一次性事件，而播放是个持续行为，但考虑到日志规模，不可能让用户一直持续上报播放数据。因此，会间隔时间上报数据。
[0004]服务端收到播放数据，需要处理判断，这是上次播放的延续，还是一次新的播放，以及一些特殊处理，比如超过一定时间未上报(用户可能直接关闭终端，导致没有正常上报结束)
[0005]以前的处理方式，是离线数据处理思路，每个小时处理一次，导致无法及时统计用户的播放次数和时长的播放数据。而目前市面上常用的处理方法大抵可以分为两大类：<br/>[0006]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Flink架构实时处理终端播放日志的方法，其特征在于，包括以下步骤：S1、读取kafka中的终端播放日志，转换成统一格式；S2、使用Flink的FlatMap算子处理，根据终端日志中的终端信息，把终端播放日志划分到不同的省份的kafka的topic中；S3、按分省消费数据，缓存所有终端当前正在播放的数据，接收到一条新的终端播放日志，判断这个终端是否已经在缓存中，如在缓存中则更新数据，如果不在缓存中，则增加一条数据；S4、定时任务，扫描缓存中的数据，如果超过一定时间，没有新的终端播放日志进...

【专利技术属性】
技术研发人员：程涌，危明，
申请(专利权)人：易视腾科技股份有限公司，
类型：发明
国别省市：