【技术实现步骤摘要】
本申请涉及数据处理，特别地涉及一种基于flink的实时埋点数据分发方法、设备、介质及产品。
技术介绍
1、随着大数据应用的快速发展，用户行为埋点数据的实时分析已成为企业精准运营的核心需求。埋点数据往往通过消息队列(如kafka)实现高吞吐实时采集，而apache flink凭借其低延迟、高可靠的流处理能力，成为实时消费kafka数据并生成分析指标的主流技术方案。通过flink程序对埋点数据进行清洗、分发和存储，可快速响应业务对用户行为日志的实时监控、异常告警及漏斗分析需求，从而支撑数据驱动的即时决策。
2、相关技术中，针对多业务线场景下的埋点数据分发，主要通过两种方式实现：
3、1)多flink程序独立消费：为每个业务需求单独创建flink程序，每个程序从kafka全量埋点数据中过滤出目标事件，并写入独立数据表。例如，活动转化分析与用户路径追踪由两套flink程序分别完成，二者均独立订阅kafka的完整数据流；
4、2)全量存储后向下游分发：使用单一flink程序将kafka全量埋点数据统一存储至宽表...
【技术保护点】
1.一种基于Flink的实时埋点数据分发方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在将所述批量埋点数据分发写入至对应的埋点数据表之前，还包括：
3.根据权利要求2所述的方法，其特征在于，Kafka中的实时埋点数据为json格式，将所述批量埋点数据分发写入至对应的埋点数据表，包括：
4.根据权利要求3所述的方法，其特征在于，在将所述N个字段值分别写入埋点数据表中对应的N个固定上报字段，以及将埋点数据中除所述N个固定上报字段以外埋点字段的数据内容写入埋点数据表中的目标埋点字段之后，还包括：
5.根据...
【技术特征摘要】
1.一种基于flink的实时埋点数据分发方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在将所述批量埋点数据分发写入至对应的埋点数据表之前，还包括：
3.根据权利要求2所述的方法，其特征在于，kafka中的实时埋点数据为json格式，将所述批量埋点数据分发写入至对应的埋点数据表，包括：
4.根据权利要求3所述的方法，其特征在于，在将所述n个字段值分别写入埋点数据表中对应的n个固定上报字段，以及将埋点数据中除所述n个固定上报字段以外埋点字段的数据内容写入埋点数据表中的目标埋点字段之后，还包括：
5.根据权利要求1所述的方法，其特征在于，基于所述关联关系创建埋点写入配置表存储至实时数仓之后，还包括：
6.根据权利要求1所述的方法，其特征在于，基于各个埋点事件对应的业务线和/或业务场景，以及各个业务线、业务场景分别关联的埋点数据表，建立各个...
【专利技术属性】
技术研发人员：傅豪，宋冬，曹芷鸣，
申请(专利权)人：前锦网络信息技术上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。