一种基于Kafka的电力客户数据采样方法技术

本发明专利技术公开一种基于Kafka的电力客户数据采样方法，包括以下步骤：(1)对目标埋点的内容下定义并实施数据埋点操作；(2)用电客户操作触发产生埋点数据并与目标采样系统建立联络；(3)目标采样系统上收投送的埋点数据；(4)目标系统解析埋点数据产生目标字段信息并实时转发至Kafka消息队列；(5)依据采样到的目标字段信息，统计加工实时指标数据，并将结果转发至Kafka消息队列；(6)可视化系统实时消费Kafka消息队列，将采样到的业务指标可视化展示。本发明专利技术能够很好地解决当前电力客户数据采样处理技术中存在的埋点数据采样、加工实时指标效率低，不能高效、及时满足埋点数据采样领域的各类电力业务实时指标计算、数字化产品运营分析、电力客户用电行为分析等诸多问题与痛点。电力客户用电行为分析等诸多问题与痛点。电力客户用电行为分析等诸多问题与痛点。

【技术实现步骤摘要】
一种基于Kafka的电力客户数据采样方法


[0001]本专利技术涉及一种数据采样方法，尤其涉及一种基于Kafka的电力客户数据采样方法。

技术介绍

[0002]当前，随着电网业务多元化和多渠道融合时代的到来以及电网数字化、能源互联网快速发展新浪潮的冲击，各式的电力数据产品层出不穷，各类客户端应用产品变得琳琅满目，用以满足广大用电客户的需要；用电客户在使用各类产品的同时，海量的用户行为数据信息应运而生。与此同时，海量的用户行为数据如果不能得到及时有效的采样、挖掘、分析和应用，便失去了用户行为数据本身具有的增值属性。
[0003]在实际用电客户数据的采样及应用中，其一是，用户行为埋点数据定义不全面、开发流程混乱、使用不规范，埋点的元事件、元数据缺乏统一的标准管理，这样便无法满足全域用户行为分析、产品智能化，精细化运营等实际需要，进而无法解决数据应用过程中的难点痛点。其二是，已有埋点数据采样技术中，多为异步的、准实时的、离线的采样、处理等方式，并无在埋点数据采样的同时，针对产品运营、用户行为分析业务相关的业务指标进行实时计算、分析、挖掘，并不能及时、高效地满足埋点采样领域的实时指标分析应用的需要。
[0004]针对上述问题，目前的数据采样技术应用中，尚无全面的、行之有效的解决方案。

技术实现思路

[0005]本专利技术的目的在于提供一种基于Kafka的电力数据采样方法，以解决上述
技术介绍
中提出的问题。采用Kafka技术实时采样用电客户访问行为数据信息，并在源头加工实时指标，解决当前技术中存在的埋点数据采样、加工实时指标效率低下，不能高效及时满足埋点数据采样领域的实时指标计算、产品运营分析、用户行为分析的需要。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：
[0007]一种基于Kafka的电力客户数据采样方法，其特征在于，包括以下步骤以用于实现所提出的基于Kafka的电力客户数据采样方法：
[0008]S1：首先，定义用电客户数据源前端埋点内容和业务应用系统后端接口埋点内容，并在业务系统前端和后端开展数据埋点；
[0009]S2：然后，依据数据管理用户在操作业务应用系统时产生的埋点数据类型，选择前端或后端与埋点客户数据采样系统建立连接；建立连接后，埋点客户数据采样系统采样并接收前端埋点数据或后端接口埋点数据；
[0010]S3：进一步地，埋点客户数据采样系统解析接收到的埋点数据，得到基本字段和衍生字段，将产生的基本字段和衍生字段实时转发至Kafka消息队列；
[0011]S4：同时，埋点客户数据采样系统根据步骤(S3)中得到的基础字段和衍生字段，对电力数据产品运营、用电客户行为分析涉及到的业务指标进行统计，加工计算得到实时指标，并将上述实时指标实时转发至Kafka消息队列的topic_result中；
[0012]S5：最后，BI可视化系统通过实时消费步骤(S4)所述Kafka消息队列topic_result中的电力业务指标数据或查询实时数据仓库中的HBase业务指标表，将业务指标进行可视化展示。
[0013]作为本技术方案的进一步改进方案，所述获取前端和后端埋点数据的方法包括：
[0014]前端埋点数据为用电客户行为触发前端事件所产生的数据，后端接口埋点数据为用电户客户行为触发的后端接口调用所产生的数据。
[0015]作为本技术方案的进一步改进方案，所述业务系统与埋点数据建立连接的方法包括：
[0016]当数据管理用户在操作业务系统时，如果产生业务系统的前端埋点数据，则对应业务系统的前端和埋点电力客户数据用电采样系统接口进行参数校验，如果产生业务系统的后端埋点数据，则对应业务系统的后端和埋点采样系统接口进行参数校验。二者之间的参数校验包括：域名校验、IP地址校验、接口名校验、端口号校验等；根据预先设定的相关参数，校验成功后，再建立socket连接。
[0017]作为本技术方案的进一步改进方案，所述埋点电力客户数据采样系统采样并接收前端或后端埋点数据的方法包括：
[0018]当与埋点采样系统进行连接的为业务系统前端时，埋点采样系统采样并接收前端埋点数据；当与埋点采样系统进行连接的为业务系统后端时，埋点采样系统采样并接收后端埋点数据。
[0019]作为本技术方案的进一步改进方案，所述的用于获取并转发基本字段和衍生字段的方法包括：
[0020]S5.1：埋点采样系统接收到结构化的电力客户埋点数据，并根据Key
‑
value的形式进行解析，得到解析后的前端事件、后端接口，以及每个前端事件对应的其他字段内容以及每个后端接口对应的其他字段内容；
[0021]S5.2：将解析后的字段实时转发至Kafka消息队列，其中前端事件对应的字段，实时转发至Kafka消息队列中名称为topic_evt的Topic，其中后端接口对应的字段，实时转发至Kafka消息队列中名称为topic_interface的Topic。
[0022]S5.3：S5.1和S5.2所述的两个topic中对应的电力客户数据作为采样到的埋点数据的基本字段和衍生字段。
[0023]作为本技术方案的进一步改进方案，所述用于获取并发送电力客户业务指标的方法包括：
[0024]S6.1：通过Flink的方法实时消费kafka消息队列topic_evt、topic_interface中的字段，通过Tumbling Windows方法让电力客户数据不重叠，采用Filter方法过滤数据、keyBy方法对数据分组、join方法对数据关联、connect方法将多个数据流整合为一个数据流、aggregate方法对数据进行聚合处理，譬如：通过计数、求和、平均、加权平均等计算，输出得到实际的电力客户对应业务指标；
[0025]S6.2：通过SlipStream批量消费kafka消息队列topic_evt、topic_interface中的字段，再根据SQL对数据进行过滤、关联、分组、聚合，得到业务指标；
[0026]S6.3：上述S6.1和S6.2两种方法均可得到目标的电力客户业务指标，后者的时效性低于前者。将通过S6.1方法得到的电力客户业务指标，实时发送至Kafka消息队列的
topic_result中；将通过S6.2方法得到的电力客户业务指标固化到实时数据仓库HBase表中。
[0027]作为本技术方案的进一步改进方案，所述用于业务指标进行可视化展示和数据固化的方法包括：
[0028]S7.1：通过BI可视化系统的应用程序实时消费Kafka消息队列topic_result中的电力客户业务指标，在业务可视化系统中将电力客户业务指标进行可视化展示，或者通过查询实时数据仓库中的HBase业务指标表，将实时数据仓库中的业务指标通过BI工具进行可视化展示；
[0029]S7.2：将步骤(4)和(5)中得到的业务指标、基本字段、衍生字段，以数据流的方式固化存储于实时数据仓库中，固化到实时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Kafka的电力客户数据采样方法，其特征在于，包括以下步骤以用于实现所提出的基于Kafka的电力客户数据采样方法：S1：首先，定义用电客户数据源前端埋点内容和业务应用系统后端接口埋点内容，并在业务系统前端和后端开展数据埋点；S2：然后，依据数据管理用户在操作业务应用系统时产生的埋点数据类型，选择前端或后端与埋点客户数据采样系统建立连接；建立连接后，埋点客户数据采样系统采样并接收前端埋点数据或后端接口埋点数据；S3：进一步地，埋点客户数据采样系统解析接收到的埋点数据，得到基本字段和衍生字段，将产生的基本字段和衍生字段实时转发至Kafka消息队列；S4：同时，埋点客户数据采样系统根据步骤(S3)中得到的基础字段和衍生字段，对电力数据产品运营、用电客户行为分析涉及到的业务指标进行统计，加工计算得到实时指标，并将上述实时指标实时转发至Kafka消息队列的topic_result中；S5：最后，BI可视化系统通过实时消费步骤(S4)所述Kafka消息队列topic_result中的电力业务指标数据或查询实时数据仓库中的HBase业务指标表，将业务指标进行可视化展示。2.根据权利要求1所述的一种基于Kafka的电力客户数据采样方法，其特征在于，所述获取前端和后端埋点数据的方法包括：前端埋点数据为用电客户行为触发前端事件所产生的数据，后端接口埋点数据为用电户客户行为触发的后端接口调用所产生的数据。3.根据权利要求1所述的一种基于Kafka的电力客户数据采样方法，其特征在于，所述业务系统与埋点数据建立连接的方法包括：当数据管理用户在操作业务系统时，如果产生业务系统的前端埋点数据，则对应业务系统的前端和埋点电力客户数据用电采样系统接口进行参数校验，如果产生业务系统的后端埋点数据，则对应业务系统的后端和埋点采样系统接口进行参数校验。二者之间的参数校验包括：域名校验、IP地址校验、接口名校验、端口号校验等；根据预先设定的相关参数，校验成功后，再建立socket连接。4.根据权利要求1所述的一种基于Kafka的电力客户数据采样方法，其特征在于，所述埋点电力客户数据采样系统采样并接收前端或后端埋点数据的方法包括：当与埋点采样系统进行连接的为业务系统前端时，埋点采样系统采样并接收前端埋点数据；当与埋点采样系统进行连接的为业务系统后端时，埋点采样系统采样并接收后端埋点数据。5.根据权利要求1所述的一种基于Kafka的电力客户数据采样方法，其特征在于，所述的用于获取并转发基本字段和衍生字段的方法包括：S5.1：埋点采样系统接收到结构化的电力客户埋点数据，并根据Key
‑

【专利技术属性】
技术研发人员：张明杰，刘鲲鹏，邓志东，杨菁，宫立华，朱龙珠，龚健，孙荣，彭渤，李艳艳，
申请(专利权)人：国家电网有限公司客户服务中心，
类型：发明
国别省市：