【技术实现步骤摘要】
一种基于Kafka的电力客户数据采样方法
[0001]本专利技术涉及一种数据采样方法，尤其涉及一种基于Kafka的电力客户数据采样方法。
技术介绍
[0002]当前，随着电网业务多元化和多渠道融合时代的到来以及电网数字化、能源互联网快速发展新浪潮的冲击，各式的电力数据产品层出不穷，各类客户端应用产品变得琳琅满目，用以满足广大用电客户的需要；用电客户在使用各类产品的同时，海量的用户行为数据信息应运而生。与此同时，海量的用户行为数据如果不能得到及时有效的采样、挖掘、分析和应用，便失去了用户行为数据本身具有的增值属性。
[0003]在实际用电客户数据的采样及应用中，其一是，用户行为埋点数据定义不全面、开发流程混乱、使用不规范，埋点的元事件、元数据缺乏统一的标准管理，这样便无法满足全域用户行为分析、产品智能化，精细化运营等实际需要，进而无法解决数据应用过程中的难点痛点。其二是，已有埋点数据采样技术中，多为异步的、准实时的、离线的采样、处理等方式，并无在埋点数据采样的同时，针对产品运营、用户行为分析业务相关的业务指标进行实时计...
【技术保护点】
【技术特征摘要】 【专利技术属性】
1.一种基于Kafka的电力客户数据采样方法，其特征在于，包括以下步骤以用于实现所提出的基于Kafka的电力客户数据采样方法：S1：首先，定义用电客户数据源前端埋点内容和业务应用系统后端接口埋点内容，并在业务系统前端和后端开展数据埋点；S2：然后，依据数据管理用户在操作业务应用系统时产生的埋点数据类型，选择前端或后端与埋点客户数据采样系统建立连接；建立连接后，埋点客户数据采样系统采样并接收前端埋点数据或后端接口埋点数据；S3：进一步地，埋点客户数据采样系统解析接收到的埋点数据，得到基本字段和衍生字段，将产生的基本字段和衍生字段实时转发至Kafka消息队列；S4：同时，埋点客户数据采样系统根据步骤(S3)中得到的基础字段和衍生字段，对电力数据产品运营、用电客户行为分析涉及到的业务指标进行统计，加工计算得到实时指标，并将上述实时指标实时转发至Kafka消息队列的topic_result中；S5：最后，BI可视化系统通过实时消费步骤(S4)所述Kafka消息队列topic_result中的电力业务指标数据或查询实时数据仓库中的HBase业务指标表，将业务指标进行可视化展示。2.根据权利要求1所述的一种基于Kafka的电力客户数据采样方法，其特征在于，所述获取前端和后端埋点数据的方法包括：前端埋点数据为用电客户行为触发前端事件所产生的数据，后端接口埋点数据为用电户客户行为触发的后端接口调用所产生的数据。3.根据权利要求1所述的一种基于Kafka的电力客户数据采样方法，其特征在于，所述业务系统与埋点数据建立连接的方法包括：当数据管理用户在操作业务系统时，如果产生业务系统的前端埋点数据，则对应业务系统的前端和埋点电力客户数据用电采样系统接口进行参数校验，如果产生业务系统的后端埋点数据，则对应业务系统的后端和埋点采样系统接口进行参数校验。二者之间的参数校验包括：域名校验、IP地址校验、接口名校验、端口号校验等；根据预先设定的相关参数，校验成功后，再建立socket连接。4.根据权利要求1所述的一种基于Kafka的电力客户数据采样方法，其特征在于，所述埋点电力客户数据采样系统采样并接收前端或后端埋点数据的方法包括：当与埋点采样系统进行连接的为业务系统前端时，埋点采样系统采样并接收前端埋点数据；当与埋点采样系统进行连接的为业务系统后端时，埋点采样系统采样并接收后端埋点数据。5.根据权利要求1所述的一种基于Kafka的电力客户数据采样方法，其特征在于，所述的用于获取并转发基本字段和衍生字段的方法包括：S5.1：埋点采样系统接收到结构化的电力客户埋点数据，并根据Key
‑
技术研发人员：张明杰，刘鲲鹏，邓志东，杨菁，宫立华，朱龙珠，龚健，孙荣，彭渤，李艳艳，
申请(专利权)人：国家电网有限公司客户服务中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。