一种面向在线教育的实时数据仓库系统技术方案

本发明专利技术公开了一种面向在线教育的实时数据仓库系统，由以下多个模块组成：数据采集模块、数据计算和处理模块、可视化接口模块、数据展示模块。本发明专利技术通过对flink和kafka的应用与研究，使用实时流计算引擎对在线教育的日志和业务数据处理，构建在线教育的实时数据仓库，实现了数据的实时处理和展示功能，为企业提供更智能的决策支持。通过模拟生成真实场景的数据，使得系统具有实际应用价值，此发明专利技术在一定程度上，使用户数据得到充分利用，帮助企业进行智能化的高效决策。

【技术实现步骤摘要】

本专利技术涉及一种针对在线教育基于实时流计算的数据仓库系统，属于计算机。

技术介绍

1、在网络化的信息时代，我们每个人都置身其中在无意识间浏览和创造数据，在我们使用互联网进行娱乐和消费时，网络也记录着我们的行为，日常生活中数据和我们的联系变得愈发的紧密。当我们每天访问手机app如美团、拼多多时，其会同时产生海量数据，数据的存储和处理催生了大数据技术，使用大数据技术来进行数据的传输和处理，大数据技术逐渐成为数据分析中必要的一环。

2、传统的数据仓库无法满足海量数据的存储和处理需求，人们开始考虑使用大数据技术实现数据仓库。数据仓库包括构建和应用两个方面。最初的数据仓库应用报表来展示，支持业务层和管理层决策。随着业务的不断发展，半结构、非结构化的数据源越来越多。半结构、非结构化数据的量级比结构化数据提升多个。数据源的变化对数据清洗、存储和处理提出了新的要求。

3、flink实时流计算引擎的出现解决了上述问题，flink作为真正的流批一体处理引擎，能快速高效处理海量数据，真正实现流批处理的一体化。实时数据仓库使用flink来处理计算数据，针本文档来自技高网...

【技术保护点】

1.一种面向在线教育的实时数据仓库系统，其特征在于，由以下模块组成：数据采集模块、数据计算处理模块、数据展示模块；数据采集模块采集用户日志及行为数据，将数据采集模块采集到的原始用户数据输入至数据计算处理模块，数据计算处理模块内部分为ODS、DIM、DWD、DWS多个数据处理层，将数据逐层聚合计算，满足不同粒度的业务需求；数据展示模块将数据按各主题展示。

2.根据权利要求1所述的一种面向在线教育的实时数据仓库系统，其特征在于，该系统的实施步骤如下：步骤1：数据采集；

3.根据权利要求1所述的一种面向在线教育的实时数据仓库系统，其特征在于，采用的流处理引擎Flink，...

【技术特征摘要】

1.一种面向在线教育的实时数据仓库系统，其特征在于，由以下模块组成：数据采集模块、数据计算处理模块、数据展示模块；数据采集模块采集用户日志及行为数据，将数据采集模块采集到的原始用户数据输入至数据计算处理模块，数据计算处理模块内部分为ods、dim、dwd、dws多个数据处理层，将数据逐层聚合计算，满足不同粒度的业务需求；数据展示模块将数据按各主题展示。

2.根据权利要求1所述的一种面向在线教育的实时数据仓库系统，其特征在于，该系统的实施步骤如下：步骤1：数据采集；

3.根据权利要求1所述的一种面向在线教育的实时数据仓库系统，其特征在于，采用的流处理引擎flink，flinkcep实现的用户数据分类模板以及springboot框架，面向用户的实时数据仓库分析系统；

4.根据权利要求2所述的一种面向在线教育的实时数据仓库系统，其特征在于，数据采集模块包括用户日志数据采集和业务数据采集两部分；日志采集通过前端埋点的方式将用户在页面的相关行为信息收集到日志服务器上，日志设计为三类，包括普通页面日志、启动日志和播放日志；普通页面日志记录通用信息、动作信息、曝光信息、页面信息和错误信息；通用信息记录用户环境信息，包括地区信息、设备信息、应用信息，页面信息包括用户所在当前页面的id、类型及上页信息；启动日志以启动为单位，一次启动生成一条启动日志；启动日志包括公共数据、启动数据和错误数据；播放日志包括公共数据、播放数据和错误数据；

5.根据权利要求1所述的一种面向在线教育的实时数据仓库系统，其特征在于，在数据处理阶段将数据仓库分为五层，分别是ods层、dwd层、dim层、dws层和ads层；ods层为原始数据层，存放经过数据采集模块采集的未经处理的原始数据，是数据仓库的数据准备区；dwd层为明细数据层，基于维度建模理论构建，存放事实表；dim层为维度信息层，基于维度建模理论构建；dws层为汇总数据层，基于上层指标需求构建特定粒度的汇...

【专利技术属性】
技术研发人员：许佳胜，段娟，肖创柏，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：