教育数据管理系统技术方案

本发明专利技术公开了一种教育数据管理系统，包括：数据采集模块、数据仓库模块、多维度分析模块和输出模块；数据采集模块与数据仓库模块相连接；数据仓库模块，用于根据逻辑主题对教育数据进行划分，并进行分层处理，数据仓库模块包括主题模型拆分模块和数据仓库构建模块；多维度分析模块，与数据仓库模块相连接，用于生成多维度分析报表；输出模块，与多维度分析模块相连接，用于接收多维度分析模块发送的多维度分析报表并输出。本发明专利技术支持对教育数据进行多维度即时查询分析，适用各种频繁多变的分析场景。

Education data management system

【技术实现步骤摘要】
教育数据管理系统
本专利技术涉及教学信息化
，更具体地，涉及一种教育数据管理系统。
技术介绍
目前随着数字信息化在教育领域的应用，越来越多的教育网络平台、终端教育软件应运而生，用户在使用教育平台或者教育软件时会产生大量的数据，这些数据的存储占用了大量的空间，而如何利用这些数据是业内需要考虑的技术问题。另外，目前对于教育领域数据进行分析时，通常只能实现一维或者二维数据的即时分析，如何实现支持多维数据的即时分析也是目前的教育领域需要解决的技术问题。因此，提供一种教育数据管理系统，实现对教育领域数据的应用并支持多维数据的即时查询分析，是本领域亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术提供了一种教育数据管理系统，解决了上述技术问题。本专利技术提供的一种教育数据管理系统，包括：数据采集模块、数据仓库模块、多维度分析模块和输出模块；数据采集模块，与数据仓库模块相连接，用于采集各类教育数据，并将教育数据发送给数据仓库模块；数据仓库模块，用于根据逻辑主题对教育数据进行划分，并进行分层处理，数据仓库模块包括主题模型拆分模块和数据仓库构建模块；其中，主题模型拆分模块包括根据主题名称预置的至少六个主题模型，主题名称至少包括学生主题、教师主题、考试主题、试题主题、行为主题和流量主题；数据仓库构建模块用于通过多个主题模型构建数据仓库，具体包括：将多个主题模型依次经过数据留存层、细粒度模型层、轻度汇总层以及中度汇总层执行装载，构建数据仓库；其中，数据留存层用于保存接收到的教育数据；细粒度模型层用于对数据留存层的数据进行主题域内的数据整合处理；轻度汇总层用于对细粒度模型层的数据进行相关业务的拆分、汇总处理；中度汇总层用于根据系统应用需求将轻度汇总层的数据生成统计型数据；多维度分析模块，与数据仓库模块相连接，用于接收多维度分析指令，并根据多维度分析指令调用Hive工具进行查询，并生成多维度分析报表；输出模块，与多维度分析模块相连接，用于接收多维度分析模块发送的多维度分析报表并输出。可选的，教育数据包括结构化数据、半结构化数据和非结构化数据，数据采集模块还用于将半结构化数据和非结构化数据转化为结构化数据后，并对结构化数据进行消歧处理。可选的，数据采集模块通过ETL工具从数据源的业务数据库中抽取教育数据，并对教育数据进行清洗、转换后发送给数据仓库模块；其中，抽取的方式包括：对于数据量少，改动量大的数据源采用全量同步抽取；对于数据量大，改动小的数据源采用增量同步抽取；基于数据源表的日期时间戳或者更新时间作为时间分区字段，按照时间分区进行增量抽取，若没有时间分区字段则采用全量抽取。可选的，数据源包括教育软件、教育网站和教学系统；数据采集模块通过ETL工具从数据源的业务数据库中抽取教育数据，包括：ETL工具间隔预定时间从数据源的业务数据库中抽取教育数据。可选的，学生主题下的信息包括：学生编号、学生年龄、学生性别、学生生日、学生的变更记录、学生学校、学生年级、学生班级、学生联系方式中至少之一；教师主题下的信息包括：教师的联系方式、从教时间、教授科目、教授的班级、班级学生明细中至少之一；考试主题下的信息包括：作业练习、模拟考试、期中考试、期末考试、试卷信息记录、参考数据记录至少之一；试题主题下的信息包括：试题与考试的对应关系、试题知识点信息；行为主题下的信息包括：教师出卷记录、教师阅卷记录、学生作答记录；流量主题下的信息包括：学生在教育软件或者教育网站上产生的所有行为日志、教师在教育软件或者教育网站上产生的所有行为日志。可选的，还包括数据应用模块，数据应用模块与数据仓库模块相连接，用于接收数据应用指令，并从数据仓库模块调取相应的数据；其中，数据应用包括数据分析、数据查询、数据接口服务和BI报表中至少之一。可选的，还包括权限管理模块，用于根据用户的权限级别提供不同的使用权限，其中，权限级别包括分析师权限和工程师权限。与现有技术相比，本专利技术提供的教育数据管理系统，至少实现了如下的有益效果：本专利技术提供的系统根据互联网教育数据的特点，抽象出多个主题模型构建了教育数据仓库，本专利技术中教育数据仓库作为面向主题的、集成的、随时间变化的、相对稳定的数据集合，能够实现对数据分析决策的支撑。本专利技术能够实现对教育领域数据的应用，并支持对教育数据进行多维度即时查询分析，适用各种频繁多变的分析场景，能够实现对数据的准确掌握、统计分析上报需求、为数据挖掘和决策支持提供基础。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1为本专利技术实施例提供的教育数据管理系统框图一；图2为本专利技术实施例提供的教育数据管理系统的数据仓库内数据逻辑分层示意图；图3为本专利技术实施例提供的教育数据管理系统框图二。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。图1为本专利技术实施例提供的教育数据管理系统框图一，图2为本专利技术实施例提供的教育数据管理系统的数据仓库内数据逻辑分层示意图。如图1所示，教育数据管理系统包括：数据采集模块11、数据仓库模块12、多维度分析模块13和输出模块14；数据采集模块11，与数据仓库模块12相连接，用于采集各类教育数据，并将教育数据发送给数据仓库模块12。可选的，教育数据包括结构化数据、半结构化数据和非结构化数据，数据采集模块11还用于将半结构化数据和非结构化数据转化为结构化数据后，并对结构化数据进行消歧处理。由于教育数据可能来自不同的数据源，所以有可能存在重复的数据属性，针对重复的数据属性，本专利技术能够进行消歧处理。另外，也有可能采集的部分教育数据的属性与本专利技术系统提供的分析目标无关，本专利技术的数据采集模块能够针对此类无关数据属性进行剔除。上述消歧处理能够达到降低数据维度的效果，同时，也为后续的处理减少了数据量。可选的，数据采集模块11通过ETL(Extract-Transform-Load)工具从数据源的业务数据库中抽取教育数据，并对教育数据进行清洗、转换后发送给数据仓库模块12；其中，抽取的方式包括：对于数据量少，改动量大的数据源采用全量同步抽取；对于数据量大，改动小的数据源采用增量同步抽取；基于数据源表的日期时间戳或者更新时间作为时间分区字段，按照时间分区进行增量抽取，若没有时间分区字段则采用全量抽取。通过设置增量和全量同步抽取的方式，能够充分利用Hive数据仓库分区表的优势。其中，Hive是基于Hadoop的一个数本文档来自技高网...

【技术保护点】
1.一种教育数据管理系统，其特征在于，包括：数据采集模块、数据仓库模块、多维度分析模块和输出模块；所述数据采集模块，与所述数据仓库模块相连接，用于采集各类教育数据，并将所述教育数据发送给所述数据仓库模块；所述数据仓库模块，用于根据逻辑主题对所述教育数据进行划分，并进行分层处理，所述数据仓库模块包括主题模型拆分模块和数据仓库构建模块；其中，所述主题模型拆分模块包括根据主题名称预置的至少六个主题模型，所述主题名称至少包括学生主题、教师主题、考试主题、试题主题、行为主题和流量主题；所述数据仓库构建模块用于通过所述多个主题模型构建数据仓库，具体包括：将所述多个主题模型依次经过数据留存层、细粒度模型层、轻度汇总层以及中度汇总层执行装载，构建所述数据仓库；其中，所述数据留存层用于保存接收到的所述教育数据；所述细粒度模型层用于对所述数据留存层的数据进行主题域内的数据整合处理；所述轻度汇总层用于对所述细粒度模型层的数据进行相关业务的拆分、汇总处理；所述中度汇总层用于根据系统应用需求将所述轻度汇总层的数据生成统计型数据；所述多维度分析模块，与所述数据仓库模块相连接，用于接收多维度分析指令，并根据所述多维度分析指令调用Hive工具进行查询，并生成多维度分析报表；所述输出模块，与所述多维度分析模块相连接，用于接收所述多维度分析模块发送的所述多维度分析报表并输出。...

【技术特征摘要】
1.一种教育数据管理系统，其特征在于，包括：数据采集模块、数据仓库模块、多维度分析模块和输出模块；所述数据采集模块，与所述数据仓库模块相连接，用于采集各类教育数据，并将所述教育数据发送给所述数据仓库模块；所述数据仓库模块，用于根据逻辑主题对所述教育数据进行划分，并进行分层处理，所述数据仓库模块包括主题模型拆分模块和数据仓库构建模块；其中，所述主题模型拆分模块包括根据主题名称预置的至少六个主题模型，所述主题名称至少包括学生主题、教师主题、考试主题、试题主题、行为主题和流量主题；所述数据仓库构建模块用于通过所述多个主题模型构建数据仓库，具体包括：将所述多个主题模型依次经过数据留存层、细粒度模型层、轻度汇总层以及中度汇总层执行装载，构建所述数据仓库；其中，所述数据留存层用于保存接收到的所述教育数据；所述细粒度模型层用于对所述数据留存层的数据进行主题域内的数据整合处理；所述轻度汇总层用于对所述细粒度模型层的数据进行相关业务的拆分、汇总处理；所述中度汇总层用于根据系统应用需求将所述轻度汇总层的数据生成统计型数据；所述多维度分析模块，与所述数据仓库模块相连接，用于接收多维度分析指令，并根据所述多维度分析指令调用Hive工具进行查询，并生成多维度分析报表；所述输出模块，与所述多维度分析模块相连接，用于接收所述多维度分析模块发送的所述多维度分析报表并输出。2.根据权利要求1所述的教育数据管理系统，其特征在于，所述教育数据包括结构化数据、半结构化数据和非结构化数据，所述数据采集模块还用于将半结构化数据和非结构化数据转化为结构化数据后，并对结构化数据进行消歧处理。3.根据权利要求1所述的教育数据管理系统，其特征在于，所述数据采集模块通过ETL工具从数据源的业务数据库中抽取所述教育数据，并对所述教育数据进行清洗、转换后发送给所述...

【专利技术属性】
技术研发人员：王浩，郭晨阳，李可佳，
申请(专利权)人：江苏曲速教育科技有限公司，
类型：发明
国别省市：江苏,32