一种基于高校大数据的可视化综合分析系统技术方案

本发明专利技术公开了一种基于高校大数据的可视化综合分析系统，获取日常管理和教学中的各类数据，并对数据进行统一管理，再根据各类数据多维度综合分析学生的成长轨迹，实现学业预警、精准资助和就业推荐等目的，从而为学校对学生进行个性化与精准化的教育管理与引导提供重要依据。

【技术实现步骤摘要】
一种基于高校大数据的可视化综合分析系统
本专利技术涉及大数据
，更具体的说是涉及一种基于高校大数据的可视化综合分析系统。
技术介绍
大数据是规模非常巨大和复杂的数据集，具有4V特性，一是数据量巨大(Volume)且持续快速增加；二是具有高速度(Velocity)的数据输入、输出流；三是数据类型和来源多样化(Variety)；四是价值(Value)密度低。学校是人类活动非常密集的区域，随着信息技术的不断发展，数字化校园的数据产生主要通过教学活动和教育管理两个渠道实现，在日常教学和管理的过程中，产生了大量的数据，数据存量越来越大，且数据种类繁多(Variety)，规模庞大(Volume)，对数据的输入和处理速度要求较高(Velocity)。综上可以看出，学校数据完全符合大数据所具有的4V特性，是大数据概念范畴当中的一个典型样本。但是，目前各大高校对于学校大数据的利用不是很充分，仅仅利用到其中的一小部分。例如：很多高校开始使用校园一卡通产生的大数据分析学生日常的消费、上网、借阅等数据，从而改进学校的教学和管理。但是，对单一数据的利用不能全面的反应学生所存在的所有问题，从而为学校的精细化管理和决策提供依据。因此，如何充分利用学校产生的数据，从而为学校的精细化管理和决策提供依据是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于高校大数据的可视化综合分析系统，综合利用学校产生的各类数据，从多角度综合分析学生的成长轨迹，从而为学校的精细化管理和决策提供依据。为了实现上述目的，本专利技术采用如下技术方案：一种基于高校大数据的可视化综合分析系统，包括：构建模块、数据获取模块、数据抽取模块、数据预处理模块、存储模块、数据综合分析模块和可视化模块；构建模块，设计行为记录模型，所述行为记录模型为“主体-时间-宾语”结构；数据获取模块，获取日常管理和教学中的各类数据；数据抽取模块，对获取到的数据进行清洗、转换，将非结构化和半结构化的数据转为结构化的数据，并对结构化的数据进行消歧，得到抽取后的数据；数据预处理模块，基于行为记录模型，将抽取到的数据进行关联性组合，并保存；存模模块，采用Hadoop+HDFS+MapReduce文件系统对经过数据预处理模块处理的数据进行统一存储，每日保存一套完整数据文件集，形成数据仓库；数据综合分析模块，基于存储模块形成的数据仓库，对数据进行聚类和预测，将对应的分析结果转换为数据报表，每日形成数据报表文件集；可视化模块，基于数据报表文件集及利用可视化工具建立大数据可视化平台。优选的，所述数据获取模块中收集的各类数据包括：一卡通系统数据、学生公寓系统数据、教务数据、党建数据、就业数据、信息中心数据和财务数据。优选的，所述可视化平台包括：可视化图表模块、分析报告模块、内容检索模块和权限管理模块；所述可视化图表模块，用于根据数据报表，利用可视化工具进行直观展示；所述分析报告模块，用于以文字方式呈现分析结果；所述内容检索模块，用于根据关键词检索分析结果；所述权限管理模块，用于根据用户的级别为客户提供不同的查看权限。优选的，还包括：与所述可视化模块相连的智能终端，供用户从智能终端上查看分析结果。优选的，所述数据综合分析模块采用K-means算法对数据进行聚类。优选的，还包括预警模块，所述预警模块用于根据分析结果对学生给予不同等级的预警提示。优选的，所述可视化模块采用JavaWeb的SpringMVC框架与Echarts组件建立大数据可视化平台。经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于高校大数据的可视化综合分析系统，获取日常管理和教学中的各类数据，并对数据进行统一管理，再根据各类数据多维度综合分析学生的成长轨迹，实现学业预警、精准资助和就业推荐等目的，从而可以为学校对学生进行个性化与精准化的教育管理与引导提供重要依据。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术提供的一种基于高校大数据的可视化综合分析系统的示意图；图2为本专利技术提供的一种基于高校大数据的可视化综合分析系统的总体架构图；图3为本专利技术提供的可视化平台的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见附图1和图2，本专利技术实施例公开了一种基于高校大数据的可视化综合分析系统，具体包括：构建模块、数据获取模块、数据抽取模块、数据预处理模块、存储模块、数据综合分析模块和可视化模块；构建模块，设计行为记录模型，行为记录模型为“主体-时间-行为”结构；其中，这里需要说明的是，主体主要指学生的姓名，时间和行为指某学生在某时间做了某件事，从大量数据中重点提取出这些信息即可，一方面进一步缩小了数据量，另一方面能够在数据预处理时，将不同格式的数据都处理成相同的格式，这样采用统一的数据接口即可进行后续的操作，更加节约数据接口。数据获取模块，获取日常管理和教学中的各类数据；在这里需要说明的是，各类数据包括但不限于：出勤率、迟到率、消费数据、上网数据、去图书馆的频率、借阅数据、进出学生公寓时间、智育成绩、德育成绩、体育成绩、作息规律、吃早餐次数等等。需要强调的是，其他未列举的数据主要是学生在学校生活和学习产生的数据都在本专利技术获取的范围内，不再一一列举。数据抽取模块，对获取到的数据进行清洗、转换，将非结构化和半结构化的数据转为结构化的数据，并对结构化的数据进行消歧，得到抽取后的数据；数据预处理模块，基于行为记录模型，将抽取到的数据进行关联性组合，并保存；其中，对本专利技术所涉及到的一些数据操作进行解释。（1）数据清洗：由于本专利技术中的数据来源于各类系统，各类系统所建设的时间不同，数据结构混乱，采集到的数据也包括已经离校的学生的数据，也有一些学生因为休学、缺考等不确定因素造成数据缺失，为了保证数据的完成性，本专利技术对数据进行清洗，剔除了这些冗余和部分缺失的数据；（2）数据转换：本专利技术采用统计学、聚类和分类的方法将数据进行压缩、泛化和规范化。例如：针对学生的一卡通消费数据，本专利技术采用统计方法将原始数据转换为学生每个月的月消费额、平均每天消费次数、学生消费时间段的频次等能反应学生消费水平和行为规律的数据形式。对于不同的数据进行了相应的数据转换，让数据更有意义；（3）数据消歧：经过对原始数据分析发现，由于数据分别来自不同的系统，所以有很多重复的数据属性，针对重复的数据属性，本专利技术进行消歧处理。另外，还有很多属性与本专利技术的目标挖掘无关。针对此类无关数据属性，本专利技术在预处理阶段根据行为记录模型进行剔除，从而达到降低数据维度的效果，同时，也为后续的处理减少了数据量。存模模块，采用Hadoop+HDFS+MapReduce文件系统对经过数据预处理模块处理的数据进行统一存储，每日保存一套完本文档来自技高网...

【技术保护点】
1.一种基于高校大数据的可视化综合分析系统，其特征在于，包括：构建模块、数据获取模块、数据抽取模块、数据预处理模块、存储模块、数据综合分析模块和可视化模块；构建模块，设计行为记录模型，所述行为记录模型为“主体‑时间‑宾语”结构；数据获取模块，获取日常管理和教学中的各类数据；数据抽取模块，对获取到的数据进行清洗、转换，将非结构化和半结构化的数据转为结构化的数据，并对结构化的数据进行消歧，得到抽取后的数据；数据预处理模块，基于行为记录模型，将抽取到的数据进行关联性组合，并保存；存模模块，采用Hadoop+HDFS+MapReduce文件系统对经过数据预处理模块处理的数据进行统一存储，每日保存一套完整数据文件集，形成数据仓库；数据综合分析模块，基于存储模块形成的数据仓库，对数据进行聚类和预测，将对应的分析结果转换为数据报表，每日形成数据报表文件集；可视化模块，基于数据报表文件集及利用可视化工具建立大数据可视化平台。

【技术特征摘要】
1.一种基于高校大数据的可视化综合分析系统，其特征在于，包括：构建模块、数据获取模块、数据抽取模块、数据预处理模块、存储模块、数据综合分析模块和可视化模块；构建模块，设计行为记录模型，所述行为记录模型为“主体-时间-宾语”结构；数据获取模块，获取日常管理和教学中的各类数据；数据抽取模块，对获取到的数据进行清洗、转换，将非结构化和半结构化的数据转为结构化的数据，并对结构化的数据进行消歧，得到抽取后的数据；数据预处理模块，基于行为记录模型，将抽取到的数据进行关联性组合，并保存；存模模块，采用Hadoop+HDFS+MapReduce文件系统对经过数据预处理模块处理的数据进行统一存储，每日保存一套完整数据文件集，形成数据仓库；数据综合分析模块，基于存储模块形成的数据仓库，对数据进行聚类和预测，将对应的分析结果转换为数据报表，每日形成数据报表文件集；可视化模块，基于数据报表文件集及利用可视化工具建立大数据可视化平台。2.根据权利要求1所述的一种基于高校大数据的可视化综合分析系统，其特征在于，所述数据获取模块中收集的各类数据包括：一卡通系统数据、学生公寓系统数据、教务数据、党建数据、就业数据、信...

【专利技术属性】
技术研发人员：程东，何怀文，李瑞芳，
申请(专利权)人：电子科技大学中山学院，
类型：发明
国别省市：广东,44