一种基于校园大数据清洗的服务系统技术方案

本发明专利技术公开的一种基于校园大数据清洗的服务系统，包括校园管理服务器，数据收集系统、数据分类系统、数据清洗系统、数据分析系统；数据收集系统通过学生服务子系统、教学服务子系统和资源管理子系统收集数据；数据分类系统调取数据进行类别划分，创建数据组织网；根据数据组织网中不同数据结构扩展结构信息表；数据清洗系统根据结构信息表从数据组织网中剔除冗余数据结构的数据；数据分析系统分析数据之间的关联性，构建数据关系网，将具有相关性的数据重新组成事实表，存储至校园管理服务器。本发明专利技术能够针对不同数据流进行分类清洗处理，并进行关联分析，发现数据内部的价值和规律，提高分析效率的同时，为学校的精细化管理和决策提供依据。

【技术实现步骤摘要】
一种基于校园大数据清洗的服务系统
本专利技术涉及数据分析
，特别涉及一种基于校园大数据清洗的服务系统。
技术介绍
随着现代教育地不断发展，老师、学生、管理者在教学、生活、管理过程中积累了海量数据，并且还在以更快地速度增长，例如在学生的成绩、上网记录和就餐消费等方面就产生了大量的数据，除此之外还有教学设备、教室信息和图书等领域。数据已成为学校日益重要的无形资产。因此如何合理的利用这些数据进行教学的管理和决策成为学校快速发展有利的动力和基础。高校大数据的数据来源非常广泛，既包括传统的关系型数据库，也包括XML等半结构化数据，以及以视频、音频、文本和其他形式存在的非结构化数据。因此，需要整合各种碎片化的数据，对数据进行清洗，保证数据质量。目前的数据清洗方法大多是针对某类特定应用域的数据清洗，在设计模式和使用方式等方面虽然能够根据发现的错误模式，编制程序或借助于外部标准源文件、数据字典等手段，在一定程度上修正错误；但经常须编制复杂的程序或借助于人工干预完成，对于不同数据流的分类处理不具有通用性。因此，如何提供一种数据分析效率高，能够针对不同类型数据进行有效清洗的校园服务系统是本领域技术人员亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于校园大数据清洗的服务系统，能够针对不同数据流进行分类清洗处理，并进行关联分析，发现数据内部的价值和规律，提高分析效率的同时，为学校的精细化管理和决策提供依据。为实现上述目的其具体方案如下：本专利技术公开了一种基于校园大数据清洗的服务系统，包括校园管理服务器，与所述校园管理服务器相连的数据收集系统、数据分类系统、数据清洗系统和数据分析系统；其中，所述数据收集系统包括三个子系统，分别为学生服务子系统、教学服务子系统和资源管理子系统；三个所述子系统收集数据并存储至校园管理服务器；所述数据分类系统从所述校园管理服务器中调取数据，并将数据按照三个所述子系统进行类别划分，创建数据组织网；并根据所述数据组织网中不同数据结构扩展结构信息表；所述数据清洗系统根据所述结构信息表，从所述数据组织网中剔除冗余数据结构的数据，完成清洗；所述数据分析系统对清洗后的各类数据进行分解，分析与梳理数据之间的关联信息，构建围绕学生、教学、资源为中心的数据关系网，将具有相关性的数据重新组成事实表，存储至所述校园管理服务器。本专利技术将采集的原始校园大数据根据不同服务子系统分类后进行清理处理，建立校园大数据平台。清洗过程中融合数据结构信息，剔除大数据中不需要的结构数据，并建立数据关系网，实现了对校园大数据中各种信息的综合分析挖掘，将学生学习、生活数据，教学相关数据，以及高校资源等数据进行有效连接与互通，实现以数据流为核心的数据链条，通过关联分析，充分发挥数据的核心与重要价值。优选的，三个所述子系统收集的数据包括：学生服务子系统收集学生数据：学生基本信息、学生成绩数据、无线网数据、消费数据；教学服务子系统收集教学数据：教学设备信息、教室信息；资源管理子系统收集资源数据：图书数据、课程数据。优选的，按照三个所述子系统进行类别划分具体包括，为所述学生数据创建学生标签进行标记，为所述教学数据创建教学标签进行标记，为所述资源数据创建资源标签进行标记。优选的，所述数据分类系统从所述校园管理服务器中自动调取数据，由所述校园管理服务器向所述数据分类系统发出时钟信号，所述数据分类系统响应时钟信号并进行数据调取。可以实现数据的自动调取功能，实时分析并更新各类数据间的关联性，提高了服务系统的自动化性能。优选的，所述结构信息表中关联数据的结构属性标识信息，所述结构属性标识信息中的冗余数据结构为用户根据结构属性标识信息进行自定义。通过自定义的人性化设置方式，使得对数据的清洗具有广泛适用性。优选的，所述清洗方法采用半监督学习算法，首先选择所述结构信息表中的各数据结构信息，确定生成簇的个数k，然后确定初始聚类中心，通过K-means模糊聚类分析方法对不同数据结构进行语义内容标记，根据所述语义内容标记从所述数据组织网中剔除冗余数据结构的数据。优选的，还包括可视化平台，用于显示并查询三个所述子系统收集的数据；并将所述事实表中的数据以图形、图表的形式进行显示，或将所述事实表转化为文档，并显示下载链接地址。以直观、新颖的可视图方式为学校各方面工作开辟更有效的决策渠道。优选的，所述可视化平台还包括编辑模块，用于输入用户自定义信息，以及对所述学生数据、教学数据和资源数据的修改编辑。本专利技术对数据的修改、增加、删减操作更加便捷，通过统一的平台就可以完成数据的编辑操作。本专利技术相较现有技术具有以下有益效果：1）在数据价值和生态模式上进行创新，通过大数据，将学生数据、教学数据、资源数据形成以数据流为核心的信息链条，并通过关联分析、数据挖掘，产生创新、积极性的作用，充分发挥数据的核心与重要价值；2）通过聚类分析和关联分析等技术方案，分析学生成绩与学生的出勤、消费等信息的相关性，教学设备与教室分配之间的合理性，高校知识资源利用率，实现了类别内数据的高内聚和类别间数据的松耦合。能够更加直观地在数据中发现规律，为学校的精细化管理和决策提供依据；3）高校大数据能够以直接调用的方式进行统一管理，提供真正意义上的实时大数据。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术一种基于校园大数据清洗的服务系统的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见附图1，为基于校园大数据清洗的服务系统的结构框图，该实施例提供的一种基于校园大数据清洗的服务系统，包括：校园管理服务器，与校园管理服务器相连的数据收集系统、数据分类系统、数据清洗系统和数据分析系统；数据收集系统包括三个子系统，分别为学生服务子系统、教学服务子系统和资源管理子系统；三个子系统收集数据并存储至校园管理服务器；三个子系统收集的数据包括：学生服务子系统收集学生数据：学生基本信息、学生成绩数据、无线网数据、消费数据；教学服务子系统收集教学数据：教学设备信息、教室信息；资源管理子系统收集资源数据：图书数据、课程数据。其中，学生服务子系统与校园一卡通系统绑定，通过一卡通系统获取学生出勤、上网时长、消费习惯等数据，分析学生成绩与学生的出勤、消费等信息的相关性，从而实现如学生失联、学位异常、消费、沉迷上网、困难贫困生自动预警。这样可针对不同需求进行大数据分析，提取有用的信息。数据分类系统从校园管理服务器中自动调取数据，由校园管理服务器向数据分类系统发出时钟信号，数据分类系统响应时钟信号并进行数据调取，并将数据按照三个子系统进行类别划分，包括，为学生数据创建学生标签进行标记，为教学数据创建教学标签进行标记，为资源数据创建资源标签进行标记，基于标记后的数据本文档来自技高网...

【技术保护点】
1.一种基于校园大数据清洗的服务系统，其特征在于：包括校园管理服务器，与所述校园管理服务器相连的数据收集系统、数据分类系统、数据清洗系统和数据分析系统；其中，所述数据收集系统包括三个子系统，分别为学生服务子系统、教学服务子系统和资源管理子系统；三个所述子系统收集数据并存储至校园管理服务器；所述数据分类系统从所述校园管理服务器中调取数据，将数据按照三个所述子系统进行类别划分，创建数据组织网；并根据所述数据组织网中不同数据结构扩展结构信息表；所述数据清洗系统根据所述结构信息表，从所述数据组织网中剔除冗余数据结构的数据，完成清洗；所述数据分析系统对清洗后的各类数据进行分解，分析与梳理数据之间的关联信息，构建围绕学生、教学、资源为中心的数据关系网，将具有相关性的数据重新组成事实表，存储至所述校园管理服务器。

【技术特征摘要】
1.一种基于校园大数据清洗的服务系统，其特征在于：包括校园管理服务器，与所述校园管理服务器相连的数据收集系统、数据分类系统、数据清洗系统和数据分析系统；其中，所述数据收集系统包括三个子系统，分别为学生服务子系统、教学服务子系统和资源管理子系统；三个所述子系统收集数据并存储至校园管理服务器；所述数据分类系统从所述校园管理服务器中调取数据，将数据按照三个所述子系统进行类别划分，创建数据组织网；并根据所述数据组织网中不同数据结构扩展结构信息表；所述数据清洗系统根据所述结构信息表，从所述数据组织网中剔除冗余数据结构的数据，完成清洗；所述数据分析系统对清洗后的各类数据进行分解，分析与梳理数据之间的关联信息，构建围绕学生、教学、资源为中心的数据关系网，将具有相关性的数据重新组成事实表，存储至所述校园管理服务器。2.根据权利要求1所述的一种基于校园大数据清洗的服务系统，其特征在于，三个所述子系统收集的数据包括：学生服务子系统收集学生数据：学生基本信息、学生成绩数据、无线网数据、消费数据；教学服务子系统收集教学数据：教学设备信息、教室信息；资源管理子系统收集资源数据：图书数据、课程数据。3.根据权利要求1所述的一种基于校园大数据清洗的服务系统，其特征在于，按照三个所述子系统进行类别划分具体包括，为所述学生数据创建学生标签进行标记，为所述教学数据创建教学标签进行...

【专利技术属性】
技术研发人员：程东，何怀文，李瑞芳，
申请(专利权)人：电子科技大学中山学院，
类型：发明
国别省市：广东,44