一种基于云教学平台的数据库系统技术方案

本发明专利技术涉及数据库领域，尤其涉及一种基于云教学平台的数据库系统，包括：数据采集层，用于采集各业务端的数据；存储与计算层，用于对采集的数据根据数据粒度进行分层存放，并按照特定数据分析需求进行主题、维度、指标的计算；管控层：用于采集、计算任务的时间调度、元数据的管理与维护以及数据生命周期的管理；访问层：用于提供访问端口，并与其他数据平台进行数据共享与交换。通过使用本发明专利技术，可以实现以下效果：对采集的数据根据数据粒度进行分层存放；使得数据结构清晰明了，在使用数据时，就能根据数据层级快速定位数据粒度，还便于数据的血缘分析；对获取的数据进行监控，能够判断出数据是否存在问题。

A Database System Based on Cloud Teaching Platform

【技术实现步骤摘要】
一种基于云教学平台的数据库系统
本专利技术涉及数据库领域，尤其涉及一种基于云教学平台的数据库系统。
技术介绍
目前，教学平台经过近几年飞速的发展，业务范围逐步丰富完善，涵盖了教学生产过程中的各个主要环节。教学平台的数据主要包括如下五大类：教：围绕教师教学活动中的场景与环节，提供灵活多样的提升教师教学效率的应用。应用包括：集备课、预习、授课、作业、检测、教学管理等。学：围绕学生在学校、家庭以及其他环境下的学习情境，提供统一的学习路径，多种学习方式。管：提供丰富的管理功能，帮助教育管理者，教师等开展现代化教务管理工作。考：支持各级教育机构、学校、班级等进行考试，包括线上和线下考试。评：对教师教学，学生学习提供多维度评价体系。但是针对教学过程中的各类数据，例如：各类考试、教师和学生教学数据等等，目前的平台并不能对这些数据进行很好的存储、管理以及利用。
技术实现思路
为解决上述问题，本专利技术提出一种基于云教学平台的数据库系统，用以对数据进行存储、管理以及利用。一种基于云教学平台的数据库系统，包括：数据采集层，用于采集各业务端的数据；存储与计算层，用于对采集的数据根据数据粒度进行分层存放，并按照特定数据分析需求进行主题、维度、指标的计算；管控层：用于采集、计算任务的时间调度、元数据的管理与维护以及数据生命周期的管理；访问层：用于提供访问端口，并与其他数据平台进行数据共享与交换。优选的，所述存储与计算层包括：数据缓冲层，用于保存数据采集层采集的数据，并根据数据建立对应的外表；细节层，用于将数据缓冲层抽取的数据，按主题构建事实表与维度表，在事实表上补全维度；中间层，用于对按主题存放的细节层数据，按照业务指标定义，拆解为最细粒度的指标；数据集市层，用于按照特定数据分析需求进行主题、维度、指标的计算。优选的，所述数据缓冲层针对不同数据源采用不同的采集方案。优选的，所述数据缓冲层包括：第一采集单元，用于对mysql数据源进行表级的数据抽取；第二采集单元，用于对埋点日志采用分布式采集数据；第三采集单元，用于结构化的外部数据采集。优选的，所述第一采集单元采用sharding技术读取分片库数据。优选的，所述存储与计算层还包括：数据监控与调度层，用于数据采集、分层任务的调度并对获取的数据进行监控。优选的，所述对获取的数据进行监控包括：判断数据采集、数据处理过程中的数据量和数据内的各个字段信息是否完整；判断数据记录的格式、字段类型、数据处理前后过程中的数据是否一致以及多源数据集之间的关联信息是否一致；判断数据记录的内容是否准确、数据各个信息的值域范围是否符合业务设定的规范以及是否存在异常或错误数据；判断数据采集的时间间隔是否超过设定的时间周期。优选的，还包括：共享服务层，用于基于计算后的主题数据，对外提供数据服务接口。优选的还包括：应用层，用于基于共享服务层提供的数据服务接口。优选的，还包括：开发运营层，用于基于共享服务层提供的数据服务接口，为分析人员提供即席查询服务。通过使用本专利技术，可以实现以下效果：对采集的数据根据数据粒度进行分层存放；使得数据结构清晰明了，在使用数据时，就能根据数据层级快速定位数据粒度，还便于数据的血缘分析；对获取的数据进行监控，能够判断出数据是否存在问题。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1是本专利技术实施例的结构示意图；图2是本专利技术实施例中存储与计算层的结构示意图；图3是本专利技术实施例中数据缓冲层的结构示意图。具体实施方式以下结合附图，对本专利技术的技术方案作进一步的描述，但本专利技术并不限于这些实施例。本专利技术的基本思想是提供一种基于云教学平台的数据库系统，其对采集的数据根据数据粒度进行分层存放。这种存放方式使得数据结构清晰明了，每一层数据都有自己处理逻辑，有自己的作用域，在使用数据时，就能根据数据层级快速定位数据粒度；还便于数据血缘分析，数据分层之后，层与层之间的表存在依赖关系，如果某一张表数据出现问题，那么可以通过依赖关系快速定位问题，并分析影响范围；减少重复工作量，在规范的数据分层体系下，一些通用的中间层数据，能够极大减少多维度指标的重复计算量；还可以屏蔽原始数据的异常。基于上述构思，本专利技术提出了一种基于云教学平台的数据库系统，如图1所示，包括：数据采集层，用于采集各业务端的数据；存储与计算层，用于对采集的数据根据数据粒度进行分层存放，并按照特定数据分析需求进行主题、维度、指标的计算；管控层：用于采集、计算任务的时间调度、元数据的管理与维护以及数据生命周期的管理；访问层：用于提供访问端口，并与其他数据平台进行数据共享与交换。数据采集层，位于端对端平台的底部，提供数据端口与其他业务端连接，采集其他业务端的数据。在本实施例中，其他业务端的数据包括：教案、学案、课件、授课素材等教育资源、各学生的学习轨迹数据及综合教、学环节中的过程数据、行为数据以及相关元数据等。针对采集到的不同的数据，存放在不同的数据源，以便于输出的分类、提取。存储与计算层对采集的数据根据数据粒度进行分层存放，并按照特定数据分析需求进行主题、维度、指标的计算。如图2所示，存储与计算层包括：数据缓冲层、细节层、中间层以及数据集市层。其中，数据缓冲层向细节层抽取数据，而细节层向中间层抽取数据，使得数据缓冲层、细节层、中间层存放数据的数据粒度依次减小。对采集的数据进行分层存放，在使用数据时，就能根据数据层级快速定位数据粒度，方便数据的处理。数据分层之后，层与层之间的表存在依赖关系，如果某一张表数据出现问题，那么可以通过依赖关系快速定位问题，并分析影响范围。具体的，数据缓冲层，用于保存数据采集层采集的数据，并根据数据建立对应的外表。数据缓冲层以数据表的形式保存数据，数据逻辑的处理都是使用sql语句完成，故需要建立外表的形式存在。为了更方便快速的采集数据，数据缓冲层针对不同数据源采用不同的采集方案。如图3所示，数据缓冲层包括三个不同的采集单元：第一采集单元、第二采集单元、第三采集单元。第一采集单元采用Sqoop工具，用于对mysql数据源进行表级的数据抽取。Sqoop是一款开源的工具，主要用于在Hadoop软件平台与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如：MySQL，Oracle，Postgres等)中的数据导进到Hadoop的HDFS(HadoopDistributedFileSystem)系统中，也可以将HDFS系统的数据导进到关系型数据库中。针对Mysql中分库分表的情况，采用sharding技术读取分片库的逻辑，完美解决分库分表的抽取问题。Sharding可以简单定义为将大数据库分布到多个物理节点上的一个分区方案。每一个分区包含数据库的某一部分，称为一个shard，分区方式可以是任意的，并不局限于传统的水平分区和垂直分区。一个shard可以包含多个表的内容甚至可以包含多个数据库实例中的内容。每个shard被放置在一个数据库服务器上。一个数据库服务器可以处理一个或多个shard的数据。系统中需要有服务器进行查询路由转发，负责将查询转发到包含该查询所访问数据的shard或shards节点上去执行。第二采集单元采用Flume工具，利用flume工具可以分布式收集数据本文档来自技高网...

【技术保护点】
1.一种基于云教学平台的数据库系统，其特征在于，包括：数据采集层，用于采集各业务端的数据；存储与计算层，用于对采集的数据根据数据粒度进行分层存放，并按照特定数据分析需求进行主题、维度、指标的计算；管控层：用于采集、计算任务的时间调度、元数据的管理与维护以及数据生命周期的管理；访问层：用于提供访问端口，进行数据共享与交换。

【技术特征摘要】
1.一种基于云教学平台的数据库系统，其特征在于，包括：数据采集层，用于采集各业务端的数据；存储与计算层，用于对采集的数据根据数据粒度进行分层存放，并按照特定数据分析需求进行主题、维度、指标的计算；管控层：用于采集、计算任务的时间调度、元数据的管理与维护以及数据生命周期的管理；访问层：用于提供访问端口，进行数据共享与交换。2.根据权利要求1所述的一种基于云教学平台的数据库系统，其特征在于，所述存储与计算层包括：数据缓冲层，用于保存数据采集层采集的数据，并根据数据建立对应的外表；细节层，用于将数据缓冲层抽取的数据，按主题构建事实表与维度表，在事实表上补全维度；中间层，用于对按主题存放的细节层数据，按照业务指标定义，拆解为最细粒度的指标；数据集市层，用于按照特定数据分析需求进行主题、维度、指标的计算。3.根据权利要求2所述的一种基于云教学平台的数据库系统，其特征在于，所述数据缓冲层针对不同数据源采用不同的采集方案。4.根据权利要求3所述的一种基于云教学平台的数据库系统，其特征在于，所述数据缓冲层包括：第一采集单元，用于对mysql数据源进行表级的数据抽取；第二采集单元，用于对埋点日志采用分布式采集数据；第三采集单元，用于结构化的外部数据采集。5.根据权利要求4所述的一种基...

【专利技术属性】
技术研发人员：朱旭，崔小龙，赵国炯，
申请(专利权)人：杭州博世数据网络有限公司，
类型：发明
国别省市：浙江,33