一种基于学科评估平台的海量数据导入方法技术

本发明专利技术属于数据处理技术领域，尤其为一种基于学科评估平台的海量数据导入方法，包括数据储存系统，所述数据储存系统包括中央处理器、获取模块、筛选模块、文件生成模块与储存模块，所述中央处理器通过5G与获取模块、筛选模块、文件生成模块、储存模块信号连接，所述获取模块与筛选模块信号连接，所述筛选模块与文件生成模块信号连接；本发明专利技术，通过设置中央处理器、获取模块、筛选模块、文件生成模块与储存模块，在实际的使用中，通过上述之间的配合，可对海量数据根据搜索次数与类型的不同进行集中分类处理，从而不仅方便了数据的找寻，而且可对一些长时间未使用与检索到的数据进行集中分类，从而方便删除与集中处理。

A massive data import method based on subject evaluation platform

【技术实现步骤摘要】
一种基于学科评估平台的海量数据导入方法
本专利技术属于数据处理
，具体涉及一种基于学科评估平台的海量数据导入方法。
技术介绍
随着科技的发展，基于学科评估平台的智能化教学有效提高了教学效率和教学质量。例如，教师可以通过远程视频教学实现跨地域教学。又例如，学生可以通过电子终端进行在线学习和测试。随着互联网技术的发展和应用软件的成熟，计算机技术在各个行业及人们日常生活中被广泛使用，并且每天都在产生海量数据，为了挖据这些数据的价值，需要对这些数据进行统计分析，现有技术中针对基于学科评估平台的海量数据导入方法存在一些弊端，无法对海量数据进行良好的分类归纳整理，从而不便数据的找寻与本地磁盘的利用。
技术实现思路
为解决上述
技术介绍
中提出的问题。本专利技术提供了一种基于学科评估平台的海量数据导入方法，具有分纳整理与提高磁盘利用率的特点。为实现上述目的，本专利技术提供如下技术方案：一种基于学科评估平台的海量数据导入方法，包括数据储存系统，所述数据储存系统包括中央处理器、获取模块、筛选模块、文件生成模块与储存模块，所述中央处理器通过5G与获取模块、筛选模块、文件生成模块、储存模块信号连接，所述获取模块与筛选模块信号连接，所述筛选模块与文件生成模块信号连接，所述文件生成模块与储存模块信号连接，其使用步骤为：步骤一：通过中央处理器控制获取模块从数据库中获取数据；步骤二：获取模块内部获取的数据通过信号传输给筛选模块；步骤三：筛选模块对用户搜索次数不同和不同类型的数据进行分类归纳；<br>步骤四：分类归纳过后的数据经筛选模块传输给文件生成模块；步骤五：文件生成模块对分类归纳后的数据进行集中生成写出；步骤六：写出后的数据经文件生成模块传输给储存模块进行储存。优选的，所述筛选模块包括数据解析模块、文件分类模块、数据整理模块与集中传输模块，所述文件分类模块与数据解析模块信号连接，所述数据解析模块与数据整理模块信号连接，所述数据整理模块与集中传输模块信号连接，其使用步骤为：步骤一：数据解析模块会接收来自获取模块内部的数据，对其进行数据类型的不同与用户搜索次数的分析；步骤二：数据处理模块对解析过后的数据进行分类整理；步骤三；文件分类模块会对经数据处理模块分类整理过后的数据导入不同类型的空文件的内部；步骤四：集中传输模块会对不同空文件内部的数据进行集中传输给文件生成模块。优选的，所述文件生成模块包括空文件配置模块、数据写入模块与数据上传模块，所述空文件配置模块与数据写入模块信号连接，所述空文件配置模块与数据上传模块信号连接，其使用步骤为：步骤一：数据写入模块会接收来自集中传输模块内的数据文件；步骤二：空文件配置模块会在文件生成模块的内部配置出与数据类型相适配的空文件；步骤三：数据写入模块会在空文件的内部写入与空文件相适配的同类型数据；步骤四：数据上传模块会上传写入完成的数据文件给储存模块。优选的，所述储存模块包括数据乱序处理模块与储存文件命名模块，其使用步骤为：步骤一：数据乱序处理模块会接收来自数据上传模块内部的数据对其乱序的排列进行顺序排列；步骤二：储存文件命名模块会对同类型的数据文件进行与之相对应的命名。与现有技术相比，本专利技术的有益效果是：本专利技术，通过设置中央处理器、获取模块、筛选模块、文件生成模块与储存模块，在实际的使用中，通过上述之间的配合，可对海量数据根据搜索次数与类型的不同进行集中分类处理，从而不仅方便了数据的找寻，而且可对一些长时间未使用与检索到的数据进行集中分类，从而方便删除与集中处理。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术中数据储存系统的结构示意图；图2为本专利技术中筛选模块的结构示意图；图3为本专利技术中文件生成模块的结构示意图；图4为本专利技术中储存模块的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例1请参阅图1-4，本专利技术提供以下技术方案：一种基于学科评估平台的海量数据导入方法，包括数据储存系统，所述数据储存系统包括中央处理器、获取模块、筛选模块、文件生成模块与储存模块，所述中央处理器通过5G与获取模块、筛选模块、文件生成模块、储存模块信号连接，所述获取模块与筛选模块信号连接，所述筛选模块与文件生成模块信号连接，所述文件生成模块与储存模块信号连接，通过设置中央处理器、获取模块、筛选模块、文件生成模块与储存模块，在实际的使用中，通过上述之间的配合，可对海量数据根据搜索次数与类型的不同进行集中分类处理，从而不仅方便了数据的找寻，而且可对一些长时间未使用与检索到的数据进行集中分类，从而方便删除与集中处理，其使用步骤为：步骤一：通过中央处理器控制获取模块从数据库中获取数据；步骤二：获取模块内部获取的数据通过信号传输给筛选模块；步骤三：筛选模块对用户搜索次数不同和不同类型的数据进行分类归纳；步骤四：分类归纳过后的数据经筛选模块传输给文件生成模块；步骤五：文件生成模块对分类归纳后的数据进行集中生成写出；步骤六：写出后的数据经文件生成模块传输给储存模块进行储存。具体的，所述筛选模块包括数据解析模块、文件分类模块、数据整理模块与集中传输模块，所述文件分类模块与数据解析模块信号连接，所述数据解析模块与数据整理模块信号连接，所述数据整理模块与集中传输模块信号连接，在数据解析模块的作用下会对数据进行精准的分析，从而方便数据的分类整理，其使用步骤为：步骤一：数据解析模块会接收来自获取模块内部的数据，对其进行数据类型的不同与用户搜索次数的分析；步骤二：数据处理模块对解析过后的数据进行分类整理；步骤三；文件分类模块会对经数据处理模块分类整理过后的数据导入不同类型的空文件的内部；步骤四：集中传输模块会对不同空文件内部的数据进行集中传输给文件生成模块。具体的，所述文件生成模块包括空文件配置模块、数据写入模块与数据上传模块，所述空文件配置模块与数据写入模块信号连接，所述空文件配置模块与数据上传模块信号连接，在数据写入模块与空文件配置文件模块的配合下，可对数据文件按照类型写进相同的空文件内部，从而方便数据的分类，其使用步骤为：步骤一：数据写入模块会接收来自集中传输模块内的数据文件；步骤二：空文件配置模块会在文件生成模块的内部配置出与数据类型相适配的空文件；步骤三：数据写入模块会在空文件的内部写入与空文件相适配的同类型数据；步骤四：数据上传模块会上传写入完本文档来自技高网...

【技术保护点】
1.一种基于学科评估平台的海量数据导入方法，包括数据储存系统，其特征在于：所述数据储存系统包括中央处理器、获取模块、筛选模块、文件生成模块与储存模块，所述中央处理器通过5G与获取模块、筛选模块、文件生成模块、储存模块信号连接，所述获取模块与筛选模块信号连接，所述筛选模块与文件生成模块信号连接，所述文件生成模块与储存模块信号连接，其使用步骤为：/n步骤一：通过中央处理器控制获取模块从数据库中获取数据；/n步骤二：获取模块内部获取的数据通过信号传输给筛选模块；/n步骤三：筛选模块对用户搜索次数不同和不同类型的数据进行分类归纳；/n步骤四：分类归纳过后的数据经筛选模块传输给文件生成模块；/n步骤五：文件生成模块对分类归纳后的数据进行集中生成写出；/n步骤六：写出后的数据经文件生成模块传输给储存模块进行储存。/n

【技术特征摘要】
1.一种基于学科评估平台的海量数据导入方法，包括数据储存系统，其特征在于：所述数据储存系统包括中央处理器、获取模块、筛选模块、文件生成模块与储存模块，所述中央处理器通过5G与获取模块、筛选模块、文件生成模块、储存模块信号连接，所述获取模块与筛选模块信号连接，所述筛选模块与文件生成模块信号连接，所述文件生成模块与储存模块信号连接，其使用步骤为：
步骤一：通过中央处理器控制获取模块从数据库中获取数据；
步骤二：获取模块内部获取的数据通过信号传输给筛选模块；
步骤三：筛选模块对用户搜索次数不同和不同类型的数据进行分类归纳；
步骤四：分类归纳过后的数据经筛选模块传输给文件生成模块；
步骤五：文件生成模块对分类归纳后的数据进行集中生成写出；
步骤六：写出后的数据经文件生成模块传输给储存模块进行储存。


2.根据权利要求1所述的一种基于学科评估平台的海量数据导入方法，其特征在于：所述筛选模块包括数据解析模块、文件分类模块、数据整理模块与集中传输模块，所述文件分类模块与数据解析模块信号连接，所述数据解析模块与数据整理模块信号连接，所述数据整理模块与集中传输模块信号连接，其使用步骤为：
步骤一：数据解析模块会接收来自获取模块内部的数据，对其进行数据类型的不同与用户...

【专利技术属性】
技术研发人员：王华松，徐明，邓雄尧，陈敏浩，孔庆朗，颜文德，
申请(专利权)人：广州欧赛斯信息科技有限公司，
类型：发明
国别省市：广东;44