基于智慧校园中台的对象存储装置及方法制造方法及图纸

本发明专利技术公开了一种基于智慧校园中台的对象存储装置及方法，其装置设置于对象存储系统的代理服务器，所述代理服务器与用户终端通信连接，包括：控制模块，布置于对象存储装置的客户端，用于指定存储对象文件的存储服务器；切块模块，用于将所述存储对象文件切分成若干个数据子文件；存储模块，用于创建有序列表文件，读取/写入所述数据子文件分割结点信息和存储结点信息。本发明专利技术通过构建一种位置感知写入机制，为对象存储系统提供放置控制，在对象存储系统中实现高效的对象重命名，解决了数据写入性能问题。

【技术实现步骤摘要】
基于智慧校园中台的对象存储装置及方法
本专利技术涉及大数据对象存储系统设计
，具体地说，是一种基于智慧校园中台的对象存储装置及方法。
技术介绍
智慧校园中台用于构建教育基础数据仓库，实现用户数据的采集和汇聚，集成电信的计费通道，实现对用户的统一计费管理，构建教育数据的互联互通体系，建设信息化基础支撑平台，以信息应用为导向，为整个教育信息化建设框架搭建提供支撑和服务，实现“统一用户认证，统一数据中心，第三方应用接入管理”。实现前端校园门户与后端智慧校园应用整合，实现应用的实施和计费管控。消除信息孤岛和应用空白，提高工作效率，提高管理效率，提高决策效率。其构建目标是：1)实现后台应用的接入和应用供应商及提供第三方应用的统一接入和管理；2)实现的统一校园用户数据规范，统一认证和应用授权，同时实现业务订单和电信商务领航平台数据同步；3)实现对翼校通等校园前台系统提供应用赋能，校园用户通过原有校园应用门户一次认证即可进入中台接入的应用功能界面；4)加快电信校园业务发展和运营的集约化管理，建设数据中心沉淀业务大数据，建设开放平台引入外部合作，发展智慧教育，促进信息技术与教育的深度融合，促进移动互联网背景下教育管理、教与学的深刻变革，服务于智慧城市、学习型城市建设和公众需求，实现优质教育资源广泛共享，提升教育公平水准，推动教育现代化发展。智慧校园中台项目建设的数据中心系统，通过数据交换子系统实现从教育应用生态厂家汇聚教育教学过程化数据和教学资源文本类、视频类、文件类等非结构化数据，通过数据存储子系统提供的存储海量文件的分布式存储服务，实现数据的快速入仓和大小文件的随时访问。基于对象的存储系统(如阿里OSS，百度BOS，AmazonS3，OpenStackSwift等)因几乎无限的伸缩性和较高的经济效益，已成为大规模存储的重要解决方案。随着企业在对象存储系统中存入更多数据，对这些数据做大数据分析正日益重要。分布式对象存储系统，提供了快速的读取、减少访问的时延，以满足项目的实际需求，同时由于其具有可伸缩性和低成本优势而成为一种有吸引力的存储解决方案，并且在项目建设中得到广泛的部署。为了分析保存在对象存储系统中的数据，同时避免把数据复制到分布式文件系统(例如HDFS)的昂贵过程，很自然地直接将它们用作数据并行分析框架(例如Spark或MapReduce)的存储后端。然而在对象存储上执行数据并行框架存在严重的性能问题：1.对象名称到存储结点的哈希映射过程，妨碍对象重命名时的文件写入，并增加了时延；2.与传统文件块相比，对象的粒度更粗，从而降低了读取期间的并行性。现有的解决方案试图通过避免昂贵的数据操作，特别是在避免重命名操作来解决数据并行分析工作中的写入性能问题，导致操作受限。
技术实现思路
本专利技术的目的是针对现有技术中的不足，提供一种基于智慧校园中台的对象存储装置及方法，通过构建一种位置感知写入机制，为对象存储系统提供放置控制，在对象存储系统中实现高效的对象重命名，解决了数据写入性能问题；同时通过在对象存储时将对象数据切块，然后在集群中的不同服务器上存储切块的多个副本，解决了数据读取性能问题。最终实现将存储结点和计算结点布署于同一集群上，无缝集成分析框架和对象存储系统而不会造成明显的性能损失，避免了远程数据读写的额外时延，从而达到最大的数据分析性能。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。第一方面，本专利技术提供了一种基于智慧校园中台的对象存储装置，所述对象存储装置设置于对象存储系统的代理服务器，所述代理服务器与用户终端通信连接，所述对象存储装置包括：控制模块，布置于对象存储装置的客户端，用于指定存储对象文件的存储服务器；切块模块，用于将所述存储对象文件切分成若干个数据子文件；存储模块，用于创建有序列表文件，读取/写入所述数据子文件分割结点信息和存储结点信息。优选的，所述控制模块包括：解析单元，解析存储对象的有序列表文件，提取对象文件的切块数；更新单元，通过一致性哈希算法更新存储对象的存储结点信息。优选的，所述切块模块根据客户端指令将原始对象文件透明地切分成若干个任意固定大小的数据子文件。优选的，所述存储模块包括：列表文件存储单元，用于存储以原始对象为名称的所述有序列表文件，结点存储单元，用于存储所述数据子文件的分割结点信息和存储结点信息。第二方面，本专利技术提供了一种基于智慧校园中台的对象存储方法，所述方法通过对象存储系统中客户端指定的代理服务器执行，所述代理服务器与用户终端通信连接，所述方法包括：将接收到的存储对象文件切分成若干个数据子文件；创建以原始对象文件为名称的有序列表文件；获取所述数据子文件的分割结点信息和存储结点信息，并将所述分割结点信息和存储结点信息写入所述序列表文件中。优选的，所述将接收到的原始对象文件切分成若干个数据子文件的步骤包括：对指定的对象数据进行透明地切分成若干个任意固定大小的数据子文件；根据所述数据子文件在集群中的位置分别对其进行独立命名。优选的，获取所述数据子文件的存储结点信息的步骤包括：分别对所述原始对象文件和所述数据子文件哈希得到其各自的哈希值；根据所述哈希值，采用一致性哈希算法计算所述原始对象文件和所述数据子文件的存储结点。优选的，所述将接收到的存储对象文件切分成若干个数据子文件的步骤之前还包括：判断接收到的存储对象文件是否有保存记录，如果是，则所述存储对象文件即为原始对象文件，直接对其解析后重新获取所述数据子文件的分割结点信息和存储结点信息；如果否，则哈希该存储对象文件名，根据哈希值创建以该存储对象文件为名称的有序列表文件。第三方面，本专利技术提供了一种服务器，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现前述第一方面提供的任一项的对象存储方法的步骤。第四方面，本专利技术实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行前述第一方面提供的任一项的对象存储方法的步骤。本专利技术优点在于：1、本专利技术的对象存储装置设置于对象存储系统的代理服务器，通过所述代理服务器与用户终端通信连接，实现分析框架和对象存储系统之间无缝集成，且能够避免明显的性能损失2、本专利技术的对象存储装置通过控制模块和切块模块在客户端与代理服务器之间构建一种位置感知写入机制，为对象存储系统提供放置控制，控制对象存储位置，从而消除作业完成期间，重命名所导致的不必要的I/O操作，在不引入集中式组件的情况下，打破了对象名称与其哈希计算的位置之间的依赖关系，因此不会影响可伸缩性，提高作业分析速度3、本专利技术方法通过切块模块在客户端与对象存储系统之间构建切块机制，透明地将存储对象文件切成小块，以改善数据局部性，然后在集群中的不同服务器上存储切块的多个副本，提高了读本文档来自技高网...

【技术保护点】
1.一种基于智慧校园中台的对象存储装置，其特征在于，所述对象存储装置设置于对象存储系统的代理服务器，所述代理服务器与用户终端通信连接，所述对象存储装置包括：/n控制模块，布置于对象存储装置的客户端，用于指定存储对象文件的存储服务器；/n切块模块，用于将所述存储对象文件切分成若干个数据子文件；/n存储模块，用于创建有序列表文件，读取/写入所述数据子文件分割结点信息和存储结点信息。/n

【技术特征摘要】
1.一种基于智慧校园中台的对象存储装置，其特征在于，所述对象存储装置设置于对象存储系统的代理服务器，所述代理服务器与用户终端通信连接，所述对象存储装置包括：
控制模块，布置于对象存储装置的客户端，用于指定存储对象文件的存储服务器；
切块模块，用于将所述存储对象文件切分成若干个数据子文件；
存储模块，用于创建有序列表文件，读取/写入所述数据子文件分割结点信息和存储结点信息。


2.根据权利要求1所述的基于智慧校园中台的对象存储装置，其特征在于，所述控制模块包括：
解析单元，用于解析存储对象的有序列表文件，提取对象文件的切块数；
更新单元，用于通过一致性哈希算法更新存储对象的存储结点信息。


3.根据权利要求1或2所述的基于智慧校园中台的对象存储装置，其特征在于，所述切块模块根据客户端指令将原始对象文件透明地切分成若干个任意固定大小的数据子文件。


4.根据权利要求3所述的基于智慧校园中台的对象存储装置，其特征在于，所述存储模块包括：
列表文件存储单元，用于存储以原始对象为名称的所述有序列表文件，
结点存储单元，用于存储所述数据子文件的分割结点信息和存储结点信息。


5.一种基于智慧校园中台的对象存储方法，其特征在于，所述方法通过对象存储系统中客户端指定的代理服务器执行，所述代理服务器与用户终端通信连接，所述方法包括：
将接收到的存储对象文件切分成若干个数据子文件；
创建以原始对象文件为名称的有序列表文件；
获取所述数据子文件的分割结点信息和存储结点信息，并将所述分割结点...

【专利技术属性】
技术研发人员：张旻，张爱军，郭怡培，张武增，林东旭，张晶，汪峰，
申请(专利权)人：中国电信股份有限公司河南分公司，
类型：发明
国别省市：河南;41