一种云计算平台的文件分布系统技术方案

本发明专利技术公开一种云计算平台的文件分布系统，包括接收系统、判断系统、处理系统、存储系统；所述接收系统，用于接收分布式文件系统客户端发送的数据资源；所述接收系统包括接收单元，用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息；所述接收系统包括初始化模块；所述判断系统，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；所述处理系统，用于对所接收到的的数据资源进行处理；所述存储系统，用于将处理后的数据资源存储到相应的目标存储区域；采用分布式文件系统的处理方式进行存储，可以便捷、高效且稳定的存储数据资源。

【技术实现步骤摘要】
一种云计算平台的文件分布系统
本专利技术涉及分布式文件系统，特别是一种云计算平台的文件分布系统。
技术介绍
分布式文件系统是实现存储系统扩展性和高可靠的重要技术手段。分布式文件系统包含多个节点(例如，计算机)，其中，任意一个或多个节点出现故障时，文件系统仍然可以正常工作。所谓的分布式是指文件系统的重要控制信息是分布在多个节点上，从而提高了文件系统的整体的可靠性。现有的流媒体视频系统的后端存储大多使用集中式架构，若遇到故障则无法保证服务的可靠性。目前全球企业数据的总容量大约是每三年就要翻两番。因此，如何保证企业拥有足够的存储空间可靠地存储数据，并能满足企业对低成本和高可用的数据需求，已经成为绝大多数企业面对的越来越严峻的挑战。现有技术中，采用分布式文件系统，进行存储和检索，可以减少投资的成本，而采用文件系统方式又存在对于频繁变动数据的存储检索的效率低下的问题。采用分布式文件系统存储数据，实现云存储；云底层应用采用分布式文件系统作存储，在分布式文件系统上操作会跨网络，性能与网络带宽和I/O的限制，应用程序直接在分布式文件系统上写很慢，无法满足实际生产系统的需求。
技术实现思路
为了克服现有技术的上述缺点，本专利技术的目的是提供一种采用分布式文件系统的处理方式进行存储，可以便捷、高效且稳定的存储数据资源的云计算平台的文件分布系统。本专利技术解决其技术问题所采用的技术方案是：一种云计算平台的文件分布系统，所述文件分布系统包括接收系统、判断系统、处理系统、存储系统；所述接收系统，用于接收分布式文件系统客户端发送的数据资源；所述接收系统包括接收单元，用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息；所述接收系统包括初始化模块；所述判断系统，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；所述判断系统包括判断写入模块；所述处理系统，用于对所接收到的的数据资源进行处理；所述处理系统包括写操作模块、判断批次模块和判断完成模块；所述存储系统，用于将处理后的数据资源存储到相应的目标存储区域；所述存储系统包括存储模块和保存模块；所述存储模块包括：多个存储节点、多个接入节点、元数据服务器；存储节点与接入节点一一对应；其中，接入节点，分别设置有相应的逻辑节点号LUN，用于接收到数据存储请求时，完成存储数据的挂载，通过接入节点的LUN建立与分布式文件系统中映射的文件的访问连接；元数据服务器，用于将接入节点的LUN映射成分布式文件系统的至少一个文件，并记录映射关系，将映射关系加入到元数据信息中；根据元数据信息，确定将存储的数据根据LUN写入映射的文件所对应的存储节点；存储节点，用于将存储的数据存储在分布式文件系统映射的文件所对应的存储节点的存储空间。作为本专利技术的进一步改进：所述元数据服务器，还用于根据存储在分布式文件系统映射的文件的数据切片和数据分布信息，更新元数据信息。作为本专利技术的进一步改进：所述元数据信息还包括：分布式文件系统中相应的映射文件分片的数量、偏移量、分布、副本和存储策略，存储接入节点的状态和维护信息。作为本专利技术的进一步改进：所述读取服务器，用于根据元数据信息，获取存储数据所在的分布式文件系统映射的文件的数据切片和数据分布；通过LUN对应的块存储节点的接入节点的进行数据读取。作为本专利技术的进一步改进：元数据服务器还用于，根据元数据信息进行分布式文件系统及块存储节点的调度、对系统内存储介质进行状态维护和容量调整。作为本专利技术的进一步改进：所述初始化模块进行初始化，读入程序的配置信息，记录第一个批次开始的时间；所述保存模块打开分布式文件系统中的一个或多个文件，对于频繁读写的文件，将文件句柄和对应的文件名称保存在内存中；所述判断写入模块判断是否有需要连续写入的数据内容，如果有，将准备连续写入的多个字符串拼接成一个长字符串，将长字符串一次性写入分布式文件系统的文件；否则，直接将数据写入分布式文件系统的文件；所述写操作模块对文件进行写操作，根据保存模块在内存中记录的内容，按照文件名称找到对应的文件句柄，直接进行写入操作，把数据写入分布式文件系统文件中；所述判断批次模块采集获取当前时间，判断是否到达预设的批次时间，如果到达预设的批次时间，调用分布式文件系统的刷数据接口，将写入分布式文件系统缓存的数据刷到磁盘上，否则，进行下一个循环的数据写入；所述判断完成模块判断对应文件的数据是否写完，如果写完，关闭该文件；否则，将当前时间置为下一个批次的开始时间，进行下一个循环的数据写入。作为本专利技术的进一步改进：所述存储系统还包括存储引擎，所述存储引擎包括PigeonFlexObject和PigeonList。与现有技术相比，本专利技术的有益效果是：本专利技术的存储系统具有构建和维护简单、扩容灵活可靠、高可用性、高稳定性和高数据安全性的优点。分布式文件系统数据处理方法通过接收分布式文件系统客户端发送的数据；根据所接收的数据判断所述分布式文件系统客户端所要访问的目标对象；对所接收到的的数据进行处理；将处理后的数据存储到相应的目标存储节点。通过将客户端发送的数据采用分布式文件系统的处理方式进行存储，可以便捷、高效且稳定的存储数据资源。具体实施方式现结合实施例对本专利技术进一步说明：一种云计算平台的文件分布系统，所述文件分布系统包括接收系统、判断系统、处理系统、存储系统；所述接收系统，用于接收分布式文件系统客户端发送的数据资源；所述接收系统包括接收单元，用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息；所述接收系统包括初始化模块；所述判断系统，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；所述判断系统包括判断写入模块；所述处理系统，用于对所接收到的的数据资源进行处理；所述处理系统包括写操作模块、判断批次模块和判断完成模块；所述存储系统，用于将处理后的数据资源存储到相应的目标存储区域；所述存储系统包括存储模块和保存模块；所述存储模块包括：多个存储节点、多个接入节点、元数据服务器；存储节点与接入节点一一对应；其中，接入节点，分别设置有相应的逻辑节点号LUN，用于接收到数据存储请求时，完成存储数据的挂载，通过接入节点的LUN建立与分布式文件系统中映射的文件的访问连接；元数据服务器，用于将接入节点的LUN映射成分布式文件系统的至少一个文件，并记录映射关系，将映射关系加入到元数据信息中；根据元数据信息，确定将存储的数据根据LUN写入映射的文件所对应的存储节点；存储节点，用于将存储的数据存储在分布式文件系统映射的文件所对应的存储节点的存储空间；所述存储节点由多个存储实例组成；同一个存储节点中的多个存储实例保存相同的数据，同一个存储节点的多个存储实例都部署在同的物理服务器上。因为该存储系统中每份待存储数据都会多份保存，如果是在同物理服务器上分布，该存储系统就可以保证高可用和数据安全。当该存储系统的数据增加的时候，就可以灵活动态地增加存储节点来进行扩容。所述元数据服务器，还用于根据存储在分布式文件系统映射的文件的数据切片和数据分布信息，更新元数据信息。所述元数据信息还包括：分布式文件系统中相应的映射文件分片的数量、偏移量、分布、副本和存储策略，存储接入节点的状态和维护信息。所述读取服务器，用于根据本文档来自技高网...

【技术保护点】
1.一种云计算平台的文件分布系统，其特征在于：所述文件分布系统包括接收系统、判断系统、处理系统、存储系统；所述接收系统，用于接收分布式文件系统客户端发送的数据资源；所述接收系统包括接收单元，用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息；所述接收系统包括初始化模块；所述判断系统，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；所述判断系统包括判断写入模块；所述处理系统，用于对所接收到的的数据资源进行处理；所述处理系统包括写操作模块、判断批次模块和判断完成模块；所述存储系统，用于将处理后的数据资源存储到相应的目标存储区域；所述存储系统包括存储模块和保存模块；所述存储模块包括：多个存储节点、多个接入节点、元数据服务器；存储节点与接入节点一一对应；其中，接入节点，分别设置有相应的逻辑节点号LUN，用于接收到数据存储请求时，完成存储数据的挂载，通过接入节点的LUN建立与分布式文件系统中映射的文件的访问连接；元数据服务器，用于将接入节点的LUN映射成分布式文件系统的至少一个文件，并记录映射关系，将映射关系加入到元数据信息中；根据元数据信息，确定将存储的数据根据LUN写入映射的文件所对应的存储节点；存储节点，用于将存储的数据存储在分布式文件系统映射的文件所对应的存储节点的存储空间。...

【技术特征摘要】
1.一种云计算平台的文件分布系统，其特征在于：所述文件分布系统包括接收系统、判断系统、处理系统、存储系统；所述接收系统，用于接收分布式文件系统客户端发送的数据资源；所述接收系统包括接收单元，用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息；所述接收系统包括初始化模块；所述判断系统，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；所述判断系统包括判断写入模块；所述处理系统，用于对所接收到的的数据资源进行处理；所述处理系统包括写操作模块、判断批次模块和判断完成模块；所述存储系统，用于将处理后的数据资源存储到相应的目标存储区域；所述存储系统包括存储模块和保存模块；所述存储模块包括：多个存储节点、多个接入节点、元数据服务器；存储节点与接入节点一一对应；其中，接入节点，分别设置有相应的逻辑节点号LUN，用于接收到数据存储请求时，完成存储数据的挂载，通过接入节点的LUN建立与分布式文件系统中映射的文件的访问连接；元数据服务器，用于将接入节点的LUN映射成分布式文件系统的至少一个文件，并记录映射关系，将映射关系加入到元数据信息中；根据元数据信息，确定将存储的数据根据LUN写入映射的文件所对应的存储节点；存储节点，用于将存储的数据存储在分布式文件系统映射的文件所对应的存储节点的存储空间。2.根据权利要求1所述的一种云计算平台的文件分布系统，其特征在于：所述元数据服务器，还用于根据存储在分布式文件系统映射的文件的数据切片和数据分布信息，更新元数据信息。3.根据权利要求2所述的一种云计算平台的文件分布系统，其特征在于：所述元数据信息还包括：分布式文件系统中相应的映射文件分片的数量、偏移量、分布、副本和存储策略，存储接入节点的状态和维护信息。...

【专利技术属性】
技术研发人员：郑向阳，钟送来，
申请(专利权)人：广州市闲愉凡生信息科技有限公司，
类型：发明
国别省市：广东,44