一种分布式文件系统数据分布方法及装置制造方法及图纸

本发明专利技术公开了一种分布式文件系统数据分布方法，包括：将文件进行对象化处理，得到该文件的对象文件；运用文件分布算法计算所述对象文件的对象ID；将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。本发明专利技术还公开了一种分布式文件系统数据分布装置。本发明专利技术实现了分布式文件存储容量、价格、扩容及硬件厂商的限制问题。

Data distribution method and device for distributed file system

The invention discloses a data distribution method, distributed file system includes: the document object processing, get the file object file; using the file distribution algorithm to calculate the object file object ID; object files through the ID object mapping to the corresponding to the image storage list, and according to the position of the object storage list confirm the corresponding OSD storage area of the object file. The invention also discloses a data distribution device of a distributed file system. The invention realizes the limitation of the distributed file storage capacity, the price, the expansion and the limitation of the hardware manufacturer.

【技术实现步骤摘要】
一种分布式文件系统数据分布方法及装置
本专利技术涉及分布式系统
，尤其涉及一种分布式文件系统数据分布方法及装置。
技术介绍
在信息爆炸的时代人类获取的数据成指数倍的增长，通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，其缺陷在于其容量的大小、容量增长的速度、数据备份、数据安全等方面的表现随着时代的发展逐步的放大。分布式文件系统可以有效解决数据的存储和管理难题，即将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，由众多的x86硬件平台节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。解决了现有技术传统存储容量、价格、扩容及硬件厂商的限制等关键问题。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种分布式文件系统数据分布方法，旨在解决传统存储容量小、价格高、扩容复杂及其硬件厂商限制等一系列的问题。本专利技术提供的一种分布式文件系统数据分布方法，包括：将文件进行对象化处理，得到该文件的对象文件；运用文件分布算法计算所述对象文件的对象ID；将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。优选地，所述将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域之后，还包括：将所述对象文件存储至对象存储列表的对应OSD存储区域，所述对象文件及对象ID的映射关系保存至对象存储列表。优选地，所述方法，还包括：接收协议客户端发送的控制监管命令，控制协议客户端通过监管节点检测系统节点的健康状态。优选地，所述方法，还包括：通过监管节点系统挂载访问接口检测当前OSD存储区域节点及元数据节点的健康状态；所述数据健康状态包括数据有效性及OSD存储容量。优选地，所述方法，还包括：在接收到写入文件及读取文件指令时，通过通用协议客户端向分布式文件系统中进行写入及读取操作。此外，为实现上述目的，本专利技术还提供一种分布式文件系统数据分布装置，包括：转化模块，用于将文件进行对象化处理，得到该文件的对象文件；计算模块，用于运用文件分布算法计算所述对象文件的对象ID；操作模块，用于将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。优选地，所述装置还包括：存储模块，用于将所述对象文件存储至对象存储列表的对应OSD存储区域，所述对象文件及对象ID的映射关系保存至对象存储列表。优选地，还包括：接收模块，用于接收协议客户端发送的控制监管命令；控制模块，用于控制协议客户端通过监管节点检测系统节点的健康状态。优选地，所述装置还包括：检测模块，用于通过监管节点系统挂载访问接口检测当前OSD存储区域节点及元数据节点的健康状态；所述数据健康状态包括数据有效性及OSD存储容量。优选地，所述装置还包括：处理模块，用于在接收到写入文件及读取文件指令时，通过通用协议客户端向分布式文件系统中进行写入及读取操作。本专利技术通过将文件进行对象化处理，得到该文件的对象文件；运用文件分布算法计算所述对象文件的对象ID；将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。实现了分布式文件存储容量、价格、扩容及硬件厂商的限制等一系列问题。附图说明图1为本专利技术分布式文件系统数据分布方法的第一实施例的流程示意图；图2为分布式文件系统文件存储的相关的步骤；图3为本专利技术分布式文件系统数据分布方法的第二实施例的流程示意图；图4为本专利技术分布式文件系统数据分布方法的第三实施例的流程示意图；图5为本专利技术分布式文件系统数据分布方法的第一实施例的功能模块示意图；图6为本专利技术分布式文件系统数据分布装置的第二实施例的功能模块示意图；图7为本专利技术分布式文件系统数据分布装置的第三实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。基于上述问题，本专利技术提供一种分布式文件系统数据分布方法。参照图1，图1为本专利技术分布式文件系统数据分布方法的第一实施例的流程示意图。在一实施例中，所述方法包括：步骤S10，将文件进行对象化处理，得到所述文件的对象文件；获取需进行存储的文件，所述获取需存储的文件，所述需存储的文件来自有文件存储需求的电子终端或与电子终端关联的其他电子设备；待获取到需进行存储的文件后，将文件进行对象化处理；所述文件对象化处理，根据当前已设置的对象处理方式，对文件进行对象化处理；所述对象化，是主体向客体的转化，具体操作方式与当前已设置的文件对象化方式有关。文件经过对象化处理后，得到所述文件的对象文件。步骤S20，运用文件分布算法计算所述对象文件的对象ID；通过文件分布算法，以所述获取到的有存储需求的文件经过对象化后得到的对象文件为参数进行计算，得到一个随机且唯一的对象ID，所述对象ID与所述对象文件为一对一的关系，且所述对象ID是基于对象文件才生成的，与对象文件具有同一性。所述文件分布算法，为一种随机的文件分布算法，用以生成对象文件的对象ID。步骤S30，将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。将对象文件通过对象ID映射至对象存储列表，即将对象文件保存至对象存储列表，以对象ID为标识在对象存储列表中显示。待对象文件存储完成后，以当前对象存储列表的位置，确认对象文件对应的OSD存储区域。所述对象存储列表对应OSD存储的不同区域，即一个OSD存储区域拥有多个对象存储列表，对象存储列表根据预设顺序排列后，对应至OSD的存储区域，所述OSD存储对应的对象存储列表的预设顺序，根据当前OSD存储区域的相关功能进行设置，即在OSD存储区域设置当前OSD对应的对象存储列表；对象存储列表相当于OSD存储区域的目录，根据对象存储列表设定的范围，以确认该对象存储列表中存储的对象文件在OSD存储区域的范围。可查看图2，图2为分布式文件系统文件存储的相关的步骤。进一步的，所述将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域之后，还包括：将所述对象文件存储至对象存储列表的对应OSD存储区域，所述对象文件及对象ID的映射关系保存至对象存储列表。通过对象ID将所述对象文件存储到对象存储列表后，根据当前对象存储列表位于的OSD存储区域，将存储于该对象存储列表的对象文件继续存储于OSD存储区域中保存，保存至OSD存储区域的对象文件以对象存储列表中映射的对象ID为标识进行。即对象文件及对象ID的映射关系保存至对象存储列表中。本实施例通过将有存储需求的文件进行对象化后，使用该对象文件对应的唯一对象ID存储于对象存储列表后，通过该对象存储列表位于OSD存储区域的位置，将对象文件存储至OSD对应存储位置中，并将该本文档来自技高网...

【技术保护点】
一种分布式文件系统数据分布方法，其特征在于，所述方法包括以下步骤：将文件进行对象化处理，得到所述文件的对象文件；运用文件分布算法计算所述对象文件的对象ID；将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。

【技术特征摘要】
1.一种分布式文件系统数据分布方法，其特征在于，所述方法包括以下步骤：将文件进行对象化处理，得到所述文件的对象文件；运用文件分布算法计算所述对象文件的对象ID；将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。2.如权利要求1所述的分布式文件系统数据分布方法，其特征在于，所述将对象文件通过对象ID映射至对应的对象存储列表，并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域之后，还包括：将所述对象文件存储至对象存储列表的对应OSD存储区域，所述对象文件及对象ID的映射关系保存至对象存储列表。3.如权利要求1所述的分布式文件系统数据分布方法，其特征在于，所述方法，还包括：接收协议客户端发送的控制监管命令，控制协议客户端通过监管节点检测分布式文件系统节点的健康状态，所述分布式文件系统，为当前文件存储至OSD存储区域的整个操作过程。4.如权利要求3所述的分布式文件系统数据分布方法，其特征在于，所述方法，还包括：通过监管节点系统挂载访问接口检测当前OSD存储区域节点及元数据节点的健康状态；所述数据健康状态包括数据有效性及OSD存储容量。5.如权利要求1至4任一项所述的分布式文件系统数据分布方法，其特征在于，所述方法，还包括：在接收到写入文件及读取文件指令时，通过通用协议客户端向分布式文件系统中进...

【专利技术属性】
技术研发人员：李发明，张勤，
申请(专利权)人：深圳市中博睿存信息技术有限公司，
类型：发明
国别省市：广东,44