一种文件处理方法、装置、设备及存储介质制造方法及图纸

本申请涉及数据处理技术领域，公开了一种文件处理方法、装置、设备及存储介质，应用于节点服务器，包括：将预设类型文件存储至分布式存储系统中的第一数据仓库；其中，预设类型文件由计算引擎获取原始数据并对原始数据进行计算得到；当部署在本地的第一服务监测到第一数据仓库中存在预设类型文件，利用第一服务将预设类型文件转移至分布式存储系统中的第二数据仓库中进行存储，以使第一服务从第二数据仓库中查询预设类型文件；其中，文件转移过程中第一服务同时具有第一数据仓库和第二数据仓库的访问权限，文件查询过程中第一服务仅具有第二数据仓库的访问权限。本申请中第一服务在转移文件和查询文件时能够具有不同的权限，从而提高访问安全性。从而提高访问安全性。从而提高访问安全性。

【技术实现步骤摘要】
一种文件处理方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，特别涉及一种文件处理方法、装置、设备及存储介质。

技术介绍

[0002]HDFS(Distributed Storage System)是基于流数据访问模式的分布式存储系统，其设计建立在“一次写入、多次读取”的基础上，提供高吞吐量、高容错性的数据访问，能很好地解决海量数据的存储问题。但现有的分布式存储系统HDFS却不能在存储目录之间的数据访问进行权限隔离，导致数据安全性降低。例如，对于日志服务，只希望用户能访问日志文件而不希望访问日志文件之外的其他文件，但由于分布式文件系统HDFS的存储特点，无法实现存储目录之间的数据访问权限隔离。
[0003]因此，上述技术问题是本领域技术人员亟待解决的。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种数据处理方法、装置、设备及存储介质，能够对预设类型文件进行分离存储，提高访问安全性。其具体方案如下：
[0005]本申请的第一方面提供了一种数据处理方法，应用于节点服务器，包括：
[0006]将预设类型文件存储至分布式存储系统中的第一数据仓库；其中，所述预设类型文件由计算引擎获取原始数据并对所述原始数据进行计算得到；
[0007]当部署在本地的第一服务监测到所述第一数据仓库中存在所述预设类型文件，利用所述第一服务将所述预设类型文件转移至所述分布式存储系统中的第二数据仓库中进行存储，以使所述第一服务从所述第二数据仓库中查询所述预设类型文件；其中，文件转移过程中所述第一服务同时具有所述第一数据仓库和所述第二数据仓库的访问权限，文件查询过程中所述第一服务仅具有所述第二数据仓库的访问权限。
[0008]可选的，所述文件处理方法，还包括：
[0009]获取客户端发送的包含目标文件信息的文件请求；
[0010]利用所述第一服务确定与所述文件请求对应的目标地址；其中，所述目标地址下的文件为由所述第一服务将所述第一数据仓库中存储的预设类型文件转移至所述第二数据仓库中进行存储的文件；
[0011]将所述目标地址返回所述客户端，以便所述客户端利用部署在所述节点服务器的第二服务获取挂载在本地的所述分布式文件系统的所述目标地址中的所述目标文件。
[0012]可选的，文件转移过程中的所述第一服务是基于第一用户组中的共享用户将所述第一数据仓库中的所述预设类型文件转移至所述第二数据仓库中进行存储；其中，所述第一数据仓库专属于所述第一用户组，所述第二数据仓库专属于第二用户组，所述共享用户同时为所述第二用户组中的用户。
[0013]可选的，文件查询过程中的所述第一服务是基于所述第二用户组中除所述第一用
户组用户之外的用户对所述第二数据仓库进行查询，得到与所述文件请求对应的所述目标地址。
[0014]可选的，所述客户端利用部署在所述节点服务器的第二服务获取挂载在所述节点服务器上的分布式文件系统的所述目标地址中的所述目标文件，包括：
[0015]所述客户端通过代理服务器将所述目标地址发送至部署有NFS网关的所述节点服务器；
[0016]所述NFS网关将所述分布式文件系统的文件集群挂载至所述节点服务器，以获取所述分布式文件系统的所述目标地址中的所述目标文件。
[0017]可选的，所述利用所述第一服务将所述预设类型文件转移至所述分布式存储系统中的第二数据仓库中进行存储，包括：
[0018]利用所述第一服务按照预设命名规则对所述预设类型文件进行重命名；其中，所述预设命名规则由用户通过客户端发送至本地；
[0019]利用所述第一服务按照预设存储目录将重命名后的所述预设类型文件在所述第二数据仓库对应的目录下进行存储；其中，所述预设存储目录为包含日志数据生成时间和客户端用户域名的分级目录。
[0020]可选的，所述利用所述第一服务按照预设存储目录将重命名后的所述预设类型文件在所述第二数据仓库对应的目录下进行存储之前，还包括：
[0021]利用所述第一服务对客户端用户域名进行加密处理得到加密目录，以使得返回的所述目标地址包含所述加密目录。
[0022]本申请的第二方面提供了一种数据处理装置，应用于节点服务器，包括：
[0023]计算存储模块，用于将预设类型文件存储至分布式存储系统中的第一数据仓库；其中，所述预设类型文件由计算引擎获取原始数据并对所述原始数据进行计算得到；
[0024]转移模块，用于当部署在本地的第一服务监测到所述第一数据仓库中存在所述预设类型文件，利用所述第一服务将所述预设类型文件转移至所述分布式存储系统中的第二数据仓库中进行存储，以使所述第一服务从所述第二数据仓库中查询所述预设类型文件；其中，文件转移过程中所述第一服务同时具有所述第一数据仓库和所述第二数据仓库的访问权限，文件查询过程中所述第一服务仅具有所述第二数据仓库的访问权限。
[0025]本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述数据处理方法。
[0026]本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述数据处理方法。
[0027]本申请中，将计预设类型文件存储至分布式存储系统中的第一数据仓库；其中，所述预设类型文件由计算引擎获取原始数据并对所述原始数据进行计算得到；当部署在本地的第一服务监测到所述第一数据仓库中存在所述预设类型文件，利用所述第一服务将所述预设类型文件转移至所述分布式存储系统中的第二数据仓库中进行存储，以使所述第一服务从所述第二数据仓库中查询所述预设类型文件；其中，文件转移过程中所述第一服务同时具有所述第一数据仓库和所述第二数据仓库的访问权限，文件查询过程中所述第一服务
仅具有所述第二数据仓库的访问权限。可见，本申请中计算引擎对原始数据计算得到的预设类型文件的直接存储地址是分布式存储系统的第一数据仓库，为了使得该预设类型文件从第一数据仓库中分离出来，节点服务器上部署第一服务，并对第一数据仓库中的文件进行监测以将监测到的预设类型文件转移到分布式存储系统的第二数据仓库，使得预设类型文件与第一数据仓库中的其他类型文件进行分离存储，从而使得第一服务在转移文件和查询文件时能够具有不同的权限，提高访问安全性。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0029]图1为本申请提供的一种文件处理方法流程图；
[0030]图2为本申请提供的一种具体的文件处理方法流程图；
[0031]图3为本申请提供的一种具体的文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件处理方法，其特征在于，应用于节点服务器，包括：将预设类型文件存储至分布式存储系统中的第一数据仓库；其中，所述预设类型文件由计算引擎获取原始数据并对所述原始数据进行计算得到；当部署在本地的第一服务监测到所述第一数据仓库中存在所述预设类型文件，利用所述第一服务将所述预设类型文件转移至所述分布式存储系统中的第二数据仓库中进行存储，以使所述第一服务从所述第二数据仓库中查询所述预设类型文件；其中，文件转移过程中所述第一服务同时具有所述第一数据仓库和所述第二数据仓库的访问权限，文件查询过程中所述第一服务仅具有所述第二数据仓库的访问权限。2.根据权利要求1所述的文件处理方法，其特征在于，还包括：获取客户端发送的包含目标文件信息的文件请求；利用所述第一服务确定与所述文件请求对应的目标地址；其中，所述目标地址下的文件为由所述第一服务将所述第一数据仓库中存储的所述预设类型文件转移至所述第二数据仓库中进行存储的文件；将所述目标地址返回所述客户端，以便所述客户端利用部署在所述节点服务器的第二服务获取挂载在所述节点服务器的所述分布式文件系统的所述目标地址中的所述目标文件。3.根据权利要求2所述的文件处理方法，其特征在于，所述文件转移过程中的所述第一服务是基于第一用户组中的共享用户将所述第一数据仓库中的所述预设类型文件转移至所述第二数据仓库中进行存储；其中，所述第一数据仓库专属于所述第一用户组，所述第二数据仓库专属于第二用户组，所述共享用户同时为所述第二用户组中的用户。4.根据权利要求3所述的文件处理方法，其特征在于，所述文件查询过程中的所述第一服务是基于所述第二用户组中除所述第一用户组用户之外的用户对所述第二数据仓库进行查询，得到与所述文件请求对应的所述目标地址。5.根据权利要求2所述的文件处理方法，其特征在于，所述客户端利用部署在所述节点服务器的第二服务获取挂载在所述节点服务器上的分布式文件系统的所述目标地址中的所述目标文件，包括：所述客户端通过代理服务器将所述目标地址发送至部署有NFS网关的所述节点服务器；所述NFS网关将所述...

【专利技术属性】
技术研发人员：陈锦明，
申请(专利权)人：深圳市网心科技有限公司，
类型：发明
国别省市：