本发明专利技术实施例公开了一种文件写入方法及装置、存储介质及电子装置，所述方法包括：接收文件客户端发送的申请请求，其中，申请请求携带有第一文件对应的第一属性信息；响应于申请请求，在元数据管理服务器中确定与第一属性信息匹配的第二属性信息所对应的第二文件，并获取第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；发送第二文件的文件信息至文件客户端，并指示文件客户端根据文件信息将第一文件写入到第二文件对应的磁盘。件信息将第一文件写入到第二文件对应的磁盘。件信息将第一文件写入到第二文件对应的磁盘。
【技术实现步骤摘要】
文件写入方法及装置、存储介质及电子装置
[0001]本专利技术涉及分布式块存储领域，具体而言，涉及一种文件写入方法及装置、存储介质及电子装置。
技术介绍
[0002]安防领域存储时存在着大量的告警录像、图片存储，这些文件大小不一，一个报警录像大小平均10MB，一张图片可能只占用4K的空间，针对这种小文件，业界的通用做法是合并存储。
[0003]相关技术中，通过小文件聚合成大文件后一次性写入OSD，以解决小文件频繁写入给系统造成频繁压力的问题，其实现方式为首先判断对象数据写入请求中包含的小文件是否小于或等于预设值，若是，判断是否首次写入小文件，若是，将小文件中的数据写入到聚合文件中，并将聚合文件的标识、数据的长度及数据在聚合文件中的位置存储在小文件的元数据中；判断聚合文件的容量是否超过设定容量，若是，将数据写入到新的聚合文件中，若否，返回执行接收对象写入请求的步骤；将达到设定容量的聚合文件写入到OSD中，将元数据存放在数据库中。
[0004]但相关技术中在合并小文件的时候，并不能根据小文件的属性信息去选择合适的文件合并，使得合并以后占用的磁盘空间较大。
[0005]针对相关技术，传统方法在小文件合并存储的过程中，不能根据小文件的属性为小文件选择合适的文件进行合并存储，导致磁盘的空间利用率较低的问题，目前尚未提出有效的解决方案。
[0006]因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。
技术实现思路
[0007]本专利技术实施例提供了一种文件写入方法及装置、存储介质及电子装置，以至少解决传统方法在小文件合并存储的过程中，不能根据小文件的属性为小文件选择合适的文件进行合并存储，导致磁盘的空间利用率较低的问题。
[0008]根据本专利技术实施例的一方面，提供一种文件写入方法，包括：接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；将所述第二文件的文件信息发送至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。
[0009]进一步地，响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，包括：获取所述元数据管理服务器中保存的复用文件列表，其中，所述复用文件列表包括：多个用于与所述第一文件存储复用的文件；确定所述复用文件列表中是否存在满足第一预设条件的所述第二文件，其中，所述第一预设
条件用于指示所述第一属性信息与所述第二属性信息匹配；
[0010]进一步地，在存在的情况下，将所述复用文件列表中满足第一预设条件的文件确定为所述第二文件；在不存在的情况下，在所述元数据管理服务器中创建所述第二文件。
[0011]进一步地，所述第一预设条件包括：所述第一属性信息中的纠删码和所述第二属性信息中的纠删码一致；在所述第一文件和所述第二文件位于同一文件对象桶的情况下，所述第一属性信息中的文件属性和所述第二属性信息中的文件属性一致。
[0012]进一步地，在所述元数据管理服务器中创建所述第二文件，包括：获取元数据管理服务器中保存的Zone组复用列表；确定所述Zone组复用列表存在满足第二预设条件的Zone组，并获取所述Zone组对应的数据节点组和所述Zone组的Zone组号；根据所述Zone组对应的数据节点组和所述Zone组的Zone组号创建所述第二文件。
[0013]进一步地，获取元数据管理服务器中保存的Zone组复用列表之后，所述方法还包括：确定所述Zone组复用列表不存在满足第二预设条件的Zone组；指示所述元数据管理服务器的负载均衡模块确定数据节点组及Zone组号，并根据所述负载均衡模块确定的数据节点组及Zone组号创建所述第二文件。
[0014]进一步地，所述第二预设条件包括：所述第二文件和所述Zone组复用列表中的Zone组具有相同的纠删码类型；所述第二文件和所述Zone组复用列表中的Zone组存储的文件位于同一个对象桶中；所述Zone组复用列表中的Zone组用于存储所述第一文件。
[0015]进一步地，指示所述文件客户端根据所述文件信息将所述第一文件通过到所述第二文件对应的磁盘，包括：指示所述文件客户端将所述第一文件划分为多个数据块，并将所述多个数据块与所述文件信息中的Zone组号发送至所述文件信息中的数据节点组对应的多个数据节点；控制所述多个数据节点中的每一个数据节点将对应的数据块写入到与所述Zone组号对应的磁盘。
[0016]进一步地，控制所述多个数据节点中的每一个数据节点将对应的数据块写入到与根据所述Zone组号对应的磁盘之后，所述方法还包括：控制所述数据节点将对应的数据块的元数据信息和Zone的元数据信息发送至所述元数据管理服务器，以使所述元数据管理服务器将所述数据块的元数据信息和所述Zone的元数据信息保存至文件对象缓存。
[0017]进一步地，指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘之后，所述方法还包括：在所述第二文件满足第三预设条件的情况下，将所述第二文件添加至所述元数据管理服务器的复用文件列表；在所述第二文件不满足第三预设条件的情况下，确定所述第二文件所在的Zone组是否满足第四预设条件；在所述Zone组满足第四预设条件的情况下，将所述Zone组添加至所述元数据管理服务器的Zone组复用列表。
[0018]进一步地，所述第三预设条件包括：所述第二文件处在复用周期内；所述第二文件的每个数据块长度相等；所述第二文件的状态为正常关闭状态；所述第二文件对应的磁盘Zone剩余空间大于第一预设阈值。
[0019]进一步地，所述第四预设条件包括：所述Zone组能够对齐写入；所述Zone组的数据节点处于激活状态；所述Zone组处在可复用周期内；所述Zone组的剩余空间大于第二预设阈值。
[0020]进一步地，所述方法还包括：在所述元数据管理服务器中的复用文件列表和Zone
组复用列表发生变化的情况下，将所述复用文件列表和Zone组复用列表保存至日志数据，并将所述日志数据发送至目标元数据管理服务器。
[0021]根据本专利技术实施例的另一方面，还提供一种文件写入装置，包括：接收模块，用于接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；获取模块，用于响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；写入模块，用于发送所述第二文件的文件信息至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。
[0022]根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文件写入方法，其特征在于，包括：接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；发送所述第二文件的文件信息至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。2.根据权利要求1所述的文件写入方法，其特征在于，响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，包括：获取所述元数据管理服务器中保存的复用文件列表，其中，所述复用文件列表包括：多个用于与所述第一文件存储复用的文件；确定所述复用文件列表中是否存在满足第一预设条件的所述第二文件，其中，所述第一预设条件用于指示所述第一属性信息与所述第二属性信息匹配；在存在的情况下，将所述复用文件列表中满足第一预设条件的文件确定为所述第二文件；在不存在的情况下，在所述元数据管理服务器中创建所述第二文件。3.根据权利要求2所述的方法，其特征在于，所述第一预设条件包括：所述第一属性信息中的纠删码和所述第二属性信息中的纠删码一致；在所述第一文件和所述第二文件位于同一文件对象桶的情况下，所述第一属性信息中的文件属性和所述第二属性信息中的文件属性一致。4.根据权利要求2所述的方法，其特征在于，在所述元数据管理服务器中创建所述第二文件，包括：获取元数据管理服务器中保存的Zone组复用列表；确定所述Zone组复用列表存在满足第二预设条件的Zone组，并获取所述Zone组对应的数据节点组和所述Zone组的Zone组号；根据所述Zone组对应的数据节点组和所述Zone组的Zone组号创建所述第二文件。5.根据权利要求4所述的方法，其特征在于，获取元数据管理服务器中保存的Zone组复用列表之后，所述方法还包括：确定所述Zone组复用列表不存在满足第二预设条件的Zone组；指示所述元数据管理服务器的负载均衡模块确定数据节点组及Zone组号，并根据所述负载均衡模块确定的数据节点组及Zone组号创建所述第二文件。6.根据权利要求4所述的方法，其特征在于，所述第二预设条件包括：所述第二文件和所述Zone组复用列表中的Zone组具有相同的纠删码类型；所述第二文件和所述Zone组复用列表中的Zone组存储的文件位于同一个对象桶中；所述Zone组复用列表中的Zone组用于存储所述第一文件。7.根据权利要求1所述的方法，其特征在于，指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘，包括：指示所述文件客户端将所述第一文件划分为多个数据块，并将所述多个数据块与所述
文件信息中的Zone...
【专利技术属性】
技术研发人员：江瑜，徐涛，王志豪，罗心，江文龙，周明伟，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。