本发明专利技术公开了一种数据写入方法、装置及计算设备，该方法包括：监测存储系统中待追踪目录的文件更新事件；根据文件更新事件对应的更新目标文件的文件信息，更新目标内存中的信息；删除存储系统中已存储的待追踪目录对应的目录追踪文件；根据目标内存中的信息，生成待追踪目录对应的更新的目录追踪文件并上传至存储系统；当监测到对待追踪目录的管理需求时，从存储系统中读取待追踪目录对应的目录追踪文件，根据读取的目录追踪文件清理待追踪目录下的无效文件数据。通过上述方式，能够提升数据写入存储系统的性能，还能够避免无效数据的产生。的产生。的产生。
【技术实现步骤摘要】
数据写入方法、装置及计算设备
[0001]本专利技术涉及数据库
，具体涉及一种数据写入方法、装置及计算设备。
技术介绍
[0002]HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)是大数据生态的默认的、基于文件的存储系统，很多大数据计算引擎都是基于它的API设计和实现的。不同于HDFS，对象存储是一种存储数据的方式。在存储与计算分离大趋势下，很多企业尝试用对象存储来构建数据库方案，这直接促进大数据计算引擎越来越多将对象存储作为存储系统。大数据计算引擎可以使用HDFS语义来访问对象存储，构建计算分析平台，多维度满足场景分析需求。
[0003]大数据计算引擎使用HDFS语义将数据写入对象存储时，为了防止脏数据的产生，一般将计算分析中间结果写入临时目录，待所有分析结果落盘后，将临时目录重命名为最终目录。由于对象存储的局限性，功能和性能都非常有限，一旦数据被写入对象存储后，数据对象就不可改变。因此基于对象存储的HDFS语义目录重名操作会遍历整个目录下的文件进行拷贝和删除，目录重命名操作的复杂度与目录下文件大小、个数呈正相关，目录文件个数越多、文件越大，对目录的重命名操作复杂度越高，性能影响越大，并且，使用HDFS语义的重命名操作也会导致原子性问题，即一次重名操作分解为拷贝和删除两个操作，还容易产生用户数据视图不一致的情况。
技术实现思路
[0004]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的数据写入方法、装置及计算设备。
[0005]根据本专利技术的一个方面，提供了一种数据写入方法，方法包括：
[0006]监测存储系统中待追踪目录的文件更新事件；
[0007]根据文件更新事件对应的更新目标文件的文件信息，更新目标内存中的信息；
[0008]删除存储系统中已存储的待追踪目录对应的目录追踪文件；
[0009]根据目标内存中的信息，生成待追踪目录对应的更新的目录追踪文件并上传至存储系统；
[0010]当监测到对待追踪目录的管理需求时，从存储系统中读取待追踪目录对应的目录追踪文件，根据读取的目录追踪文件清理待追踪目录下的无效文件数据。
[0011]可选地，根据文件更新事件对应的更新目标文件的文件信息更新目标内存中的信息还包括：
[0012]若监测到待追踪目录的文件新增事件，将文件新增事件对应的新增文件的文件信息添加到目标内存中；
[0013]若监测到待追踪目录的文件删除事件，将文件删除事件对应的待删除文件的文件信息从目标内存中删除。
[0014]可选地，目录追踪文件还包括生成时间信息；从存储系统中读取待追踪目录对应的目录追踪文件还包括：
[0015]若存储系统中存储有待追踪目录对应的多个目录追踪文件，读取多个目录追踪文件中所包含的生成时间信息与当前时间信息最接近的目录追踪文件。
[0016]可选地，目录追踪文件还包括：待追踪目录下各个文件的文件过期时间信息；根据读取的目录追踪文件清理待追踪目录下的无效文件数据还包括：
[0017]根据读取的目录追踪文件中包含的各个文件的文件过期时间信息，删除待追踪目录下的过期文件的数据块。
[0018]可选地，根据读取的目录追踪文件清理待追踪目录下的无效文件数据还包括：
[0019]根据本次读取的目录追踪文件以及上一次读取的目录追踪文件，确定待追踪目录下的待清理文件，并删除待清理文件的数据块。
[0020]可选地，目录追踪文件还包括：待追踪目录下各个文件的文件大小信息；方法还包括：
[0021]根据读取的目录追踪文件所包含的各个文件的文件大小信息，统计待追踪目录下的文件数据量。
[0022]可选地，方法还包括：根据目录管理需求维度，确定目录追踪文件所包含的各个信息项；
[0023]根据目标内存中的信息，生成待追踪目录对应的更新的目录追踪文件还包括：
[0024]根据目标内存中包含的对应于各个信息项的各个信息，生成待追踪目录对应的更新的目录追踪文件。
[0025]根据本专利技术的另一方面，提供了一种数据写入装置，装置包括：
[0026]监测模块，适于监测存储系统中待追踪目录的文件更新事件；
[0027]信息更新模块，适于根据文件更新事件对应的更新目标文件的文件信息，更新目标内存中的信息；
[0028]文件删除模块，适于删除存储系统中已存储的待追踪目录对应的目录追踪文件；
[0029]文件生成模块，适于根据目标内存中的信息，生成待追踪目录对应的更新的目录追踪文件；
[0030]上传模块，适于将更新的目录追踪文件上传至存储系统；
[0031]获取模块，适于当监测到对待追踪目录的管理需求时，从存储系统中读取待追踪目录对应的目录追踪文件；
[0032]数据清理模块，适于根据读取的目录追踪文件清理待追踪目录下的无效文件数据。
[0033]可选地，信息更新模块进一步适于：若监测到待追踪目录的文件新增事件，将文件新增事件对应的新增文件的文件信息添加到目标内存中；若监测到待追踪目录的文件删除事件，将文件删除事件对应的待删除文件的文件信息从目标内存中删除。
[0034]可选地，目录追踪文件还包括生成时间信息；获取模块进一步适于：若存储系统中存储有待追踪目录对应的多个目录追踪文件，读取多个目录追踪文件中所包含的生成时间信息与当前时间信息最接近的目录追踪文件。
[0035]可选地，目录追踪文件还包括：待追踪目录下各个文件的文件过期时间信息；数据
清理模块进一步适于：根据读取的目录追踪文件中包含的各个文件的文件过期时间信息，删除待追踪目录下的过期文件的数据块。
[0036]可选地，数据清理模块进一步适于：根据本次读取的目录追踪文件以及上一次读取的目录追踪文件，确定待追踪目录下的待清理文件，并删除待清理文件的数据块。
[0037]可选地，目录追踪文件还包括：待追踪目录下各个文件的文件大小信息；装置还包括：统计模块，适于根据读取的目录追踪文件所包含的各个文件的文件大小信息，统计待追踪目录下的文件数据量。
[0038]可选地，装置还包括：信息管理模块，适于根据目录管理需求维度，确定目录追踪文件所包含的各个信息项；文件生成模块进一步适于：根据目标内存中包含的对应于各个信息项的各个信息，生成待追踪目录对应的更新的目录追踪文件。
[0039]根据本专利技术的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
[0040]所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述数据写入方法对应的操作。
[0041]根据本专利技术的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述数据写入方法对应的操作。
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据写入方法，其特征在于，所述方法包括：监测存储系统中待追踪目录的文件更新事件；根据所述文件更新事件对应的更新目标文件的文件信息，更新目标内存中的信息；删除所述存储系统中已存储的所述待追踪目录对应的目录追踪文件；根据所述目标内存中的信息，生成所述待追踪目录对应的更新的目录追踪文件并上传至所述存储系统；当监测到对所述待追踪目录的管理需求时，从所述存储系统中读取所述待追踪目录对应的目录追踪文件，根据读取的目录追踪文件清理所述待追踪目录下的无效文件数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述文件更新事件对应的更新目标文件的文件信息，更新目标内存中的信息还包括：若监测到所述待追踪目录的文件新增事件，将所述文件新增事件对应的新增文件的文件信息添加到所述目标内存中；若监测到所述待追踪目录的文件删除事件，将所述文件删除事件对应的待删除文件的文件信息从所述目标内存中删除。3.根据权利要求1或2所述的方法，其特征在于，所述目录追踪文件还包括生成时间信息；所述从所述存储系统中读取所述待追踪目录对应的目录追踪文件还包括：若所述存储系统中存储有所述待追踪目录对应的多个目录追踪文件，读取所述多个目录追踪文件中所包含的生成时间信息与当前时间信息最接近的目录追踪文件。4.根据权利要求1所述的方法，其特征在于，所述目录追踪文件还包括：所述待追踪目录下各个文件的文件过期时间信息；所述根据读取的目录追踪文件清理所述待追踪目录下的无效文件数据还包括：根据所述读取的目录追踪文件中包含的各个文件的文件过期时间信息，删除所述待追踪目录下的过期文件的数据块。5.根据权利要求1所述的方法，其特征在于，所述根据读取的目录追踪文件清理所述待追踪目录下的无效文件数据还包括：根据本次读取的目录追踪文件以及上一次读取的目录追踪文件，确定所述待追踪目录下的待清理文件，并删除所述待清理文件的数据块。6.根据权利要求1...
【专利技术属性】
技术研发人员：陈海峰，范云博，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。