【技术实现步骤摘要】
日志文件存储方法及装置
本专利技术属于日志文件处理
,特别是涉及一种日志文件存储方法及装置。
技术介绍
内容分发网络(ContentDeliveryNetwork,CDN)服务提供商是通过大量的边缘节点服务器来为客户提供加速服务。客户端的每一次访问,都会产生对应的日志文件。通过对日志文件进行分析处理,可以获取到有价值的信息,从而可以更好地为客户提供服务。ApacheHadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架,且支持在商品硬件构建的大型集群上运行的应用程序。Hadoop分布式文件系统(HadoopDistributedFileSystem,HDFS)是Hadoop的一个核心组件,通过将多台服务器构建一个基于网络的分布式文件系统,实现海量数据的存储。但是,现有技术中的基于HDFS的日志文件存储方法,存在着运维成本高的问题。
技术实现思路
本专利技术实施例解决的问题是如何在日志文件进行存储时节省开销。为解决上述问题,本专利技术实施例提供了一种日志文件存储方法,所述方法包括:获取指定目录下的本地日志文件;将所获取的本地日志 ...
【技术保护点】
一种日志文件存储方法,其特征在于,包括:获取指定目录下的本地日志文件;将所获取的本地日志文件写入对应的云端文件;当确定所获取的本地日志文件写入对应的云端文件失败时,将对应的云端文件恢复至写入前的状态。
【技术特征摘要】
1.一种日志文件存储方法,其特征在于,包括:获取指定目录下的本地日志文件;将所获取的本地日志文件写入对应的云端文件;当确定所获取的本地日志文件写入对应的云端文件失败时,将对应的云端文件恢复至写入前的状态。2.根据权利要求1所述的日志文件存储方法,其特征在于,所述将所获取的本地日志文件写入对应的云端文件,包括:分别采用二进制格式打开指定的本地日志文件和对应的云端文件;当确定采用二进制格式打开指定的本地日志文件和对应的云端文件成功时,将所述本地日志文件写入所述云端文件的末尾。3.根据权利要求1所述的日志文件存储方法,其特征在于,所述对应的云端文件的大小的信息,为在将所获取的本地日志文件写入对应的云端文件之前获取。4.根据权利要求3所述的日志文件存储方法,其特征在于,当确定所获取的本地日志文件写入对应的云端文件失败时,还包括:为所述本地日志文件添加出错标记,并记录所述对应的云端文件写入前的大小的信息;当再次遍历至所述本地日志文件且检测到所述出错标记时,获取所述对应的云端文件写入前的大小的信息;基于所述对应的云端文件写入前的大小的信息,将对应的云端文件恢复至写入前的状态;当将对应的云端文件恢复至写入前的状态时,重新执行所述将所述本地日志文件写入对应的云端文件的操作。5.根据权利要求4所述的日志文件存储方法,其特征在于,所述基于所述对应的云端文件写入前的大小的信息,将对应的云端文件恢复至写入前的状态,包括:删除对应的云端文件的末尾的文件,以将对应的云端文件恢复至对应的...
【专利技术属性】
技术研发人员:黄凯旋,杨宁,顾庆荣,康凯,
申请(专利权)人:江苏天联信息科技发展有限公司,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。