一种流媒体日志的大量储存方法技术

本发明专利技术公开了一种流媒体日志的大量储存方法，一种流媒体日志的大量储存方法包括如下步骤：首先进行日志文件分割，再选择放置方法，再进行日志文件分块放置，再进行写入存储介质，然后建立索引，最后进行文件调用，本发明专利技术采用了对称文件分块放置策略，并且根据用于存储的流媒体服务器是否存在冗余数据来灵活选择对称复制因子对方法或对称因子对方法，相较于现有技术，本发明专利技术能提高系统的扩展能力和负载均衡能力，克服了访问倾向性对系统性能的负面影响；本发明专利技术根据各分片文件的大小对流媒体服务器的存储空间进行了预分配，相较于现有技术本发明专利技术能在一定程度上提高存储硬盘的使用寿命；本发明专利技术使用的是四级索引，可以更加快速且精准地进行定位。精准地进行定位。精准地进行定位。

【技术实现步骤摘要】
一种流媒体日志的大量储存方法


[0001]本专利技术涉及一种流媒体日志，具体为一种流媒体日志的大量储存方法，属于日志领域。

技术介绍

[0002]日志在生活中是指记录你生活的点点滴滴，让它把你内心的世界表露出来，更好的诠释自己的内心世界的内容，而电脑的日志则是记录用户操作电脑时，电脑运作产生一个叫log的事件记录，每一行日志都记载着日期、时间、使用者及动作等相关操作的描述，而流媒体日志是指可以在网络上流传的日志，因为电脑的日志可以是有价值的信息宝库，也可以是毫无价值的数据泥潭，电脑的日志会随着时间的积累会产生大量的日志，所以需要一种流媒体日志的大量存储方法。
[0003]现有的流媒体日志存储方法中是直接自动存储至相应的服务器中，该方法容易导致日志文件存储乱，占用大量内存，而且不利于快速调用相应的日志文件，再加上文件内部访问倾向特性的存在，会导致整个系统性能的严重下降，而且现有的流媒体日志存储方法中没有进行存储空间的预分配，会影响流媒体服务器内部存储硬盘的读写效率以及使用寿命，另外，现有的流媒体日志存储方法中采用的是一级索引，在回看过程中的定位不够精准和快速。

技术实现思路

[0004]本专利技术的目的就在于为了解决上述问题而提供一种流媒体日志的大量储存方法，所述一种流媒体日志的大量储存方法包括如下步骤：
[0005]S1、日志文件分割，将需要存储的流媒体日志文件从首至尾均匀分为多个分片文件；
[0006]S2、选择放置方法，根据流媒体日志文件的访问倾向性选择对称分块放置方法，再判断用于存储的流媒体服务器是否存在冗余数据，若存在冗余数据则选择对称复制因子对方法，若不存在冗余数据则选择对称因子对方法；
[0007]S3、日志文件分块放置，根据选择好的放置方法以及流媒体服务器的数量将各个分片文件合理存储到流媒体服务器内部；
[0008]S4、写入存储介质，将各个分片文件数据并发写入流媒体服务器内部机械硬盘或者固态硬盘；
[0009]S5、建立索引，根据分片文件数据的相关信息分片文件数据的存储位置来建立相应的索引，最后分被发送至流媒体服务器和索引服务器进行存储；
[0010]S6、文件调用，通过相应的索引找到需要的流媒体日志文件，并进行调用，从而向操作者展示该流媒体日志文件的内容。
[0011]优选的，所述S1之前需要根据各分片文件的大小对流媒体服务器的存储空间进行预分配。
[0012]优选的，所述S2中的访问倾向性为人们更倾向于访问流媒体日志文件的首部。
[0013]优选的，所述S2中的对称因子对方法的负载均衡能力与文件数目的奇偶性正相关。
[0014]优选的，所述S2中的对称复制因子对方法的负载不均度始终为零。
[0015]优选的，所述S4中的写入方法采用大缓存机制。
[0016]优选的，所述S4中数据的写入采用了互斥锁的进程方法。
[0017]优选的，所述S5中的索引为四级索引，所述索引包括：第一级索引、第二级索引、第三级索引和第四级索引，所述第一级索引保存在索引服务器的资源库里，所述第二级索引保存在流媒体服务器的文件数据库中，所述第三级索引保存在各片文件数据的末尾，第四级索引保存在各片文件数据的首部。
[0018]优选的，所述S6中文件每被调用一次，系统会对其进行标号。
[0019]优选的，所述S1-S6中至少用到两台流媒体服务器和一台索引服务器。
[0020]本专利技术的有益效果是：
[0021](1)本专利技术采用了对称文件分块放置策略，并且根据用于存储的流媒体服务器是否存在冗余数据来灵活选择对称复制因子对方法或对称因子对方法，相较于传统的日志文件放置策略，本专利技术能保证日志的有序存储，增加了存储量，还能提高系统的扩展能力和负载均衡能力，克服了访问倾向性对系统性能的负面影响；
[0022](2)本专利技术根据各分片文件的大小对流媒体服务器的存储空间进行了预分配，相较于现有技术，本专利技术能防止流媒体服务器内部的存储硬盘在反复创建文件过程中产生的磁盘碎片影响到磁盘读写效率，能在一定程度上提高存储硬盘的使用寿命；
[0023](3)本专利技术使用的是四级索引，包括第一级索引、第二级索引、第三级索引和第四级索引，四级索引分被保存索引服务器和流媒体服务器中，相较于现有技术，本专利技术在调用文件以及回看时，可以更加快速且精准地进行定位。
附图说明
[0024]图1为本专利技术存储方法的流程图。
具体实施方式
[0025]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]实施例一：
[0027]一种流媒体日志的大量储存方法，所述一种流媒体日志的大量储存方法包括如下步骤：
[0028]S1、日志文件分割，将需要存储的流媒体日志文件从首至尾均匀分为多个分片文件；
[0029]S2、选择放置方法，根据流媒体日志文件的访问倾向性选择对称分块放置方法，再判断用于存储的流媒体服务器是否存在冗余数据，若存在冗余数据则选择对称复制因子对
方法，若不存在冗余数据则选择对称因子对方法；
[0030]S3、日志文件分块放置，根据选择好的放置方法以及流媒体服务器的数量将各个分片文件合理存储到流媒体服务器内部；
[0031]S4、写入存储介质，将各个分片文件数据并发写入流媒体服务器内部机械硬盘或者固态硬盘；
[0032]S5、建立索引，根据分片文件数据的相关信息分片文件数据的存储位置来建立相应的索引，最后分被发送至流媒体服务器和索引服务器进行存储；
[0033]S6、文件调用，通过相应的索引找到需要的流媒体日志文件，并进行调用，从而向操作者展示该流媒体日志文件的内容。
[0034]所述S1之前需要根据各分片文件的大小对流媒体服务器的存储空间进行预分配。
[0035]所述S2中的访问倾向性为人们更倾向于访问流媒体日志文件的首部。
[0036]所述S2中的对称因子对方法的负载均衡能力与文件数目的奇偶性正相关。
[0037]所述S2中的对称复制因子对方法的负载不均度始终为零。
[0038]所述S4中的写入方法采用大缓存机制。
[0039]所述S4中数据的写入采用了互斥锁的进程方法。
[0040]所述S5中的索引为四级索引，所述索引包括：第一级索引、第二级索引、第三级索引和第四级索引，所述第一级索引保存在索引服务器的资源库里，所述第二级索引保存在流媒体服务器的文件数据库中，所述第三级索引保存在各片文件数据的末尾，第四级索引保存在各片文件数据的首部。
[0041]所述S6中文件每被调用一次，系统会对其进行标号。
[0042]所述S1-S6中至少用到两台流媒体服务器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流媒体日志的大量储存方法，其特征在于：所述一种流媒体日志的大量储存方法包括如下步骤：S1、日志文件分割，将需要存储的流媒体日志文件从首至尾均匀分为多个分片文件；S2、选择放置方法，根据流媒体日志文件的访问倾向性选择对称分块放置方法，再判断用于存储的流媒体服务器是否存在冗余数据，若存在冗余数据则选择对称复制因子对方法，若不存在冗余数据则选择对称因子对方法；S3、日志文件分块放置，根据选择好的放置方法以及流媒体服务器的数量将各个分片文件合理存储到流媒体服务器内部；S4、写入存储介质，将各个分片文件数据并发写入流媒体服务器内部机械硬盘或者固态硬盘；S5、建立索引，根据分片文件数据的相关信息分片文件数据的存储位置来建立相应的索引，最后分被发送至流媒体服务器和索引服务器进行存储；S6、文件调用，通过相应的索引找到需要的流媒体日志文件，并进行调用，从而向操作者展示该流媒体日志文件的内容。2.根据权利要求1所述的一种流媒体日志的大量储存方法，其特征在于：所述S1之前需要根据各分片文件的大小对流媒体服务器的存储空间进行预分配。3.根据权利要求1所述的一种流媒体日志的大量储存方法，其特征在于：所述S2中的访问倾向性为人们更倾向于访问流媒体日志...

【专利技术属性】
技术研发人员：袁彩霞，童璐，
申请(专利权)人：杭州奔浪信息技术有限公司，
类型：发明
国别省市：