一种流媒体日志合并方法技术

本发明专利技术涉及一种流媒体日志合并方法，多gpfdist数据源就地初始化处理流媒体日志为格式化数据，利用greenplum数据库外部表与gpfdist数据源并行高速加载数据，对不同日志记录分类合并处理，重构数据配置。利用了分布式数据库、大规模并行处理架构、SQL语言，实现流媒体播放日志等相似数据聚合方法。加快流媒体日志合并，减少资源和人力的投入。可以多台数据源服务器和分布式数据库高速并行加载，提高了数据加载吞吐率，通过分布式数据库相关技术分散了各业务标识数据，在相似数据的聚合上具有实用性。适用于CDN日志聚合、用户行为日志缩量。缩量。缩量。

【技术实现步骤摘要】
一种流媒体日志合并方法


[0001]本专利技术涉及一种数据存储技术，特别涉及一种流媒体日志合并方法。

技术介绍

[0002]信息爆炸时代产生的大量音视频资源，流媒体技术及相关产品将更广泛的应用于视频点播、直播、远程教育等，对流媒体播放产生的海量日志文件,现在常规日志文件直接存储于服务器中，占用大量内存，并且日志文件中存有访问倾向特征，在反复调用后会严重影响系统的性能，不利于后续快速调用日志文件，因此对日志文件的处理提出新要求。

技术实现思路

[0003]针对海量日志文件存储问题，提出了一种流媒体日志合并方法，使用分布式数据库greenplum技术处理流媒体日志，在满足业务需求的情况下，使用多台服务器高效并发灵活可控的处理流程。对从CDN(内容分发网络)厂商下载的流媒体原始日志格式化为结构化数据，使用分布式数据库greenplum加速聚合流量、时长、播放时间等属性，并替换合并其他业务参数值。
[0004]本专利技术的技术方案为：一种流媒体日志合并方法，多gpfdist数据源就地初始化处理流媒体日志为格式化数据，利用gree本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流媒体日志合并方法，其特征在于，多gpfdist数据源就地初始化处理流媒体日志为格式化数据，利用greenplum数据库外部表与gpfdist数据源并行高速加载数据，对不同日志记录分类合并处理，重构数据配置。2.根据权利要求1所述流媒体日志合并方法，其特征在于，所述对不同日志记录分类合并处理的具体实现方法：创建外部表对应的实体表，并实际加载外部表数据至实体表，再通过标准greenplum数据库支持的SQL聚合语句对相同业务标识的日志进行合并存储。3.根据权利要求1所述流媒体日志合并方法，其特征在于，所述不同日志记录分类合并处理包括相同业务标识数据的聚合处理，多厂商多时段数据协同处理。4.一种CDN流媒体日志合并方法，其特征在于，具体包括如下步骤：1)准备多台服务器并搭建gpfdist服务作为gpfdist数据源服务器；2)将各CDN厂商及企业源服务器的流媒体播放日志下载到多台gpfdist服务器，每台gpfdis...

【专利技术属性】
技术研发人员：李滚，李灏，庄之骏，邱国伟，
申请(专利权)人：天翼视讯传媒有限公司，
类型：发明
国别省市：