一种基于分布式对象存储的视频转码系统及方法技术方案

本发明专利技术实施例提供一种基于分布式对象存储的视频转码系统及方法，包括：分布式对象存储单元：用于接收视频被分片后的分片视频文件，并将分片视频文件通过纠删码方式存储在N个节点中；以及，在接收到视频转码模块获取所述分片视频文件时，通过纠删码方式还原分片视频文件，并将分片视频文件传输到视频转码模块；以及，接收经视频转码模块转码后的分片视频文件，并将每个转码后的分片视频文件通过纠删码方式存储在N个节点中；以及，在接收到视频合成模块获取所述转码后的分片视频文件时，通过纠删码方式还原转码后的分片视频文件，并将转码后的分片视频文件传输到视频合成模块。将分片视频文件存储在不同节点，通过纠删码算法恢复数据，避免数据丢失。

A video transcoding system and method based on distributed object storage

【技术实现步骤摘要】
一种基于分布式对象存储的视频转码系统及方法
本专利技术涉及视频编解码领域，具体涉及一种基于分布式对象存储的视频转码系统及方法。
技术介绍
随着多媒体技术的发展，视频行业已经进入全面爆发时期，而在视频处理过程中，通常会将同一视频源进行多清晰度转码及图像处理(添加水印和Logo等)后，最终呈现给用户观看。为提高视频转码速度，通常会将视频源进行分片转码然后合成最终的视频进行存储，在这个过程中，视频分片文件的读写存储速度对视频转码速度起决定性作用。在实现本专利技术过程中，申请人发现现有技术中至少存在如下问题：现有技术中采用本地磁盘存储。本地磁盘存储要求单台服务器同时具备三个模块：分片模块，转码模块，合成模块。分片模块将视频源切割成相同T时间段的切片直接存储在本地磁盘中，然后转码模块从本地磁盘中读取视频分片进行转码，并将转码后的视频分片存储在本地，最后合成模块读取转码后的视频分片合成为最终的视频提供用户访问。这种方式以单机部署严重依赖单机磁盘的性能，一旦磁盘故障，数据就会丢失。
技术实现思路
>本专利技术实施例提本文档来自技高网...

【技术保护点】
1.一种基于分布式对象存储的视频转码系统，其特征在于，包括：分布式对象存储单元和视频处理单元，所述视频处理单元包括视频转码模块和视频合成模块，其中：/n分布式对象存储单元：用于接收视频文件被分片后的分片视频文件，并将分片视频文件通过纠删码方式存储在N个节点中；所述纠删码方式为一种设定的矩阵算法；以及，/n在接收到视频转码模块获取所述分片视频文件时，通过纠删码方式还原分片视频文件，并将分片视频文件传输到视频转码模块；以及，/n接收经视频转码模块转码后的分片视频文件，并将每个转码后的分片视频文件通过纠删码方式存储在N个节点中；以及，/n在接收到视频合成模块获取所述转码后的分片视频文件时，通过纠删码...

【技术特征摘要】
1.一种基于分布式对象存储的视频转码系统，其特征在于，包括：分布式对象存储单元和视频处理单元，所述视频处理单元包括视频转码模块和视频合成模块，其中：
分布式对象存储单元：用于接收视频文件被分片后的分片视频文件，并将分片视频文件通过纠删码方式存储在N个节点中；所述纠删码方式为一种设定的矩阵算法；以及，
在接收到视频转码模块获取所述分片视频文件时，通过纠删码方式还原分片视频文件，并将分片视频文件传输到视频转码模块；以及，
接收经视频转码模块转码后的分片视频文件，并将每个转码后的分片视频文件通过纠删码方式存储在N个节点中；以及，
在接收到视频合成模块获取所述转码后的分片视频文件时，通过纠删码方式还原转码后的分片视频文件，并将转码后的分片视频文件传输到视频合成模块；
视频转码模块：设置于视频处理单元内，用于自分布式对象存储单元获取分片视频文件，将分片视频文件转码，并将转码后的分片视频文件上传到分布式对象存储单元；
视频合成模块：设置于视频处理单元内，用于自分布式对象存储单元获取转码后的分片视频文件，将转码后的分片视频文件合成完整的视频文件。


2.根据权利要求1所述的基于分布式对象存储的视频转码系统，其特征在于，在分布式对象存储单元中，
将分片视频文件通过纠删码方式存储在N个节点中，具体包括：根据每个分片视频文件生成其相应的奇偶校验块，将每个分片视频文件拆分成多个第一级数据块，以及将每个分片视频文件的奇偶校验块拆分成多个第一级奇偶校验块，所述第一级数据块和第一级奇偶校验块的总数为N；并将第一级数据块和第一级奇偶校验块随机保存到集群的N个节点的每个节点中；
通过纠删码方式还原分片视频文件具体包括：从第一级数据块和第一级奇偶校验块中获取任意至少N/2个块，通过获取的第一级奇偶校验块校验获取的第一级数据块之间的数据关系，使用获取的第一级数据块还原出分片视频文件；
以及，
将每个转码后的分片视频文件通过纠删码方式存储在N个节点中，具体包括：根据每个转码后的分片视频文件生成其相应的奇偶校验块，将每个转码后的分片视频文件拆分成多个第二级数据块，将每个转码后的分片视频文件的奇偶校验块拆分为多个第二级奇偶校验块，所述第二级数据块和所述第二级奇偶校验块的总数为N；并将第二级数据块和第二级奇偶校验块随机保存到集群的N个节点的每个节点中；
通过纠删码方式还原转码后的分片视频文件具体包括：从第二级数据块和第二级奇偶校验块中获取任意至少N/2个块，通过获取的第二级奇偶校验块校验获取的第二级数据块之间的数据关系，使用获取的第二级数据块还原出转码后的分片视频文件。


3.根据权利要求1所述的基于分布式对象存储的视频转码系统，其特征在于，
所述分布式对象存储单元设有SDK接口，通过SDK接口连接所述视频处理单元，所述视频处理单元通过SDK接口的putObject调用方法上传分片视频文件和转码后的分片视频文件到分布式对象存储单元；以及，通过SDK接口的getObject调用方法获取分布式对象存储单元内的通过纠删码方式还原的分片视频文件和通过纠删码方式还原的转码后的分片视频文件。


4.根据权利要求1所述的基于分布式对象存储的视频转码系统，其特征在于，还包括删除单元：
用于检测分布式对象存储单元内的分片视频文件的修改时间或转码后的分片视频文件的修改时间，当修改时间与当前时间的差值大于预设值时将对应的分片视频文件或转码后的分片视频文件删除，所述预设值的单位包括分钟、小时、天中的一种或者多种。


5.根据权利要求1所述的基于分布式对象存储的视频转码系统，其特征在于，
所述分布式对象存储单元和所述视频处理单元处于同一内网，和/或，所述分布式对象存储单元和所述...

【专利技术属性】
技术研发人员：梅佩，马根蕾，
申请(专利权)人：新浪网技术中国有限公司，
类型：发明
国别省市：北京;11