一种快速拼接转码分片文件的方法技术

一种快速拼接转码分片文件的方法，属于计算机技术领域。将视频源文件写入到分布式存储，分布式存储系统为转码服务提供统一名字空间，多个转码服务器并行的从分布式存储中读取视频源文件，按照分片的时间段区间获取对应视频源文件时间段的数据；通过转码调度器为转码节点分配分片数据段的索引编号，转码节点从分布式存储上读取对应索引编号的时间片数据，将分片数据进行转码。本发明专利技术通过将分片转码文件的长度、文件编号、在聚合文件的偏移信息，记录在聚合文件的聚合信息属性的索引项中，完全摒弃了传统的追加写入的方式，将耗时的数据读写操作变为属性信息的增加，提高了分片转码文件合并的效率，节省了宝贵的网络带宽资源。

A fast method of splicing and transcoding slice files

The invention relates to a method for fast splicing and transcoding a piece of file, belonging to the field of computer technology. Write the video source files to distributed storage, distributed storage system provides a uniform name space for transcoding service, a plurality of transcoding servers in parallel from the distributed memory read video source files, according to the number of slices of time interval to obtain the corresponding video source file time; index number assigned to the node through transcoding transcoding slice scheduler the data segment, time slice data transcoding node reads the corresponding index number from the distributed storage, the parts data transcoding. The patch file transcoding length, document number, offset in the file information aggregation, recorded in the index file of the attribute information polymerization polymerization, completely abandoned the traditional written way, will take the data read and write operations to increase the information, improve the efficiency of slice transcoding merge file, save valuable network bandwidth resources.

【技术实现步骤摘要】
一种快速拼接转码分片文件的方法
本专利技术涉及一种快速拼接转码分片文件的方法，属于计算机

技术介绍
随着传统广电行业对视频清晰度的要求越来越高，从最早的标清时代25Mbps的码流到目前的高清时代的100Mbps的码流，再到未来的4K时代，未来4K时代的一个小时的节目素材文件长度将达到180GB大小。传统的转码方案是将分片转码文件依次追加写到最终转码文件中，追加写方案对每个分片转码文件都有读操作，同时对最终转码文件有写操作，追加写方案既耗费网络资源，同时也消耗转码节点系统资源；传统的转码方案只能做到1.5到2倍速，远远不能满足由于视频数据膨胀所带来的转码需求。随着视频源越来越清晰，电视节目种类越来越多，使得广电行业资源系统数据量达到PB级别，导致存储需求量暴增；同时电视台业务系统种类繁多，业务系统对存储的需求不一，不得不采用多套存储系统，但是多套存储系统之间容易造成信息孤岛，同时建设和维护成本高，并且不利统一管理。
技术实现思路
为了克服现有技术的不足,本专利技术提供一种快速拼接转码分片文件的方法。一种快速拼接转码分片文件的方法，含有以下步骤；将视频源文件写入到分布式存储，分布式存储系统为转码服务提供统一名字空间，多个转码服务器并行的从分布式存储中读取视频源文件，按照分片的时间段区间获取对应视频源文件时间段的数据；通过转码调度器为转码节点分配分片数据段的索引编号，转码节点从分布式存储上读取对应索引编号的时间片数据，将分片数据进行转码；将转码数据写入分布式存储，生成分片转码文件，分布式存储系统为分片转码文件提供统一名字空间；在存储管理节点调用分布式存储提供的接口生成聚合文件；当分片转码文件满足聚合要求，将分片转码文件在存储系统的唯一编号、分片转码文件长度、分片转码文件在聚合文件的偏移追加到聚合文件的属性信息中；删除分片转码文件在存储系统中的名字空间，使得分片转码文件对外不可见；保留分片转码文件的属性信息和数据信息。分布式存储系统为视频源文件提供统一名字空间，转码节点可以并行读取视频源文件；视频源文件在被转码之前，文件长度已经固定，并且录制的视频文件是按照恒定码流录制，所以文件的长度区间也是对应的时间区间；转码服务需要和存储访问节点配置到一个节点上，存储访问节点为转码服务提供统一名字空间；转码调度器负责将视频文件分片，对分片区间分配区间索引；然后根据转码服务的空闲状态，依次给转码服务分配待转码的区间索引，直到转码服务负载饱和；转码服务通过分布式存储提供的读操作接口，读取视频源索引区间数据到内存中，然后进行转码，转码完成之后将内存中的数据写入到分布式存储中，生成分片转码文件，分片转码文件命名按照区间索引编号生成文件名称；分布式存储系统为访问分片转码文件提供统一名字空间。将所有文件索引信息按照分片索引顺序依次追加到聚合文件属性的聚合信息中；聚合文件关联分片转码文件的过程不是传统的分片文件数据内容拷贝，而是聚合文件中聚合信息和聚合索引的追加，索引追加的顺序与文件的分片顺序保持一致；每个索引项对应的索引信息包括：分片文件在分布式存储系统的唯一编号、分片文件的长度、分片文件在聚合文件中偏移；聚合文件只提供读权限，没有写权限；读聚合文件数据通过分布式存储系统提供的接口转换为读取分片文件的数据。在存储管理节点调用分布式存储提供的接口生成聚合文件的步骤包括：调用分布式存储接口创建聚合文件，然后对分片转码文件进行预检测，检测通过才会继续聚合流程，预检测步骤包括：判断聚合文件中的聚合信息索引项是否超过规格，如果超过规格转码失败，目前提供的规格是一个聚合文件中支持的分片转码文件上限是10000个，规格上限可以根据需求调整；对分片转码文件加锁，加锁的目的是防止聚合的过程中其他进程对分片转码文件进行修改操作或者聚合操作，多进程同时修改分片转码文件会导致聚合文件中记录的分片文件的长度与分片文件属性记录的长度不一致，多进程同时聚合分片转码文件会导致同一个分片转码文件被聚合到多个聚合文件中，重复加锁分片转码文件会失败，如果加锁失败，聚合操作失败；判断分片转码文件是否是空文件，如果是空文件，聚合操作失败，分片转码文件解锁；判断分片转码文件是否是普通文件，如果不是普通文件，聚合操作失败，分片转码文件解锁；判断分片转码文件是否有数据正在写入，如果有数据正在写入分片转码文件，聚合操作失败，分片转码文件解锁。聚合分片转码文件的步骤包括：获取聚合文件属性中的聚合信息索引项，索引项对应的索引信息有：分片转码文件在分布式存储系统的唯一编号、分片转码文件长度，分片转码文件在聚合文件中的偏移，初始索引项为零；如果是第一个分片转码文件，索引项加一，第一个索引项对应的索引信息：分片转码文件的唯一编号，分片转码文件的长度、分片转码文件在聚合文件的偏移为零；如果被聚合的分片文件不是第一个分片转码文件，索引项加一，该文件索引项对应的索引信息：分片转码文件的唯一编号，分片转码文件的长度、分片转码文件在聚合文件的偏移为上一个转码分片文件长度和上一个转码分片文件在聚合文件中偏移的和；删除分片转码文件在分布式存储中名字空间，保留分片转码文件属性信息和数据信息，在分布式存储系统中，让分片转码文件对外不可见；分片转码文件解锁，聚合操作完成。以上聚合操作流程都是单个分片转码文件的聚合流程的说明，多个分片转码文件的聚合流程是以上聚合流程的重复。本专利技术的优点是通过将分片转码文件的长度、文件编号、在聚合文件的偏移信息，记录在聚合文件的聚合信息属性的索引项中，完全摒弃了传统的追加写入的方式，将耗时的数据读写操作变为属性信息的增加，提高了分片转码文件合并的效率，节省了宝贵的网络带宽资源。本专利技术也可以应用在广电行业的打包应用中，打包应用中的故事板可以类比成转码应用中的视频源，故事板的分片是按照指定的切分点进行分片，然后打包节点对分片的故事板通过编辑转成分片视频写入到分布式存储，通过存储提供的聚合接口将分片视频聚合起来可以实现极速打包，该打包方式不涉及视频数据的读写拷贝，极速打包的打包效率是传统打包方式无法比拟的。本专利技术能够为视频资源存储空间提供横向扩展能力，可以满足视频资源数据量快速增长的需求；本专利技术能提供统一名字空间，从而打通了各个视频系统之间的信息孤岛，便于资源管理，降低存储系统维护成本；本专利技术提供了快速拼接分片转码文件的功能，摒弃了传统的追加写的方式，而是使用极速的聚合信息索引项追加的方式，不仅节省宝贵的网络带宽资源，并且也提高了拼接分片转码文件效率，本专利技术能够将转码效率提高到20到30倍速。附图说明当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本专利技术以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定，如图其中：图1为本专利技术的一种快速拼接分片转码文件的处理流程图；图2为本专利技术的一种读取聚合文件内容的流程图；图3为本专利技术的一种获取聚合文件属性的流程图；图4为本专利技术的一种删除聚合文件的示意图；下面结合附图和实施例对本专利技术进一步说明。具体实施方式显然，本领域技术人员基于本专利技术的宗旨所做的许多修改和变化属于本专利技术的保护范围。本
技术人员可以理解本文档来自技高网...

【技术保护点】
一种快速拼接转码分片文件的方法，其特征在于包括含有以下步骤：将视频源文件写入到分布式存储，分布式存储系统为转码服务提供统一名字空间，多个转码服务器并行的从分布式存储中读取视频源文件，按照分片的时间段区间获取对应视频源文件时间段的数据；通过转码调度器为转码节点分配分片数据段的索引编号，转码节点从分布式存储上读取对应索引编号的时间片数据，将分片数据进行转码；将转码数据写入分布式存储，生成分片转码文件，分布式存储系统为分片转码文件提供统一名字空间；在存储管理节点调用分布式存储提供的接口生成聚合文件；当分片转码文件满足聚合要求，将分片转码文件在存储系统的唯一编号、分片转码文件长度、分片转码文件在聚合文件的偏移追加到聚合文件的属性信息中；删除分片转码文件在存储系统中的名字空间，使得分片转码文件对外不可见；保留分片转码文件的属性信息和数据信息。

【技术特征摘要】
1.一种快速拼接转码分片文件的方法，其特征在于包括含有以下步骤：将视频源文件写入到分布式存储，分布式存储系统为转码服务提供统一名字空间，多个转码服务器并行的从分布式存储中读取视频源文件，按照分片的时间段区间获取对应视频源文件时间段的数据；通过转码调度器为转码节点分配分片数据段的索引编号，转码节点从分布式存储上读取对应索引编号的时间片数据，将分片数据进行转码；将转码数据写入分布式存储，生成分片转码文件，分布式存储系统为分片转码文件提供统一名字空间；在存储管理节点调用分布式存储提供的接口生成聚合文件；当分片转码文件满足聚合要求，将分片转码文件在存储系统的唯一编号、分片转码文件长度、分片转码文件在聚合文件的偏移追加到聚合文件的属性信息中；删除分片转码文件在存储系统中的名字空间，使得分片转码文件对外不可见；保留分片转码文件的属性信息和数据信息。2.根据权利要求1所述的一种快速拼接分片转码文件的方法，其特征在于分布式存储系统包括为视频源文件提供统一名字空间，转码节点可以并行读取视频源文件；视频源文件在被转码之前，文件长度已经固定，并且录制的视频文件是按照恒定码流录制，所以文件的长度区间也是对应的时间区间；转码服务需要和存储访问节点配置到一个节点上，存储访问节点为转码服务提供统一名字空间；转码调度器负责将视频文件分片，对分片区间分配区间索引；然后根据转码服务的空闲状态，依次给转码服务分配待转码的区间索引，直到转码服务负载饱和；转码服务通过分布式存储提供的读操作接口，读取视频源索引区间数据到内存中，然后进行转码，转码完成之后将内存中的数据写入到分布式存储中，生成分片转码文件，分片转码文件命名按照区间索引编号生成文件名称。3.根据权利要求1所述的一种快速拼接分片转码文件的方法，其特征在于包括：将所有文件索引信息按照分片索引顺序依次追加到聚合文件属性的聚合信息中；聚合文件关联分片转码文件的过程不是传统的分片文件数据内容拷贝，而是聚合文件中聚合信息和聚合索引的追加，索引追加的顺序与文件的分片顺序保持一致；每个索引项对应的索引信息包括：分片文件在分布式存储系统的唯一编号、分片文件的长度、分片文件在聚合文件中偏移；聚合文件只提供读权限，没有写权限；读聚合文件数据通过分布式存储系统提供的接口转换为读取分片文件的数据。4.根据权利要求3所述的一种快速拼接分片转码文件的方法，其特征在于在存储管理节点调用分布式存储提供的接口生成聚合文件的步骤包括：调用分布式存储接口创建聚合文件，然后对分片转码文件进行预检测，检测通过才会继续聚合流程，预检测步骤包括：判断聚合文件中的聚合...

【专利技术属性】
技术研发人员：肖文文，王栩，
申请(专利权)人：北京达沃时代科技股份有限公司，
类型：发明
国别省市：北京,11