一种分布式音视频处理系统及处理方法技术方案

本发明专利技术提供一种分布式音视频文件处理系统，包括：输入处理单元；数个视频数据处理单元；数个音频数据处理单元；输出处理单元；调度单元，用于协调所述输入处理单元、所述数个视频数据处理单元、所述数个音频数据处理单元及所述输出处理单元的工作，并当有新的音频处理单元和/或新的视频处理单元加入，或所述数个视频数据处理单元和/或所述数个音频数据处理单元中的一个或多个退出所述系统时，能够协调所述输入处理单元、所述数个视频数据处理单元中剩余的视频数据处理单元、所述数个音频数据处理单元中剩余的音频数据处理单元及所述输出处理单元的工作。本发明专利技术还提供一种分布式音视频文件处理方法。

Distributed audio and video processing system and processing method

The present invention provides a distributed video processing system, including: input processing unit; a plurality of video data processing unit; a plurality of audio data processing unit; the output processing unit; the scheduling unit is used to coordinate the input processing unit, the plurality of video data processing unit, wherein a plurality of audio data processing unit and the output processing unit, and when a new audio processing unit and / or a new video processing unit is added, or the number of video data processing unit and / or the number of audio data processing one or more out of the system in the unit, to coordinate the input the processing unit, the plurality of video data processing unit in the rest of the video data processing unit, wherein a plurality of audio data processing of audio data processing units and the remaining output Work on the unit. The invention also provides a distributed audio and video file processing method.

【技术实现步骤摘要】
一种分布式音视频处理系统及处理方法
本专利技术涉及一种利用计算机或数据处理装置处理数据的系统和方法，尤其涉及一种利用分布式计算机或数据处理装置对音视频文件进行处理的系统和向该分布式系统中添加或移除分布式计算机或数据处理装置的方法。技术背景随着网络和文化事业的发展，音视频资源极大丰富，对音视频文件的处理的需要也快速增长。音视频文件处理的大致流程如下：首先将需处理的音视频文件解封装成为视频帧序列和音频帧序列；然后将视频帧序列和音频帧序列分别解码为RAW格式和PCM格式数据；对RAW格式和PCM格式数据进行处理；再将RAW格式和PCM格式的数据编码为所需格式的音频帧序列和视频帧序列；最后将音频帧序列和视频帧序列封装成需要的文件格式。以上处理是通过计算机或计算机构成的数据处理装置来完成的，现有的这些计算机或数据处理装置是依靠本机的软硬件资源来实现对文件的处理。音视频文件处理的计算量庞大，对处理装置的运算能力和存储资源消耗很大，而且随着高清音视频文件的日益增多和处理需求的不断增大，依靠单机进行音视频文件处理的瓶颈问题日益突出，单机处理速度慢且容易发生系统崩溃。即使用户使用配置很高的计算机也难以保证处理的速度和稳定程度，尤其无法满足大批量和时间要求很高的处理任务。对于上述技术问题，公开号为CN103605710A和CN103605709A的中国专利申请均提供了一种分布式音视频处理装置，其使用多台计算机或处理装置来实现并行处理，大大减少了处理所需的时间，同时降低了系统的处理压力。但是，在公开号为CN103605710A和CN103605709A的中国专利申请所提供的分布式音视频处理装置中，当需要对上述数据处理系统添加或减少处理装置时，需要停止整个数据处理系统的运行，直至完成添加或减少处理装置后才能重新启动运行，如此影响了上述数据处理系统的工作效率，严重时会导致相关数据的丢失。
技术实现思路
鉴于以上技术问题，本专利技术的第一方面提供一种分布式音视频文件处理系统，包括：输入处理单元，用于接收源视频文件，对所述源视频文件进行处理获得视频数据和音频数据，并将所述视频数据和所述音频数据分别按顺序分割成视频数据片段和音频数据片段后，并根据一定的分配规则将分割所得的视频数据片段和音频数据片段分配给相应的视频数据处理单元/音频数据处理单元进行处理；数个视频数据处理单元，分别用于对经分割后的视频数据片段进行处理；数个音频数据处理单元，分别用于对经分割后的音频数据片段进行处理；输出处理单元，用于对经处理后的视频数据片段和音频数据片段进行处理并输出；调度单元，用于协调所述输入处理单元、所述数个视频数据处理单元、所述数个音频数据处理单元及所述输出处理单元的工作，并当有新的音频处理单元和/或新的视频处理单元加入，或所述数个视频数据处理单元和/或所述数个音频数据处理单元中的一个或多个退出所述系统时，能够协调所述输入处理单元、所述数个视频数据处理单元中剩余的视频数据处理单元、所述数个音频数据处理单元中剩余的音频数据处理单元及所述输出处理单元的工作。优选地，所述输入处理单元将所述视频数据和所述音频数据分别按顺序分割成视频数据片段和音频数据片段后，将各视频数据片段和音频数据片段的顺序号按视频数据处理单元和音频数据处理单元的数量分别进行模运算，根据模运算的结分别将各视频数据片段和音频数据片段分配给相应的视频数据处理单元和音频数据处理单元进行处理。优选地，所述输入处理单元具有第一监控模块、第一处理模块和第一传输模块；各视频数据处理单元分别具有第二监控模块、第二处理模块和第二传输模块；各音频数据处理单元分别具有第三监控模块、第三处理模块和第三传输模块；所述输出处理单元具有第四监控模块、第四处理模块和第四传输模块；其中，所述第一、第二、第三和第四监控模块分别与所述调度单元进行通信连接，从所述调度单元接收相关指令，并各自将相关处理单元的运行状态报告给所述调度单元；所述第一传输模块分别与各所述第二传输模块和各所述第三传输模块通信连接，将需要处理的相应的视频数据片段和音频数据片段分别发送至各所述第二传输模块和各所述第三传输模块；所述第四传输模块分别与各所述第二传输模块和各所述第三传输模块通信连接，接收经处理后的视频数据片段和音频数据片段。优选地，所述输入处理单元对所接收的源文件进行解封装，获得视频序列和音频序列，并分别将所述视频序列和所述音频序列进行分割处理；所述输出处理单元在判断从各视频数据处理单元和各音频数据处理单元接收到经处理后的所有的视频数据片段和音频数据片段后，将所接到的视频数据片段和音频数据片段进行合并，并按照预定格式进行封装。优选地，所述调度单元和所述第一、第二、第三和第四监控模块通过系统配置文件获取的地址信息进行通信。优选地，所述第一、第二、第三和第四监控模块分别定期地将相应处理单元的运行状态信息发送给所述调度单元；所述调度单元根据所述运行状态信息维护系统配置文件，并将更新的系统配置文件分别发送给所述第一、第二、第三和第四监控模块；其中，所述系统配置文件的内容包括所述视频数据处理单元的数量、物理地址、运行状态和工作目录和所述音频数据处理单元的数量、物理地址、运行状态和工作目录。优选地，当有所述新的音频处理单元和/或所述新的视频处理单元加入，或所述数个视频数据处理单元和/或所述数个音频数据处理单元中的一个或多个退出所述系统时，所述调度单元接收所述视频数据处理单元和/或所述音频数据处理单元的变化信息，根据所述变化信息修改所述系统配置文件，并发送给所述第一、第二、第三和第四监控模块。优选地，所述新的视频数据处理单元和/或所述新的音频数据处理单元中的监控模块分别向所述调度单元发送本数据处理单元的相关信息，调度模块在收到所述信息后更新系统配置文件。优选地，所述新的视频数据处理单元和/或所述新的音频数据处理单元中的监控模块从所述调度单元获取当前的系统配置文件，在其中加入本单元的信息后返回给所述调度单元；所述调度单元收到返回的加入了新的视频数据处理单元和/或所述新的音频数据处理单元的信息后的系统配置文件后，用返回的所述加入了新的视频数据处理单元和/或所述新的音频数据处理单元的信息后的系统配置文件替换所述当前的系统配置文件。优选地，所述调度单元在收到所述新的视频数据处理单元或所述新的音频数据处理单元中的监控模块返回的所述加入了本单元的信息后的系统配置文件之前，拒绝其他新的视频数据处理单元和/或其他新的音频数据处理单元中的监控模块从所述调度单元获取所述当前的系统配置文件的请求。优选地，所述新的视频数据处理单元和所述新的音频数据处理单元还包括能够启动本单元的音频或视频处理作业的指令监控模块；所述调度单元接收用户输入的所述新的视频数据处理单元和/或所述新的音频数据处理单元的相关信息，并根据所述相关信息中的地址向相应的所述指令监控模块发送启动音频和/或视频处理作业的指令。优选地，当所述调度单元经过第一预定时间未从某一视频数据处理单元和/或音频数据处理单元接收到运行状态信息时，所述调度单元将该视频数据处理单元和/或该音频数据处理单元在所述系统配置文件中对应的信息标记为退出系统。优选地，当所述调度单元经过小于所述第一预定时间的第二预定时间未从所述某一视频数据处理单元本文档来自技高网...

【技术保护点】
一种分布式音视频文件处理系统，包括：输入处理单元，用于接收源视频文件，对所述源视频文件进行处理获得视频数据和音频数据，并将所述视频数据和所述音频数据分别按顺序分割成视频数据片段和音频数据片段后，并根据一定的分配规则将分割所得的视频数据片段和音频数据片段分配给相应的视频数据处理单元/音频数据处理单元进行处理；数个视频数据处理单元，分别用于对经分割后的视频数据片段进行处理；数个音频数据处理单元，分别用于对经分割后的音频数据片段进行处理；输出处理单元，用于对经处理后的视频数据片段和音频数据片段进行处理并输出；调度单元，用于协调所述输入处理单元、所述数个视频数据处理单元、所述数个音频数据处理单元及所述输出处理单元的工作，并当有新的音频处理单元和/或新的视频处理单元加入，或所述数个视频数据处理单元和/或所述数个音频数据处理单元中的一个或多个退出所述系统时，能够协调所述输入处理单元、所述数个视频数据处理单元中剩余的视频数据处理单元、所述数个音频数据处理单元中剩余的音频数据处理单元及所述输出处理单元的工作；其中，当新的音频处理单元和/或新的视频处理单元加入时，所述新的音频处理单元和/或新的视频处理单元被设定为在接入时按照存储的调度单元的地址信息从调度单元获取系统配置文件；获取系统配置文件后，所述新的音频处理单元和/或新的视频处理单元将本单元的各项信息加入到系统配置文件，之后新的音频处理单元和/或新的视频处理单元更新配置文件的版本号并将其发回给调度单元，调度单元核对所述新的音频处理单元和/或新的视频处理单元发送的配置文件的版本号是否比自己的新，以确定替换或更新自己的配置文件，并将更新的配置文件发给系统的各单元；所述输入处理单元和输出处理单元根据更新的配置文件与新的音频处理单元和/或新的视频处理单元建立通信连接。...

【技术特征摘要】
1.一种分布式音视频文件处理系统，包括：输入处理单元，用于接收源视频文件，对所述源视频文件进行处理获得视频数据和音频数据，并将所述视频数据和所述音频数据分别按顺序分割成视频数据片段和音频数据片段后，并根据一定的分配规则将分割所得的视频数据片段和音频数据片段分配给相应的视频数据处理单元/音频数据处理单元进行处理；数个视频数据处理单元，分别用于对经分割后的视频数据片段进行处理；数个音频数据处理单元，分别用于对经分割后的音频数据片段进行处理；输出处理单元，用于对经处理后的视频数据片段和音频数据片段进行处理并输出；调度单元，用于协调所述输入处理单元、所述数个视频数据处理单元、所述数个音频数据处理单元及所述输出处理单元的工作，并当有新的音频处理单元和/或新的视频处理单元加入，或所述数个视频数据处理单元和/或所述数个音频数据处理单元中的一个或多个退出所述系统时，能够协调所述输入处理单元、所述数个视频数据处理单元中剩余的视频数据处理单元、所述数个音频数据处理单元中剩余的音频数据处理单元及所述输出处理单元的工作；其中，当新的音频处理单元和/或新的视频处理单元加入时，所述新的音频处理单元和/或新的视频处理单元被设定为在接入时按照存储的调度单元的地址信息从调度单元获取系统配置文件；获取系统配置文件后，所述新的音频处理单元和/或新的视频处理单元将本单元的各项信息加入到系统配置文件，之后新的音频处理单元和/或新的视频处理单元更新配置文件的版本号并将其发回给调度单元，调度单元核对所述新的音频处理单元和/或新的视频处理单元发送的配置文件的版本号是否比自己的新，以确定替换或更新自己的配置文件，并将更新的配置文件发给系统的各单元；所述输入处理单元和输出处理单元根据更新的配置文件与新的音频处理单元和/或新的视频处理单元建立通信连接。2.根据权利要求1所述的音视频文件处理系统，其特征在于：所述输入处理单元将所述视频数据和所述音频数据分别按顺序分割成视频数据片段和音频数据片段后，将各视频数据片段和音频数据片段的顺序号按视频数据处理单元和音频数据处理单元的数量分别进行模运算，根据模运算的结果分别将各视频数据片段和音频数据片段分配给相应的视频数据处理单元和音频数据处理单元进行处理。3.根据权利要求1所述的音视频文件处理系统，其特征在于：所述输入处理单元具有第一监控模块、第一处理模块和第一传输模块；各视频数据处理单元分别具有第二监控模块、第二处理模块和第二传输模块；各音频数据处理单元分别具有第三监控模块、第三处理模块和第三传输模块；所述输出处理单元具有第四监控模块、第四处理模块和第四传输模块；其中，第一、第二、第三和第四监控模块分别与所述调度单元进行通信连接，从所述调度单元接收相关指令，并各自将相关处理单元的运行状态报告给所述调度单元；所述第一传输模块分别与各所述第二传输模块和各所述第三传输模块通信连接，将需要处理的相应的视频数据片段和音频数据片段分别发送至各所述第二传输模块和各所述第三传输模块；所述第四传输模块分别与各所述第二传输模块和各所述第三传输模块通信连接，接收经处理后的视频数据片段和音频数据片段。4.根据权利要求3所述的音视频文件处理系统，其特征在于：所述输入处理单元对所接收的源文件进行解封装，获得视频序列和音频序列，并分别将所述视频序列和所述音频序列进行分割处理；所述输出处理单元在判断从各视频数据处理单元和各音频数据处理单元接收到经处理后的所有的视频数据片段和音频数据片段后，将所接到的视频数据片段和音频数据片段进行合并，并按照预定格式进行封装。5.根据权利要求4所述的音视频文件处理系统，其特征在于：所述调度单元和所述第一、第二、第三和第四监控模块通过系统配置文件获取的地址信息进行通信。6.根据权利要求5所述的音视频文件处理系统，其特征在于：所述第一、第二、第三和第四监控模块分别定期地将相应处理单元的运行状态信息发送给所述调度单元；所述调度单元根据所述运行状态信息维护系统配置文件，并将更新的系统配置文件分别发送给所述第一、第二、第三和第四监控模块；其中，所述系统配置文件的内容包括所述视频数据处理单元的数量、物理地址、运行状态和工作目录和所述音频数据处理单元的数量、物理地址、运行状态和工作目录。7.根据权利要求6所述的音视频文件处理系统，其特征在于：当有所述新的音频处理单元和/或所述新的视频处理单元加入，或所述数个视频数据处理单元和/或所述数个音频数据处理单元中的一个或多个退出所述系统时，所述调度单元接收所述视频数据处理单元和/或所述音频数据处理单元的变化信息，根据所述变化信息修改所述系统配置文件，并发送给所述第一、第二、第三和第四监控模块。8.根据权利要求7所述的音视频文件处理系统，其特征在于：所述新的视频数据处理单元和/或所述新的音频数据处理单元中的监控模块分别向所述调度单元发送本数据处理单元的相关信息，调度模块在收到所述相关信息后更新系统配置文件。9.根据权利要求8所述的音视频文件处理系统，其特征在于：所述新的视频数据处理单元和/或所述新的音频数据处理单元中的监控模块从所述调度单元获取当前的系统配置文件，在其中加入本单元的信息后返回给所述调度单元；所述调度单元收到返回的加入了新的视频数据处理单元和/或所述新的音频数据处理单元的信息后的系统配置文件后，用返回的所述加入了新的视频数据处理单元和/或所述新的音频数据处理单元的信息后的系统配置文件替换所述当前的系统配置文件。10.根据权利要求9所述的音视频文件处理系统，其特征在于：所述调度单元在收到所述新的视频数据处理单元或所述新的音频数据处理单元中的监控模块返回的所述加入了本单元的信息后的系统配置文件之前，拒绝其他新的视频数据处理单元和/或其他新的音频数据处理单元中的监控模块从所述调度单元获取所述当前的系统配置文件的请求。11.根据权利要求7所述的音视频文件处理系统，其特征在于：所述新的视频数据处理单元和所述新的音频数据处理单元还包括能够启动本单元的音频或视频处理作业的指令监控模块；所述调度单元接收用户输入的所述新的视频数据处理单元和/或所述新的音频数据处理单元的相关信息，并根据所述相关信息中的地址向相应的所述指令监控模块发送启动音频和/或视频处理作业的指令。12.根据权利要求7所述的音视频文件处理系统，其特征在于：当所述调度单元经过第一预定时间未从某一视频数据处理单元和/或音频数据处理单元接收到运行状态信息时，所述调度单元将该视频数据处理单元和/或该音频数据处理单元在所述系统配置文件中对应的信息标记为退出系统。13.根据权利要求12所述的音视频文件处理系统，其特征在于：当所述调度单元经过小于所述第一预定时间的第二预定时间未从所述某一视频数据处理单元和/或音频数据处理单元接收到运行状态信息时，所述调度单元将该视频数据处理单元和/或音频数据处理单元在所述系统配置文件中对应的信息标记为故障。14.根据权利要求13所述的音视频文件处理系统，其特征在于：所述调度单元停止向标记为故障或退出系统的视频数据处理单元和/或音频数据处理单元分配处理任务。15.根据权利要求7所述的音视频文件处理系统，其特征在于：所述视频数据处理单元和所述音频数据处理单元还包括能...

【专利技术属性】
技术研发人员：武悦，张金良，陈斌，
申请(专利权)人：无锡天脉聚源传媒科技有限公司，
类型：发明
国别省市：江苏,32