一种面向流式音视频数据的分布式处理方法及其装置制造方法及图纸

本发明专利技术公开一种面向流式音视频数据的分布式处理方法及其装置，所述方法包括以下步骤：S1：将多台物理机划分为具有特定功能的不同类别，包括分布式资源管理功能、分布式数据内存化功能、分布式封装切片功能、分布式解码功能和其它音视频分布式处理功能，建立不同类别的物理机之间的映射关系；S2：将来自所有传输通道的音视频码流提取出来存入内存；S3：将内存中存储的所述音视频码流的片段直接封装为能够独立编解码的音视频短片段；S4：在不需要维护每路编解码上下文的情况下，对所述音视频短片段进行编解码；S5：对解码后的YUV数据或者经过独立编解码的所述音视频短片段进行进一步的音视频处理。

Distributed processing method and device for streaming audio and video data

The invention discloses a method for streaming audio and video data processing method and a device thereof, wherein the method comprises the following steps: S1: multiple physical machines are divided into different categories with specific functions, including distributed resource management, distributed data, distributed memory function package section function, distributed function and other audio decoding distributed video processing function, the mapping relationship between the physical machine to establish different categories; S2: audio and video streams from all the channels are extracted into memory; S3: directly encapsulated segments of the audio and video streams stored in memory to audio and video codec independent short fragment; S4: without maintain each codec context of the audio and video codec short fragment of S5; decoded YUV data alone or after The audio and video short bits of the codec are used for further audio and video processing.

【技术实现步骤摘要】
一种面向流式音视频数据的分布式处理方法及其装置
本专利技术涉及音视频处理领域，具体来说，涉及到一种面向流式音视频数据的分布式处理方法及其装置。
技术介绍
随着移动互联网、大数据、人工智能的发展，音视频处理在直播、娱乐、通信、安防等领域的需求越来越大。如何实现音视频处理系统的高性能、高通量、高效能、易维护、易扩展、易优化，是该领域面临的新挑战。传统的音视频处理方法一般只能支持一种或几种音视频数据的输入(例如，本地文件、RTP、RSTP、HLS)，然后对这些形式的音视频数据直接进行分布式编解码处理。因此，传统的处理方法存在着以下弊端：1.不易于通过扩展支持多种输入形式，编解码模块依赖于每路的上下文，不能独立编解码，编解码速度慢，支持的路数少，物理机利用率低。2.物理机的数量和功能是在设计阶段确定的，不能根据用户流量的变化而变化，造成物理机资源利用率低或者不足。3.物理机在音视频流量低负载时依然满负荷运转，存在着功耗大，负载不均衡等弊端。4.编解码依赖于每路编解码上下文，分布式的规模不易于做的很大，可扩展性差，不能充分发挥分布式的优势。
技术实现思路
本专利技术的目的是解决上述海量音视频流式数本文档来自技高网...

【技术保护点】
一种面向流式音视频数据的分布式处理方法，其特征在于，包括以下步骤：S1：将多台物理机划分为具有特定功能的不同类别，包括分布式资源管理功能、分布式数据内存化功能、分布式封装切片功能、分布式解码功能和其它音视频分布式处理功能，建立不同类别的物理机之间的映射关系；S2：将来自所有传输通道的音视频码流提取出来存入内存；S3：将内存中存储的所述音视频码流的片段直接封装为能够独立编解码的音视频短片段；S4：在不需要维护每路编解码上下文的情况下，对所述音视频短片段进行编解码；S5：对解码后的YUV数据或者经过独立编解码的所述音视频短片段进行进一步的音视频处理。

【技术特征摘要】
1.一种面向流式音视频数据的分布式处理方法，其特征在于，包括以下步骤：S1：将多台物理机划分为具有特定功能的不同类别，包括分布式资源管理功能、分布式数据内存化功能、分布式封装切片功能、分布式解码功能和其它音视频分布式处理功能，建立不同类别的物理机之间的映射关系；S2：将来自所有传输通道的音视频码流提取出来存入内存；S3：将内存中存储的所述音视频码流的片段直接封装为能够独立编解码的音视频短片段；S4：在不需要维护每路编解码上下文的情况下，对所述音视频短片段进行编解码；S5：对解码后的YUV数据或者经过独立编解码的所述音视频短片段进行进一步的音视频处理。2.根据权利要求1所述的面向流式音视频数据的分布式处理方法，其特征在于，所述步骤S1中将多台物理机划分为具有特定功能的不同类别的过程为：S12：判断当前物理机的功能属性；S13：根据物理的功能属性执行相应的功能；如果当前物理机被设置为执行资源管理功能的物理机，那么执行分布式资源管理功能；如果当前物理机被设置为执行数据内存化的物理机，那么执行数据内存化功能；如果当前物理机被设置为执行封装切片功能的物理机，那么执行封装切片功能；如果当前物理机被设置为执行解码功能的物理机，那么执行解码功能；如果当前物理机被设置为执行其他功能的物理机，那么执行其他音视频处理功能；如果当前物理机未设置功能，那么进入休眠或者低功耗模式。3.根据权利要求2所述的面向流式音视频数据的分布式处理方法，其特征在于，所述步骤S1还包括动态调整各个物理机之间的数据处理映射关系，具体为：S101：获取当前网络中各种类型物理机的状态；S102：按照特定功能的不同类别，分析所有功能类别中的物理机的运行状态数据，对每个功能类别中的所有物理机的运行状态按照规则排序；对每个功能类的物理机进行如下操作：S103：如果同一功能类别中的所有物理机都高于性能阈值，转至步骤S106；否则，转至步骤S104；S104：将低负载率的物理机中的所有正在处理的音视频流重映射到高负载率的物理机上，或者不将新输入的音视频码流映射到低负载率的物理机上，使得负载将某几台物理机达到性能阈值，剩余的物理机则从该功能类中删除，进入休眠状态或者低功耗状态；转至步骤S105；S106：检测是否有尚未分配功能的物理机；如果有，转至步骤S107；如果没有，转至步骤S110；S107：唤醒一台尚未分配功能的物理机；S108：赋予功能；S109:建立与前驱功能所在物理机的映射关系，使新输入的音视频码流根据该映射表流入相应的物理机；转至步骤S105；S110：通知系统管理员，物理机资源不足；S105：休眠固定时间；转至步骤S101。4.根据权利要求3所述的面向流式音视频数据的分布式处理方法，其特征在于，所述步骤S2包括：S21：调用相应的协议接口获取打包的音视频数据；S22：根据协议抽取出每路的音视频数据并存入内存。5.根据权利要求3所述的面向流式音视频数据的分布式处理方法，其特征在于，所述步骤S3包括：S31：获取音视频内存数据,自定义数据格式封装；S32：使用多媒体视频处理工具将内存音视频片段封装为独立解码的音视频片段；S33：根据当前物理机中下一台物理机的路由表，将独立解码的音视频片段送到指定的解码物理机或者对独立解码片段进行处理的物理机。6.根据权利要求3所述的面向流式音视频数据的分布式处理方法，其特征在于，所述步骤S4包括：S41：使用编解码库对独立解码的音视频流进行解码；S42：根据当前物理机中下一台物理机的路由表，将解码的音视频数据送到指定的后续物理机；如果后续要对解码后的YUV/PCM数据进行处理，送入其他处理物理机。7.根据权利要求3所述的面向流式音视频数据的分布式处理方法，其特征在于，步骤S5中进一步的音视频处理的实现方法包括：将进一步的音视频处理功能设置到解码物理机上...

【专利技术属性】
技术研发人员：张承龙，张浩，姜志颖，范东睿，叶笑春，欧焱，
申请(专利权)人：苏州中科集成电路设计中心有限公司，北京中科睿芯科技有限公司，
类型：发明
国别省市：江苏,32