一种音视频加工的方法及装置制造方法及图纸

本申请公开了一种音视频加工的方法及装置，其中所述方法包括：接收加工任务，所述加工任务用于描述对音视频加工所需的加工流程，所述加工任务至少包括：待加工的音视频流的标识以及加工插件标识列表；拉取与所述待加工的音视频流的标识对应的音视频流；依次调用所述加工插件标识列表中各加工插件标识对应的加工插件，对所述音视频流进行内容加工处理。通过上述过程可以实现对单独的音视频流进行多重加工处理，降低了加工延迟，提高了对音视频流的加工效率。

【技术实现步骤摘要】
一种音视频加工的方法及装置
本申请实施例涉及多媒体数据处理技术，尤其涉及一种音视频加工的方法及装置。
技术介绍
目前，随着网络通信技术的进步和宽带网络的提速，网络直播得到了越来越多的发展和应用。为了提升主播的直播效果，通常可以采用内容加工服务来对直播的视频进行内容加工，例如，对视频进行AI(ArtificialIntelligence，人工智能)美颜、背景分割、白板处理等。在相关技术中，如图1所示，对视频进行内容加工的方式包括如下流程：通过多个接收器receiver进行拉流，对每路视频流通过解码器decoder进行解码后，通过混流器(compositor)对解码后的视频流进行混流处理，在混流的过程中，采用使用Lua语言编写插件对混流后的视频流进行加工处理，然后将加工处理后的视频通过编码器(encoder)进行编码，并将编码后的视频流进行推流处理(pusher)。但上述的内容加工方式存在如下不足：1、只能使用Lua语言编写插件；2、一次拉流、解码、混流、加工、编码、推流的过程只能进行一次加工处理，如果需要对视频进行本文档来自技高网...

【技术保护点】
1.一种音视频加工的方法，其特征在于，所述方法包括：/n接收加工任务，所述加工任务用于描述对音视频加工所需的加工流程，所述加工任务至少包括：待加工的音视频流的标识以及加工插件标识列表；/n拉取与所述待加工的音视频流的标识对应的音视频流；/n依次调用所述加工插件标识列表中各加工插件标识对应的加工插件，对所述音视频流进行内容加工处理。/n

【技术特征摘要】
1.一种音视频加工的方法，其特征在于，所述方法包括：
接收加工任务，所述加工任务用于描述对音视频加工所需的加工流程，所述加工任务至少包括：待加工的音视频流的标识以及加工插件标识列表；
拉取与所述待加工的音视频流的标识对应的音视频流；
依次调用所述加工插件标识列表中各加工插件标识对应的加工插件，对所述音视频流进行内容加工处理。


2.根据权利要求1所述的方法，其特征在于，在所述拉取与所述待加工的音视频流的标识对应的音视频流之后，所述方法还包括：
将所述音视频流解码成帧数据；
将所述帧数据存储在共享内存中。


3.根据权利要求2所述的方法，其特征在于，所述加工插件标识列表包括至少两个加工插件标识，以及，所述至少两个加工插件标识的执行顺序；
所述依次调用所述加工插件标识列表对应的加工插件，对所述音视频流进行内容加工处理，包括：
按照所述执行顺序依次遍历所述加工插件标识列表中的加工插件标识，针对当前的加工插件标识，调用所述加工插件标识对应的加工插件，并将当前待处理的帧数据的内存偏移量发送至所述加工插件中；
由所述加工插件根据所述内存偏移量从所述共享内存中读取对应的帧数据，并对所述帧数据进行加工处理；
将加工处理后的帧数据存储在所述共享内存中，并继续遍历下一个加工插件标识，调用对应的加工插件从所述共享内存中读取所述加工处理后的帧数据进行加工，以此类推，直到所述加工插件标识列表中的加工插件标识遍历完毕。


4.根据权利要求3所述的方法，其特征在于，所述针对当前的加工插件标识，调用所述加工插件标识对应的加工插件，包括：
基于远程过程调用协议RPC协议的thrift接口，调用所述加工插件标识对应的加工插件。


5.根据权利要求3或4所述的方法，其特征在于，当被调用的加工插件的数量为至少两个时，则该至少两个加工插件部署在同一台物理机器的一个或多个容器中。


6....

【专利技术属性】
技术研发人员：王峰，陈政澈，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：广东;44