多媒体信息处理方法、装置和电子设备制造方法及图纸

本发明专利技术公开了一种多媒体信息处理方法、装置和电子设备，所述多媒体信息处理方法包括：对多路待处理多媒体信息流进行解码；判断每路解码后的多媒体信息流中是否存在预览信号；如果存在所述预览信号，则从所述解码后的多媒体信息流中获取所述预览信号对应的目标多媒体信息流；将所述目标多媒体信息流进行编码得到多媒体预览数据。该方案不仅实现了可实时控制预览目标多媒体信息流，而且避免了现有技术中因预览过程单独转码而导致的预览画面与编码输出的画面不同步的问题。

Multimedia information processing method, apparatus and electronic equipment

The invention discloses a multimedia information processing method, device and electronic equipment, including the multimedia information processing method of multiple pending multimedia information stream is decoded; determine the multimedia information of each decoded flow exists in the preview signal; if there is the preview signal stream from the multimedia information to obtain the target the preview signal corresponding to flow in the multimedia information of the decoded; the goal of multimedia information flow by multimedia preview data encoding. The scheme not only realizes the real-time control of the preview target multimedia information stream, but also avoids the problem that the preview picture and the coded output screen are not synchronized in the prior art because the preview process is individually transcoding.

【技术实现步骤摘要】

本专利技术涉及云导播领域，具体涉及一种多媒体信息处理方法、装置和电子设备。
技术介绍
随着直播业务的不断增长，对于直播业务的各种新功能新需求也越来越多，例如多机位切换、多场景切换、直播点播切换、分屏显示、音频混音等等，在传统直播中，依赖于硬件导播台来完成这些工作，这种方式不但设备成本较高，携带不便，且操作难度较大，所以云导播应运而生，从而满足不断增长及变化的直播业务需求。云导播的主要功能就是将多路多媒体信号合成一路输出，其中信号处理部分涉及到音视频解码、音频混音、视频拼接以及音、视频编码输出等重要步骤，功能切换部分包括机位切换、模板改变、增删机位等操作，处理流程复杂且功能众多，如何更好地进行整体系统设计就成了云导播产品的核心工作。现有云导播整体架构设计上主要采用单线程处理方式，信号处理部分依次对每一路的多媒体信息进行拉流解码，再进行音频混音，视频拼接，最后编码输出，各信号处理步骤之间串行进行。这种处理方式使得各信号处理步骤间耦合性较高，且整体处理性能也受影响；另外，在实现多路多媒体信息输入流预览时，现有云导播采用对每路多媒体信息输入流另起一个转码进程专门进行转码处理并输出，这种处理方式在浪费资源的同时，也使得预览画面和导播中画面不同步，影响用户观感及使用。因此，如何简化多媒体处理过程、提高多媒体信息处理效率成为一个亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术实施例提供了一种多媒体信息处理方法、装置和电子设备，以解决现有技术中多媒体处理过程繁琐、多媒体信息处理效率低的问题。根据第一方面，本专利技术实施例提供了一种多媒体信息处理方法，适用于多媒体处理装置，比如导播过程中的多媒体信息处理器等，包括：对多路待处理多媒体信息流进行解码；判断每路解码后的多媒体信息流中是否存在预览信号；如果存在所述预览信号，则从所述解码后的多媒体信息流中获取所述预览信号对应的目标多媒体信息流；将所述目标多媒体信息流进行编码得到多媒体预览数据。可选地，所述多媒体信息流包括音频流和/或视频流；所述目标多媒体信息流包括目标音频流和/或目标视频流。可选地，还包括：如果不存在所述预览信号或所述得到多媒体预览数据后，将解码后的所述音频流进行混音处理得到混音音频流，将解码后的所述视频流进行拼接处理得到拼接后视频流。可选地，还包括：对所述混音音频流和所述拼接后视频流进行编码得到多媒体输出数据。可选地，所述对多路待处理多媒体信息流进行解码包括：对每一路所述待处理多媒体信息流采用一个线程进行解码。根据第二方面，本专利技术实施例提供了一种多媒体信息处理装置，包括：解码模块，用于对多路待处理多媒体信息流进行解码；判断模块，用于判断每路解码后的多媒体信息流中是否存在预览信号；第一获取模块，用于如果存在所述预览信号，则从所述解码后的多媒体信息流中获取所述预览信号对应的目标多媒体信息流；编码预览模块，用于将所述目标多媒体信息流进行编码得到多媒体预览数据。可选地，所述多媒体信息流包括音频流和/或视频流；所述目标多媒体信息流包括目标音频流和/或目标视频流。可选地，还包括：混音拼接模块，用于如果不存在所述预览信号或所述得到多媒体预览数据后，将解码后的所述音频流进行混音处理得到混音音频流，将解码后的所述视频流进行拼接处理得到拼接后视频流。可选地，还包括：编码输出模块，用于对所述混音音频流和所述拼接后视频流进行编码得到多媒体输出数据。可选地，所述解码模块包括：并行解码单元，用于对每一路所述待处理多媒体信息流采用一个线程进行解码。根据第三方面，本专利技术实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面或者第一方面的任意一种可选方式中所述的多媒体信息处理方法。根据第四方面，本专利技术实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种可选方式中所述的多媒体信息处理方法。根据第五方面，本专利技术实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行第一方面或者第一方面的任意一种可选方式中所述的多媒体信息处理方法。本专利技术实施例所提供的一种多媒体信息处理方法、装置和电子设备，通过采用并行信号处理的方法对多路多媒体信息流进行解码，其中每一路多媒体信息流解码后的音频流和视频流不仅用于音频混音、视频拼接后编码输出，还用于在有预览信号时，将对应的目标多媒体信息流编码得到多媒体预览数据，与现有技术相比，不仅实现了可实时控制预览目标多媒体信息流，而且避免了现有技术中因预览过程单独转码而导致的预览画面与编码输出的画面不同步的问题。附图说明通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：图1示出了根据本专利技术实施例的多媒体信息处理方法的流程图；图2示出了根据本专利技术实施例的多媒体信息处理装置的示意图；图3示出了根据本专利技术实施例的电子设备的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例本实施例提供一种多媒体信息处理方法，适用于多媒体处理装置，比如导播过程中的多媒体信息处理器等，如图1所示，包括如下步骤：S11：对多路待处理多媒体信息流进行解码，作为一种可选地实施方式，可以采用并行数据处理方式对每一路待处理多媒体信息流采用一个独立的线程进行解码，以降低各路之间的耦合性，提高解码结果的准确率。所述多媒体信息流包括音频流和/或视频流，解码后得到后相应的音频流和视频流。S12：判断每路解码后的多媒体信息流中是否存在预览信号，此处预览信号可以是预先设定在预定时刻加入待处理多媒体信息流的，也可以实时加入待处理多媒体信息流的，若存在预览信号执行步骤S13-S15，否则执行S15，当不存在所述预览信号时或执行S14步骤得到多媒体预览数据后，都会执行S15的步骤。S13：如果存在所述预览信号，则从解码后的多媒体信息流中获取所述预览信号对应的目标多媒体信息流，具体地，解码后的多媒体信息流中包括所述目标多媒体信息流的目标音频流和/或目标视频流，根据预览信号，然后从中获取对应的目标音频流和目标视频流。S14：将所述目标多媒体信息流进行编码得到多媒体预览数据，即将步骤S13中获取到的目标音频流和目标视频流进行相关的编码，得到多媒体预览数据。S15：将解码后的所述音频流进行混音处理得到混音音频流，将解码后的所述视频流进行拼接处理得到拼接后视频流。之后，还可以进一步包括对所述混音音频流和所述拼接后视频流进行编码得到多媒体输出数据，此处多媒体输出数据可用于导播平台进行多媒体导播。即无论有没有预览信号，均对于解码后得到的本文档来自技高网...

【技术保护点】
一种多媒体信息处理方法，其特征在于，包括：对多路待处理多媒体信息流进行解码；判断每路解码后的多媒体信息流中是否存在预览信号；如果存在所述预览信号，则从所述解码后的多媒体信息流中获取所述预览信号对应的目标多媒体信息流；将所述目标多媒体信息流进行编码得到多媒体预览数据。

【技术特征摘要】
1.一种多媒体信息处理方法，其特征在于，包括：对多路待处理多媒体信息流进行解码；判断每路解码后的多媒体信息流中是否存在预览信号；如果存在所述预览信号，则从所述解码后的多媒体信息流中获取所述预览信号对应的目标多媒体信息流；将所述目标多媒体信息流进行编码得到多媒体预览数据。2.根据权利要求1所述的多媒体信息处理方法，其特征在于，所述多媒体信息流包括音频流和/或视频流；所述目标多媒体信息流包括目标音频流和/或目标视频流。3.根据权利要求2所述的多媒体信息处理方法，其特征在于，还包括：如果不存在所述预览信号或所述得到多媒体预览数据后，将解码后的所述音频流进行混音处理得到混音音频流，将解码后的所述视频流进行拼接处理得到拼接后视频流。4.根据权利要求3所述的多媒体信息处理方法，其特征在于，还包括：对所述混音音频流和所述拼接后视频流进行编码得到多媒体输出数据。5.根据权利要求1至4中任一项所述的多媒体信息处理方法，其特征在于，所述对多路待处理多媒体信息流进行解码包括：对每一路所述待处理多媒体信息流采用一个线程进行解码。6.一种多媒体信息处理装置，其特征在于，包括：解码模块，用于对多路待处理多媒体信息流进行解码；判断模块，用于判断每路解码后的多媒体信息流中是否存在预览信号；第一获取模块，用于如果...

【专利技术属性】
技术研发人员：刘辰，白茂生，
申请(专利权)人：乐视控股北京有限公司，乐视云计算有限公司，
类型：发明
国别省市：北京;11