本申请公开了一种多媒体数据的处理方法、装置、存储介质及计算机设备。方法通过获取多个多媒体数据，多个多媒体数据包括多个视频源的视频数据以及多个音频源的音频数据；为每一视频源的视频数据创建第一画布，并将视频数据在对应的第一画布中进行渲染，得到每一视频数据对应的渲染数据；确定每一视频数据在第二画布中的渲染位置，并将每一视频数据对应的渲染数据在对应的渲染位置中进行渲染，得到混合视频数据；将多个音频源的音频数据链接到同一音频播放节点，得到混合音频数据；将混合视频数据以及混合音频数据实时推送给目标地址的网页端进行混流播放。该方法可以提升多媒体数据的混流效率。的混流效率。的混流效率。
【技术实现步骤摘要】
多媒体数据的处理方法、装置、存储介质及计算机设备
[0001]本申请涉及数据处理
，具体涉及一种多媒体数据的处理方法、装置、存储介质及计算机设备。
技术介绍
[0002]随着智能终端技术的不断发展以及流量成本的不断降低，使得基于智能终端的视频直播逐渐普及。在一些情况下，为了提升直播观众的观看体验，可以将多名主播的播放内容集成在一个直播画面中进行播放。该过程依赖于对音视频的混流技术实现，音视频混流技术将多个直播终端采集到的多流音视频数据在服务器中进行混流，再将混流后的音视频数据发送到观众端进行播放。
[0003]然而，目前的音视频混流技术的使用场景比较局限，在一些环境下，例如在浏览器中，还无法采用音视频混流技术进行多流音视频数据的混流。
技术实现思路
[0004]本申请实施例提供一种多媒体数据的处理方法、装置、存储介质及计算机设备，该方法可以无需下载客户端应用，直接在网页中实现多媒体数据的混流，从而可以提升多媒体数据混流效率。
[0005]本申请第一方面提供一种多媒体数据的处理方法，方法包括：
[0006]获取多个多媒体数据，所述多个多媒体数据包括多个视频源的视频数据以及多个音频源的音频数据；
[0007]为每一视频源的视频数据创建第一画布，并将所述视频数据在对应的第一画布中进行渲染，得到每一视频数据对应的渲染数据；
[0008]确定每一视频数据在第二画布中的渲染位置，并将每一视频数据对应的渲染数据在对应的渲染位置中进行渲染，得到混合视频数据；
[0009]将所述多个音频源的音频数据链接到同一音频播放节点，得到混合音频数据；
[0010]将所述混合视频数据以及所述混合音频数据实时推送给目标地址的网页端进行混流播放。
[0011]相应的，本申请第二方面提供一种多媒体数据的处理装置，装置包括：
[0012]获取单元，用于获取多个多媒体数据，所述多个多媒体数据包括多个视频源的视频数据以及多个音频源的音频数据；
[0013]创建单元，用于为每一视频源的视频数据创建第一画布，并将所述视频数据在对应的第一画布中进行渲染，得到每一视频数据对应的渲染数据；
[0014]渲染单元，用于确定每一视频数据在第二画布中的渲染位置，并将每一视频数据对应的渲染数据在对应的渲染位置中进行渲染，得到混合视频数据；
[0015]链接单元，用于将所述多个音频源的音频数据链接到同一音频播放节点，得到混合音频数据；
[0016]推送单元，用于将所述混合视频数据以及所述混合音频数据实时推送给目标地址的网页端进行混流播放。
[0017]可选地，在一些实施例中，本申请提供的多媒体数据的处理装置，还包括：
[0018]显示子单元，用于将所述混合视频数据在网页中的视频显示区域进行渲染显示；
[0019]第一确定子单元，用于响应于所述视频显示区域中接收到的选择操作，确定所述选择操作指示的目标第一画布；
[0020]更新子单元，用于接收针对所述目标第一画布中的目标视频数据的编辑操作，并根据编辑后的目标视频数据对所述混合视频数据进行更新。
[0021]可选地，在一些实施例中，第一确定子单元，包括：
[0022]第一获取模块，用于响应于所述视频显示区域中接收到的选择操作，获取所述选择操作在所述第二画布中指示的坐标信息；
[0023]第一确定模块，用于根据所述坐标信息在所述第二画布中确定所述选择操作对应的目标第一画布。
[0024]可选地，在一些实施例中，第一确定模块，包括：
[0025]第一确定子模块，用于基于所述坐标信息对应的坐标点向预设方向确定一条射线；
[0026]计算子模块，用于计算所述射线与每一第一画布的交点数量；
[0027]第二确定子模块，用于确定与所述射线的交点数量为奇数的第一画布为目标第一画布。
[0028]可选地，在一些实施例中，第一确定模块，包括：
[0029]获取子模块，用于获取每一第一画布中像素点的像素值；
[0030]第三确定子模块，用于根据所述像素值进行碰撞检测，并根据检测结果确定所述选择操作对应的目标第一画布。
[0031]可选地，在一些实施例中，更新子单元，包括：
[0032]第二确定模块，用于当接收到针对所述目标第一画布中目标视频数据的编辑操作时，确定所述目标第一画布对应的画布类；
[0033]更新模块，用于基于所述编辑操作对所述画布类中的对象数据进行更新，并根据更新后的画布类在所述第二画布中进行渲染。
[0034]可选地，在一些实施例中，渲染单元，包括：
[0035]第二确定子单元，用于确定每一视频数据在第二画布中的渲染位置；
[0036]第一渲染子单元，用于将所述多个视频数据中在时间维度上对齐的多帧图像帧，根据对应的渲染位置在所述第二画布中进行渲染，得到混合图像帧；
[0037]第二渲染子单元，用于逐帧渲染所述混合图像帧，得到混合视频数据。
[0038]可选地，在一些实施例中，第一渲染子单元，包括：
[0039]第二获取模块，用于获取每一视频数据对应的渲染时间；
[0040]拆分模块，用于将每一视频数据按照预设的渲染频率拆分为多帧图像帧，并基于所述渲染时间将不同视频数据中的图像帧进行时间维度上的对齐；
[0041]渲染模块，用于将在时间维度上对齐的多帧图像帧根据对应的渲染位置在所述第二画布中进行渲染，得到混合图像帧。
[0042]可选地，在一些实施例中，本申请提供的多媒体数据的处理装置，还包括：
[0043]获取子单元，用于当在所述目标地址的网页端播放所述混合视频数据时，对所述目标地址的网页端的运行状态进行获取；
[0044]第三渲染子单元，用于当所述目标地址的网页端的运行状态为前台运行时，采用第一渲染方式对所述混合视频数据进行渲染播放；
[0045]第四渲染子单元，用于当所述目标地址的网页端的运行状态为后台运行时，采用第二渲染方式对所述混合视频数据进行渲染播放，所述第一渲染方式和所述第二渲染方式对所述混合视频数据的渲染频率一致。
[0046]可选地，在一些实施例中，推送单元，包括：
[0047]第一处理子单元，用于对所述混合视频数据进行封装及压缩处理，得到压缩视频数据；
[0048]第二处理子单元，用于对所述混合音频数据进行封装及压缩处理，得到压缩音频数据；
[0049]发送子单元，用于将所述压缩视频数据及所述压缩音频数据实时发送给目标地址的网页端进行混流播放。
[0050]本申请第三方面还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请第一方面或第三方面所提供的多媒体数据的处理方法中的步骤。
[0051]本申请第四方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多媒体数据的处理方法，其特征在于，所述方法包括：获取多个多媒体数据，所述多个多媒体数据包括多个视频源的视频数据以及多个音频源的音频数据；为每一视频源的视频数据创建第一画布，并将所述视频数据在对应的第一画布中进行渲染，得到每一视频数据对应的渲染数据；确定每一视频数据在第二画布中的渲染位置，并将每一视频数据对应的渲染数据在对应的渲染位置中进行渲染，得到混合视频数据；将所述多个音频源的音频数据链接到同一音频播放节点，得到混合音频数据；将所述混合视频数据以及所述混合音频数据实时推送给目标地址的网页端进行混流播放。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述混合视频数据在网页中的视频显示区域进行渲染显示；响应于所述视频显示区域中接收到的选择操作，确定所述选择操作指示的目标第一画布；接收针对所述目标第一画布中的目标视频数据的编辑操作，并根据编辑后的目标视频数据对所述混合视频数据进行更新。3.根据权利要求2所述的方法，其特征在于，所述响应于所述视频显示区域中接收到的选择操作，确定所述选择操作指示的目标第一画布，包括：响应于所述视频显示区域中接收到的选择操作，获取所述选择操作在所述第二画布中指示的坐标信息；根据所述坐标信息在所述第二画布中确定所述选择操作对应的目标第一画布。4.根据权利要求3所述的方法，其特征在于，所述根据所述坐标信息在所述第二画布中确定所述选择操作对应的目标第一画布，包括：基于所述坐标信息对应的坐标点向预设方向确定一条射线；计算所述射线与每一第一画布的交点数量；确定与所述射线的交点数量为奇数的第一画布为目标第一画布。5.根据权利要求3所述的方法，其特征在于，所述根据所述坐标信息在所述第二画布中确定所述选择操作对应的目标第一画布，包括：获取每一第一画布中像素点的像素值；根据所述像素值进行碰撞检测，并根据检测结果确定所述选择操作对应的目标第一画布。6.根据权利要求2所述的方法，其特征在于，所述接收针对所述目标第一画布中的目标视频数据的编辑操作，并根据编辑后的目标视频数据对所述混合视频数据进行更新，包括：当接收到针对所述目标第一画布中目标视频数据的编辑操作时，确定所述目标第一画布对应的画布类；基于所述编辑操作对所述画布类中的对象数据进行更新，并根据更新后的画布类在所述第二画布中进行渲染。7.根据权利要求1所述的方法，其特征在于，所述确定每一视频数据在第二画布中的渲染位置，并将每一视频数据对应的渲染数据在对应的渲染位置中进行渲染，得到混合视频
数据，包括：确定每一视频数据在第二画布中的渲染位置；将所述多个视频数据中在时间维度上对齐的多帧图像帧，根据对应的渲染位置在所述第二画布中进行渲染，得到混合图像帧；逐帧渲染所...
【专利技术属性】
技术研发人员：周仪，刘泽森，柴延林，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。