一种多路音视频同步直播方法和系统技术方案

本申请涉及一种多路音视频同步直播方法，其中，该方法包括：服务端采集多路音视频，分别对各路音视频进行格式转换，生成各路音视频对应的切片文件和索引文件，并提取每个切片文件的音频时间戳和序号并将其写入在索引中；从服务端获取各路音视频对应的索引文件，根据索引文件中的音频时间戳，分别在每一路音视频中选择一个切片文件作为起始切片。在各路起始切片的音频时间戳中，选择最快的一个作为基准时间戳，并根据其校准各路音视频的切片文件后进行播放。通过本申请，解决了由于每路视频流生成ts文件的速度、ts文件包含的视频长度等差异，进而导致多路音视频不同步的问题，实现了多路音视频通知直播的同时，用户可以独立编辑各路音视频画面。音视频画面。音视频画面。

【技术实现步骤摘要】
一种多路音视频同步直播方法和系统


[0001]本申请涉及网络直播
，特别是涉及一种多路音视频同步直播方法和系统。

技术介绍

[0002]随着直播行业快速发展，用户对于观看音视频的创新需求随之增加，多屏同步互动、多角度同步直播等新颖的直播方式，在生活中也逐步得到应用，然而，如何保证多路音视频直播的同步性，是目前待解决的核心问题。
[0003]在相关技术中，由于各路视频的帧率、分辨率、码率等参数存在差异，导致生成的切片文件的速度、切片包含的视频长度等都存在固有的差异。例如，采用当前主流的HLS协议将RTMP视频流封装为一个个ts切片文件时，多路音视频流的帧率、分辨率、码率等参数差异会导致生成ts文件的速度、ts文件包含的视频长度等差异，进而导致多路视频的播放起始画面不同步以及播放速度的不一致。
[0004]因此，无法采用传统的方式对多路音视频进行校准，即使可以对起始切片校准，但是，由于切片的速度和长度均不同，随着播放的进行多路音视频也会越来越不同步，即出现多路视频的帧时间戳是同步的但是画面却不同步的情况。
[0005]目前针对相关技术中多路音视频无法同步播放的问题，尚未提出有效的解决方案。

技术实现思路

[0006]本申请实施例提供了一种多路音视频同步直播方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中多路音视频无法同步播放的问题。
[0007]第一方面，本申请实施例提供了一种多路音视频同步直播方法，所述方法包括：服务端采集多路音视频，分别对各路音视频进行格式转换，生成各路音视频对应的切片文件和索引文件，并提取每个切片文件音频时间戳和序号并将其写入在所述索引文件中；终端发送播放请求，从所述服务端获取各路音视频对应的索引文件，根据所述索引文件中的音频时间戳，分别在每一路音视频中选择一个切片文件作为起始切片，其中，各路音视频选中的起始切片之间，所述音频时间戳的差值最小，在各路起始切片的音频时间戳中，选择时间进度最快的一个作为基准时间戳，实时下载索引文件中各路音视频的切片文件，并根据所述基准时间戳校准各路音视频的切片文件后进行播放。
[0008]在其中一些实施例中，根据所述基准时间戳校准各路音视频的切片文件后进行播放，包括：获取所述基准时间戳对应的基准路音视频；分别计算其他各路音视频的起始切片文件的音频时间戳，与所述基准时间戳的差
值，得到其他各路音视频的校准时间差；根据所述校准时间差，校准其他各路音视频的起始切片，并播放所述起始切片，之后，按照切片序号，顺序播放各路音视频的后续切片文件。
[0009]在其中一些实施例中，分别计算其他各路音视频的起始切片文件的音频时间戳，与所述基准时间戳的差值之后，所述方法还包括：获取所述各路音视频在所述终端上的加载时间，计算所述其他各路音视频的加载时间与所述基准路音视频的加载时间差值；基于所述加载时间差值和所述基准时间戳的差值，得到其他各路音视频的校准时间差；根据所述校准时间差，校准其他各路音视频的起始切片，并播放所述起始切片，之后，按照切片序号，顺序播放各路音视频的后续切片文件。
[0010]在其中一些实施例中，根据所述校准时间差，校准其他各路音视频的起始切片，包括：将所述其他各路音视频的起始切片，按照所述校准时间差快进至与所述基准时间戳相同的时间进度。
[0011]在其中一些实施例中，顺序播放各路音视频的后续切片文件之后，所述方法还包括：实时获取各路视频的累计播放时间；根据所述累计播放时间检测多路音视频是否同步播放，若否，获取播放最快的一路音视频画面的播放时间，并以其为基准时间，对其他路画面重新进行校准。
[0012]在其中一些实施例中，实时下载索引文件中各路音视频的切片文件，并根据所述基准时间戳校准各路音视频的切片文件后进行播放的过程中，所述方法还包括：所述终端接收用户自定义操作指令，根据所述自定义操作指令，在前端显示界面上，分别对所述各路音视频的画面进行编辑处理，其中，所述自定义操作指令包括：画面缩放指令、画面移动指令、画面悬浮指令和画面删减指令。
[0013]在其中一些实施例中所述多路音视频是RTMP流文件，所述服务端分别将每一路音视频的RTMP流文件转换为HLS文件，分别得到多组切片文件和一个索引文件。
[0014]第二方面，本申请实施例提供了一种多路音视频同步直播系统，其特征在于，所述系统包括：服务端和终端，其中；所述服务端用于，采集多路音视频，分别对各路音视频进行格式转换，生成各路音视频对应的切片文件和索引文件，并提取每个切片文件音频时间戳和序号并将其写入在所述索引文件中；所述终端用于，发送播放请求，从所述服务端获取各路音视频对应的索引文件，根据所述索引文件中的音频时间戳，分别在每一路音视频中选择一个切片文件作为起始切片，其中，各路音视频选中的起始切片之间，所述音频时间戳的差值最小，以及，在各路起始切片的音频时间戳中，选择时间进度最快的一个作为基准时间戳，实时下载索引文件中各路音视频的切片文件，并根据所述基准时间戳校准各路音视频
的切片文件后进行播放。
[0015]第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
[0016]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。
[0017]相比于相关技术，本申请实施例提供的多路音视频同步直播方法，至少具备如下有益效果：基于音频时间戳进行校准，在应用切片流文件传递多路音视频的场景下，对于视频参数（码率、帧率、分辨率等）不同的多路音视频件，也能够实现良好的同步直播效果；传统方式中为了克服多路视频流切片无法准确校准，从而将多路音视频合并为一路视频发送至终端的方式，本实施例中，用户接收到的是多个独立的视频流，用户在体验同步播放的同时，仍可以按照自身需求独立编辑每一路音视频画面，且仍然可以维持原有视频画质。
附图说明
[0018]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的多路音视频同步直播方法的应用环境示意图；图2是根据本申请实施例的一种多路音视频同步直播方法的流程图；图3是根据本申请实施例中的根据基准时间戳校准个路音视频的切片文件后的流程图；图4是根据本申请实施例的一种多路音视频同步直播系统的结构框图；图5是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
[0019]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多路音视频同步直播方法，其特征在于，所述方法包括：服务端采集多路音视频，分别对各路音视频进行格式转换，生成各路音视频对应的切片文件和索引文件，并提取每个切片文件的音频时间戳和序号并将其写入在所述索引文件中；终端发送播放请求，从所述服务端获取各路音视频对应的索引文件，根据所述索引文件中的音频时间戳，分别在每一路音视频中选择一个切片文件作为起始切片，其中，各路音视频选中的起始切片之间，所述音频时间戳的差值最小，在各路起始切片的音频时间戳中，选择时间进度最快的一个作为基准时间戳，实时下载索引文件中各路音视频的切片文件，并根据所述基准时间戳校准各路音视频的切片文件后进行播放。2.根据权利要求1所述的方法，其特征在于，根据所述基准时间戳校准各路音视频的切片文件后进行播放，包括：获取所述基准时间戳对应的基准路音视频；分别计算其他各路音视频的起始切片文件的音频时间戳，与所述基准时间戳的差值，得到其他各路音视频的校准时间差；根据所述校准时间差，校准其他各路音视频的起始切片，并播放所述起始切片，之后，按照切片序号，顺序播放各路音视频的后续切片文件。3.根据权利要求2所述的方法，其特征在于，分别计算其他各路音视频的起始切片文件的音频时间戳，与所述基准时间戳的差值之后，所述方法还包括：获取所述各路音视频在所述终端上的加载时间，计算所述其他各路音视频的加载时间与所述基准路音视频的加载时间差值；基于所述加载时间差值和所述基准时间戳的差值，得到其他各路音视频的校准时间差；根据所述校准时间差，校准其他各路音视频的起始切片，并播放所述起始切片，之后，按照切片序号，顺序播放各路音视频的后续切片文件。4.根据权利要求3所述的方法，其特征在于，根据所述校准时间差，校准其他各路音视频的起始切片，包括：将所述其他各路音视频的起始切片，按照所述校准时间差快进至与所述基准时间戳相同的时间进度。5.根据权利要求2所述的方法，其特征在于，顺序播放各路音视频的后续切片文件之后，所述方...

【专利技术属性】
技术研发人员：苑志超，铁智慧，刘奎，
申请(专利权)人：灵长智能科技杭州有限公司，
类型：发明
国别省市：