一种基于帧同步的多路远程直播视频解说方法技术

本发明专利技术提供一种基于帧同步的多路远程直播视频解说方法，包括：切换设备设有直播音视频流缓存区域；切换设备在所述M个直播视频帧的前面添加计时序列，并在所述计时序列的最后一个计时帧上面添加同步标记，并发送给云平台；云平台发送给各个位于不同位置的远程的解说终端；解说终端向解说掩膜视频流中的每个解说掩膜视频帧中写入对应的直播视频帧号，并发送给云平台；云平台发送给切换设备；切换设备合成为最终的与某个解说终端对应的带解说音视频的直播音视频流。优点为：实现了异地解说同步方法，对于位于不同地理位置的各个解说员，借助解说终端可对同一个直播节目进行同步解说；能获取解说员的解说视频信息。

【技术实现步骤摘要】
一种基于帧同步的多路远程直播视频解说方法
本专利技术属于直播视频解说
，具体涉及一种基于帧同步的多路远程直播视频解说方法。
技术介绍
随着社会的发展和科技的进步，体育竞技、电子竞技迅速发展，在比赛时，解说员可以对比赛内容进行同步解释和补充，一方面给观众带来更好的观看体验，使观众享受比赛，另一方面使观众更好地了解现场竞技，进一步提高了观众的分析能力、判断能力，解说员的重要性不言而喻。传统的赛事直播视频解说方案一般分为两种：1、同步采集比赛现场的直播音视频数据和解说员的解说音频数据，然后，将直播音视频数据和解说音频数据发送到合成设备进行融合，使用户在观看直播音视频时，能够同时听到解说音频。2、采集比赛现场的直播音视频数据，并发送到解说终端，解说终端将直播音视频数据以及对应的解说音频数据进行合成。上述两种方案均存在以下问题，第一，需要解说员聚集在一个直播间，无法实现多个解说员异地同步对同一直播音视频数据进行解说；第二，上述方案中，直播音视频数据中仅仅包含解说音频数据，不能同时包含解说员的解说视频数据，用户体验不佳。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供一种基于帧同步的多路远程直播视频解说方法，可有效解决上述问题。本专利技术采用的技术方案如下：本专利技术提供一种基于帧同步的多路远程直播视频解说方法，包括以下步骤：步骤1，现场采集终端实时采集现场的直播音视频流；其中，所述直播音视频流包括同步的直播音频流和直播视频流；所述现场采集终端实时将采集到的所述直播音视频流发送到切换设备；步骤2，所述切换设备设有直播音视频流缓存区域；当所述切换设备接收到所述直播音视频流时，所述切换设备实时将所述直播音视频流分解为直播音频流和直播视频流，并将所述直播音频流和所述直播视频流分别存储到所述直播音视频流缓存区域；当所述直播音视频流缓存区域中缓存的直播视频流达到M个直播视频帧时，所述切换设备在所述M个直播视频帧的前面添加计时序列，并在所述计时序列的最后一个计时帧上面添加同步标记，所述计时序列和所述M个直播视频帧形成带计时序列的直播视频流；其中，对于M个直播视频帧，每个所述直播视频帧均具有在本次完整直播过程中唯一的直播视频帧号；一方面，所述带计时序列的直播视频流缓存于所述直播音视频流缓存区域；另一方面，所述切换设备将所述带计时序列的直播视频流和对应的所述直播音频流合成为带计时序列的直播音视频流；并将所述带计时序列的直播音视频流发送到云平台；步骤3，所述云平台将所述带计时序列的直播音视频流同时发送给各个位于不同位置的远程的解说终端；对于每个所述解说终端，均执行步骤4-步骤5；步骤4，所述解说终端接收到所述带计时序列的直播音视频流时，所述解说终端同时具有播放模块和解说采集模块，所述播放模块播放所述带计时序列的直播音视频流；并且，从所述带计时序列的直播音视频流开始播放开始，所述解说采集模块即同步开始采集解说音频流和解说视频流，直到所述带计时序列的直播音视频流播放结束；因此，所述解说终端获得解说音频流和同步的解说视频流；所述解说终端对所述解说视频流进行掩膜处理，得到解说掩膜视频流，所述解说掩膜视频流包括M个解说掩膜视频帧；所述解说终端解析所述带计时序列的直播音视频流，获得带计时序列的直播视频流；然后，识别出所述带计时序列的直播视频流的同步标记，将带所述同步标记的计时帧作为第0号帧，从而确定下一帧为本次视频处理周期的第1个直播视频帧，并将定位到的第1个直播视频帧的直播视频帧号写入到解说掩膜视频流的第1个解说掩膜视频帧上面；然后，再将第1个直播视频帧下一位的第2个直播视频帧的直播视频帧号写入到解说掩膜视频流的第2个解说掩膜视频帧上面；依此类推，由于共有M个直播视频帧，因此，直到将第M个直播视频帧的直播视频帧号写入到解说掩膜视频流的第M个解说掩膜视频帧上面；由此得到写入直播视频帧号的解说掩膜视频流；然后，所述解说终端将所述写入直播视频帧号的解说掩膜视频流和对应的解说音频流合成为解说音视频流，并将所述解说音视频流回传给所述云平台；步骤5，所述云平台将接收到的所述解说音视频流回传到所述切换设备；步骤6，由于存在多个解说终端，因此，所述切换设备接收到多个所述解说音视频流；对于每个所述解说音视频流，所述切换设备首先解析所述解说音视频流，得到解说音频流和写入直播视频帧号的解说掩膜视频流；然后，所述切换设备对所述写入直播视频帧号的解说掩膜视频流进行直播视频帧号的识别，由此识别到每个解说掩膜视频帧上被写入的直播视频帧号；然后，所述切换设备读取所述直播音视频流缓存区域，得到直播视频流，并将解说掩膜视频流和所述直播视频流对齐，对齐方式为：具有相同直播视频帧号的解说掩膜视频帧和直播视频帧对齐，从而实现直播视频和解说视频的同步；然后，将对齐的解说掩膜视频流和直播视频流合成为带解说掩膜视频的直播视频流；然后，所述切换设备再将所述带解说掩膜视频的直播视频流、所述直播音频流和所述解说音频流合成为最终的与某个解说终端对应的带解说音视频的直播音视频流；步骤7，然后，一方面，所述切换设备对下一个视频处理周期的音视频数据进行处理；另一方面，所述切换设备将最近视频处理周期处理得到的与各个解说终端分别对应的带解说音视频的直播音视频流发送给所述云平台；所述云平台存储与各个解说终端分别对应的带解说音视频的直播音视频流；当所述云平台接收到来自于某个播放终端的对特定解说终端的观看直播请求时，所述云平台即将对应特定解说终端的带解说音视频的直播音视频流发送给所述播放终端。优选的，步骤4中，所述解说终端采用以下方法，将直播视频帧号写入到对应的解说掩膜视频帧上面：步骤4.1，需要写入的直播视频帧号为1～999999之间的任意自然数；将本次需要写入的直播视频帧号转换为6位数，表示为：A6A5A4A3A2A1；其中，A1表示个位数字；A2表示十位数字；A3表示百位数字；A4表示千位数字；A5表示万位数字；A6表示十万位数字；转换方式为：如果需要写入的直播视频帧号为六位数字，则直接表示为A6A5A4A3A2A1；如果需要写入的直播视频帧号为1位～5位数字，则将高位补0，转换为6位数字；步骤4.2，所述解说掩膜视频帧为四通道视频帧，分别包括R通道、G通道、B通道和α通道；所述解说终端以行优先扫描α通道，从α通道的第1行第1列的像素点开始扫描，即：首先扫描第1行第1列的像素点，然后扫描第1行第2列的像素点，依此类推，直到扫描到第1行最后列的像素点；然后扫描第2行第1列的像素点，然后扫描第2行第2列的像素点，依此类推进行扫描；当扫描到α通道值为0的像素点时，表明该像素点为有用像素点，继续扫描；当首次扫描到α通道值为1的像素点时，表明该像素点为无用像素点，将该像素点记为像素点R0，此时，将该像素点R0的B通道的灰度值调整为直播视频帧号个位数字A1对应的灰度值，将该像素点R0的G通道的灰度值调整为直播视频帧号十位数字A2对应的灰度值，将该像素点R0的R通道的灰度值调整为直播视频帧号百位数字A3对应的灰度值；然后继续扫描，当扫描到下一个α通道值为1的像素点时，将该像素点记为像素点R1，此时，将该像素点R1的B通道的灰度值调整为直播视频帧号千位数字A4对应的灰度值，将该像素点R1的G通道的灰度值调整为直播视本文档来自技高网...

【技术保护点】
1.一种基于帧同步的多路远程直播视频解说方法，其特征在于，包括以下步骤：步骤1，现场采集终端实时采集现场的直播音视频流；其中，所述直播音视频流包括同步的直播音频流和直播视频流；所述现场采集终端实时将采集到的所述直播音视频流发送到切换设备；步骤2，所述切换设备设有直播音视频流缓存区域；当所述切换设备接收到所述直播音视频流时，所述切换设备实时将所述直播音视频流分解为直播音频流和直播视频流，并将所述直播音频流和所述直播视频流分别存储到所述直播音视频流缓存区域；当所述直播音视频流缓存区域中缓存的直播视频流达到M个直播视频帧时，所述切换设备在所述M个直播视频帧的前面添加计时序列，并在所述计时序列的最后一个计时帧上面添加同步标记，所述计时序列和所述M个直播视频帧形成带计时序列的直播视频流；其中，对于M个直播视频帧，每个所述直播视频帧均具有在本次完整直播过程中唯一的直播视频帧号；一方面，所述带计时序列的直播视频流缓存于所述直播音视频流缓存区域；另一方面，所述切换设备将所述带计时序列的直播视频流和对应的所述直播音频流合成为带计时序列的直播音视频流；并将所述带计时序列的直播音视频流发送到云平台；步骤3，所述云平台将所述带计时序列的直播音视频流同时发送给各个位于不同位置的远程的解说终端；对于每个所述解说终端，均执行步骤4‑步骤5；步骤4，所述解说终端接收到所述带计时序列的直播音视频流时，所述解说终端同时具有播放模块和解说采集模块，所述播放模块播放所述带计时序列的直播音视频流；并且，从所述带计时序列的直播音视频流开始播放开始，所述解说采集模块即同步开始采集解说音频流和解说视频流，直到所述带计时序列的直播音视频流播放结束；因此，所述解说终端获得解说音频流和同步的解说视频流；所述解说终端对所述解说视频流进行掩膜处理，得到解说掩膜视频流，所述解说掩膜视频流包括M个解说掩膜视频帧；所述解说终端解析所述带计时序列的直播音视频流，获得带计时序列的直播视频流；然后，识别出所述带计时序列的直播视频流的同步标记，将带所述同步标记的计时帧作为第0号帧，从而确定下一帧为本次视频处理周期的第1个直播视频帧，并将定位到的第1个直播视频帧的直播视频帧号写入到解说掩膜视频流的第1个解说掩膜视频帧上面；然后，再将第1个直播视频帧下一位的第2个直播视频帧的直播视频帧号写入到解说掩膜视频流的第2个解说掩膜视频帧上面；依此类推，由于共有M个直播视频帧，因此，直到将第M个直播视频帧的直播视频帧号写入到解说掩膜视频流的第M个解说掩膜视频帧上面；由此得到写入直播视频帧号的解说掩膜视频流；然后，所述解说终端将所述写入直播视频帧号的解说掩膜视频流和对应的解说音频流合成为解说音视频流，并将所述解说音视频流回传给所述云平台；步骤5，所述云平台将接收到的所述解说音视频流回传到所述切换设备；步骤6，由于存在多个解说终端，因此，所述切换设备接收到多个所述解说音视频流；对于每个所述解说音视频流，所述切换设备首先解析所述解说音视频流，得到解说音频流和写入直播视频帧号的解说掩膜视频流；然后，所述切换设备对所述写入直播视频帧号的解说掩膜视频流进行直播视频帧号的识别，由此识别到每个解说掩膜视频帧上被写入的直播视频帧号；然后，所述切换设备读取所述直播音视频流缓存区域，得到直播视频流，并将解说掩膜视频流和所述直播视频流对齐，对齐方式为：具有相同直播视频帧号的解说掩膜视频帧和直播视频帧对齐，从而实现直播视频和解说视频的同步；然后，将对齐的解说掩膜视频流和直播视频流合成为带解说掩膜视频的直播视频流；然后，所述切换设备再将所述带解说掩膜视频的直播视频流、所述直播音频流和所述解说音频流合成为最终的与某个解说终端对应的带解说音视频的直播音视频流；步骤7，然后，一方面，所述切换设备对下一个视频处理周期的音视频数据进行处理；另一方面，所述切换设备将最近视频处理周期处理得到的与各个解说终端分别对应的带解说音视频的直播音视频流发送给所述云平台；所述云平台存储与各个解说终端分别对应的带解说音视频的直播音视频流；当所述云平台接收到来自于某个播放终端的对特定解说终端的观看直播请求时，所述云平台即将对应特定解说终端的带解说音视频的直播音视频流发送给所述播放终端。...

【技术特征摘要】
1.一种基于帧同步的多路远程直播视频解说方法，其特征在于，包括以下步骤：步骤1，现场采集终端实时采集现场的直播音视频流；其中，所述直播音视频流包括同步的直播音频流和直播视频流；所述现场采集终端实时将采集到的所述直播音视频流发送到切换设备；步骤2，所述切换设备设有直播音视频流缓存区域；当所述切换设备接收到所述直播音视频流时，所述切换设备实时将所述直播音视频流分解为直播音频流和直播视频流，并将所述直播音频流和所述直播视频流分别存储到所述直播音视频流缓存区域；当所述直播音视频流缓存区域中缓存的直播视频流达到M个直播视频帧时，所述切换设备在所述M个直播视频帧的前面添加计时序列，并在所述计时序列的最后一个计时帧上面添加同步标记，所述计时序列和所述M个直播视频帧形成带计时序列的直播视频流；其中，对于M个直播视频帧，每个所述直播视频帧均具有在本次完整直播过程中唯一的直播视频帧号；一方面，所述带计时序列的直播视频流缓存于所述直播音视频流缓存区域；另一方面，所述切换设备将所述带计时序列的直播视频流和对应的所述直播音频流合成为带计时序列的直播音视频流；并将所述带计时序列的直播音视频流发送到云平台；步骤3，所述云平台将所述带计时序列的直播音视频流同时发送给各个位于不同位置的远程的解说终端；对于每个所述解说终端，均执行步骤4-步骤5；步骤4，所述解说终端接收到所述带计时序列的直播音视频流时，所述解说终端同时具有播放模块和解说采集模块，所述播放模块播放所述带计时序列的直播音视频流；并且，从所述带计时序列的直播音视频流开始播放开始，所述解说采集模块即同步开始采集解说音频流和解说视频流，直到所述带计时序列的直播音视频流播放结束；因此，所述解说终端获得解说音频流和同步的解说视频流；所述解说终端对所述解说视频流进行掩膜处理，得到解说掩膜视频流，所述解说掩膜视频流包括M个解说掩膜视频帧；所述解说终端解析所述带计时序列的直播音视频流，获得带计时序列的直播视频流；然后，识别出所述带计时序列的直播视频流的同步标记，将带所述同步标记的计时帧作为第0号帧，从而确定下一帧为本次视频处理周期的第1个直播视频帧，并将定位到的第1个直播视频帧的直播视频帧号写入到解说掩膜视频流的第1个解说掩膜视频帧上面；然后，再将第1个直播视频帧下一位的第2个直播视频帧的直播视频帧号写入到解说掩膜视频流的第2个解说掩膜视频帧上面；依此类推，由于共有M个直播视频帧，因此，直到将第M个直播视频帧的直播视频帧号写入到解说掩膜视频流的第M个解说掩膜视频帧上面；由此得到写入直播视频帧号的解说掩膜视频流；然后，所述解说终端将所述写入直播视频帧号的解说掩膜视频流和对应的解说音频流合成为解说音视频流，并将所述解说音视频流回传给所述云平台；步骤5，所述云平台将接收到的所述解说音视频流回传到所述切换设备；步骤6，由于存在多个解说终端，因此，所述切换设备接收到多个所述解说音视频流；对于每个所述解说音视频流，所述切换设备首先解析所述解说音视频流，得到解说音频流和写入直播视频帧号的解说掩膜视频流；然后，所述切换设备对所述写入直播视频帧号的解说...

【专利技术属性】
技术研发人员：孙剑，赵松，刘逸男，
申请(专利权)人：北京中视广信科技有限公司，
类型：发明
国别省市：北京,11