用于网络视频直播的媒体低延迟通信方法与系统技术方案

本发明专利技术提供了用于网络视频直播的媒体低延迟通信方法与系统，该方法包括：判断获取到的当前视频帧图像与前一视频帧图像之间的场景变化程度是否超过预设的场景变化阈值，对当前视频帧及获取到的相应音频帧分别进行数据分包，并依据场景变化程度是否超过预设的场景变化阈值的判断结果，在每个视频数据包和音频数据包中添加相应的场景标记，缓冲视频数据包和音频数据包，依据场景标记调整视频数据包和音频数据包的发送优先级，并依照发送优先级发出视频数据包和音频数据包，接收方依据场景标记缓冲接收到的视频数据包和音频数据包，以实现音视频数据播放。该方法能够调整音、视频传输的优先级，以在网络通信有延时或不稳定时优先发送重要数据。

Low Delay Media Communication Method and System for Network Video Live Broadcasting

The invention provides a media low delay communication method and system for network video live broadcasting. The method includes: judging whether the scene change degree between the current video frame image and the previous video frame image obtained exceeds the preset scene change threshold, subdividing the current video frame and the corresponding audio frame obtained separately, and according to whether the scene change degree exceeds the preset scene change threshold. The result of judging the preset scene change threshold is to add corresponding scene markers in each video and audio data packet, buffer video and audio data packets, adjust the sending priority of video and audio data packets according to scene markers, and send video and audio data packets according to the sending priority. The receiver receives the video and audio data packets according to scene markers buffer. Video and audio data packages to achieve audio and video data playback. This method can adjust the priority of audio and video transmission to send important data in case of delay or instability in network communication.

【技术实现步骤摘要】
用于网络视频直播的媒体低延迟通信方法与系统
本专利技术涉及网络通信
，特别涉及用于网络视频直播的媒体低延迟通信方法与系统。
技术介绍
全球互联网自上世纪九十年代以来迅速拓展，已经成为当今世界推动经济发展和社会进步的重要信息基础设施。自互联网兴起以来，已有各种不同的直接或间接利用互联网的应用被开发出来，以使人们的日常生活更加便利，而利用网络进行视频会议、网络直播等即是基于互联网开发出来的通信方式，能够使距离较远的多方参与者进行图像声音交流，使各方参与者能够观看到其它各方参与者展示的图像和发出的声音，极大地便利了参与者信息交流的过程。例如，在利用互联网进行网络视频直播时，直播方会将包含播放内容的音视频发送至观看方，观看方无需到例如表演现场、比赛现场等特定地点观看表演或比赛，而是可以在任意能够连接网络的位置发送/接收音视频信息，实现网络视频直播。在发送方(即直播方)将音视频发送给接收方(即观看方)之前，先将音视频经过编码得到一帧一帧的视频帧及音频帧，然后依序通过网络传输到接收方，经过接收方解码得到音视频文件进行播放。在实施上述网络视频直播的过程中，直播方与观看方之间的通信可能会由于网络传输速度较慢或网络不稳定等原因而受到干扰，导致在直播过程中发生信号延时的现象，图像和声音不连续或不同步，使得观看方在信号延时过程中无法正常视听直播内容，对视频直播过程产生较大的负面影响。
技术实现思路
(一)专利技术目的为克服上述现有技术存在的至少一种缺陷，尽量弥补因网络状态不好导致观看方无法视听网络视频直播的内容，本专利技术提供以下技术方案。(二)技术方案作为本专利技术的第一方面，本专利技术公开了一种用于网络视频直播的媒体低延迟通信方法，包括：判断获取到的当前视频帧图像与前一视频帧图像之间的场景变化程度是否超过预设的场景变化阈值；对所述当前视频帧及获取到的相应音频帧分别进行数据分包，并依据所述场景变化程度是否超过预设的场景变化阈值的判断结果，在每个视频数据包和音频数据包中添加相应的场景标记；缓冲所述视频数据包和所述音频数据包，依据所述场景标记调整所述视频数据包和所述音频数据包的发送优先级，并依照所述发送优先级发出所述视频数据包和所述音频数据包；接收方依据所述场景标记缓冲接收到的所述视频数据包和所述音频数据包，以实现音视频数据播放。一种可能的实施方式中，所述获取到的视频帧和所述获取到的音频帧通过实时录制的音视频进行编码得到。一种可能的实施方式中，通过帧间差分法和/或背景差分法判断所述场景变化程度是否超过预设的场景变化阈值。一种可能的实施方式中，接收方的缓冲大小可变，其依据所述场景标记进行调节。一种可能的实施方式中，其特征在于，在所述对所述当前视频帧及获取到的相应音频帧分别进行数据分包之前，还包括：在每一帧视频帧和音频帧中添加相应的时间标识；并且，在所述接收方依据所述场景标记缓冲接收到的所述视频数据包和所述音频数据包之后，还包括：依据各数据包携带的所述时间标识以及预设的时长阈值，限制所述发送优先级高的数据超前于所述发送优先级低的数据播放的时长。一种可能的实施方式中，所述时长阈值可变，其依据所述场景标记进行调节。作为本专利技术的第二方面，本专利技术公开了一种用于网络视频直播的媒体低延迟通信系统，包括：场景判断模块，用于判断获取到的当前视频帧图像与前一视频帧图像之间的场景变化程度是否超过预设的场景变化阈值；数据分包模块，用于对所述当前视频帧及获取到的相应音频帧分别进行数据分包；场景标识模块，用于在所述数据分包之后，依据所述场景变化程度是否超过预设的场景变化阈值的判断结果，在每个视频数据包和音频数据包中添加相应的场景标记；发送缓冲模块，用于在所述添加相应场景标记后，缓冲所述视频数据包和所述音频数据包，依据所述场景标记调整所述视频数据包和所述音频数据包的发送优先级，并依照所述发送优先级发出所述视频数据包和所述音频数据包；接收缓冲模块，用于依据所述场景标记缓冲接收到的所述视频数据包和所述音频数据包，以实现音视频数据播放。一种可能的实施方式中，该系统还包括：编码录制模块，用于实时录制的音视频并对其进行编码得到所述获取到的视频帧和所述获取到的音频帧。一种可能的实施方式中，所述场景判断模块包括：第一判断单元和/或第二判断单元，所述第一判断单元用于通过帧间差分法判断所述场景变化程度是否超过预设的场景变化阈值，所述第二判断单元用于通过背景差分法判断所述场景变化程度是否超过预设的场景变化阈值。一种可能的实施方式中，所述发送缓冲模块包括：第一调节单元，用于依据所述场景标记调节所述发送缓冲模块的缓冲大小。一种可能的实施方式中，该系统还包括：时间标识模块，用于在所述数据分包之前，在每一帧视频帧和音频帧中添加相应的时间标识；时差调节模块，用于在所述接收缓冲模块缓冲数据包之后，依据各数据包携带的所述时间标识以及预设的时长阈值，限制所述发送优先级高的数据超前于所述发送优先级低的数据播放的时长。一种可能的实施方式中，所述时长阈值可变，所述时差调节模块依据所述场景标记对所述时长阈值进行调节。(三)有益效果本专利技术提供的用于网络视频直播的媒体低延迟通信方法与系统，能够对直播方发出的包含直播内容的音视频中视频的内容进行判断，来调整视频传输和音频传输的优先级，以在网络视频直播有延时或不稳定时优先发送重要数据，降低网络延时产生的干扰，保证接收方能够最大程度上不中断、不漏掉直播的重点内容；同时通过音视频数据内添加时间标识来限制暂缓发送的数据包被暂缓的时长，防止优先级低的数据包落后太多。附图说明以下参考附图描述的实施例是示例性的，旨在用于解释和说明本专利技术，而不能理解为对本专利技术的保护范围的限制。图1是本专利技术提供的用于网络视频直播的媒体低延时通信方法第一实施例的流程示意图。图2是本专利技术提供的用于网络视频直播的媒体低延时通信方法第二实施例的流程示意图。图3是本专利技术提供的用于网络视频直播的媒体低延时通信系统第一实施例的结构框图。图4是本专利技术提供的用于网络视频直播的媒体低延时通信系统第二实施例的结构框图。具体实施方式为使本专利技术实施的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行更加详细的描述。需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本文中，“第一”、“第二”等仅用于彼此的区分，而非表示它们的重要程度及顺序等。本文中的模块、单元或组件的划分仅仅是一种逻辑功能的划分，在实际实现时可以有其他的划分方式，例如多个模块和/或单元可以结合或集成于另一个系统中。作为分离部件说明的模块、单元、组件在物理上可以是分开的，也可以是不分开的。作为单元显示的部件可以是物理单元，也可以不是物理单元，即可以位于一个具体地方，也可以分布到网格单元中。因此可以根据实际需要选择其中的部分或全部的单元来实现实施例的方案。下面参考图1详细描述本专利技术提供的用于网络视频直播的媒体低延时通信方法的第一实施例。本实本文档来自技高网...

【技术保护点】
1.一种用于网络视频直播的媒体低延迟通信方法，其特征在于，包括：判断获取到的当前视频帧图像与前一视频帧图像之间的场景变化程度是否超过预设的场景变化阈值；对所述当前视频帧及获取到的相应音频帧分别进行数据分包，并依据所述场景变化程度是否超过预设的场景变化阈值的判断结果，在每个视频数据包和音频数据包中添加相应的场景标记；缓冲所述视频数据包和所述音频数据包，依据所述场景标记调整所述视频数据包和所述音频数据包的发送优先级，并依照所述发送优先级发出所述视频数据包和所述音频数据包；接收方依据所述场景标记缓冲接收到的所述视频数据包和所述音频数据包，以实现音视频数据播放。

【技术特征摘要】
1.一种用于网络视频直播的媒体低延迟通信方法，其特征在于，包括：判断获取到的当前视频帧图像与前一视频帧图像之间的场景变化程度是否超过预设的场景变化阈值；对所述当前视频帧及获取到的相应音频帧分别进行数据分包，并依据所述场景变化程度是否超过预设的场景变化阈值的判断结果，在每个视频数据包和音频数据包中添加相应的场景标记；缓冲所述视频数据包和所述音频数据包，依据所述场景标记调整所述视频数据包和所述音频数据包的发送优先级，并依照所述发送优先级发出所述视频数据包和所述音频数据包；接收方依据所述场景标记缓冲接收到的所述视频数据包和所述音频数据包，以实现音视频数据播放。2.如权利要求1所述的低延时通信方法，其特征在于，所述获取到的视频帧和所述获取到的音频帧通过实时录制的音视频进行编码得到。3.如权利要求1所述的低延时通信方法，其特征在于，通过帧间差分法和/或背景差分法判断所述场景变化程度是否超过所述预设的场景变化阈值。4.如权利要求1所述的低延时通信方法，其特征在于，接收方的缓冲大小可变，其依据所述场景标记进行调节。5.如权利要求1至4中任一项所述的低延时通信方法，其特征在于，在所述对所述当前视频帧及获取到的相应音频帧分别进行数据分包之前，还包括：在每一帧视频帧和音频帧中添加相应的时间标识；并且，在所述接收方依据所述场景标记缓冲接收到的所述视频数据包和所述音频数据包之后，还包括：依据各数据包携带的所述时间标识以及预设的时长阈值，限制所述发送优先级高的数据超前于所述发送优先级低的数据播放的时长。6.如权利要求5所述的低...

【专利技术属性】
技术研发人员：杨罡，
申请(专利权)人：北京北斗方圆电子科技有限公司，
类型：发明
国别省市：北京,11