主播端流媒体数据生成系统及方法、网络直播系统及方法技术方案

本发明专利技术公开了一种主播端流媒体数据生成系统及方法、网络直播系统及方法，其中主播端流媒体数据生成系统包括音视频采集模块、音视频编码模块、流媒体封装模块、场景分析模块和控制模块，音视频采集模块的输出端通过场景分析模块和控制模块的输入端相连，控制模块的输出端与音视频编码模块相连；场景分析模块对音视频采集模块采集到的视频数据进行分析，判断当前的场景类别Ni并将Ni输送至控制模块；控制模块根据Ni选择执行M中对应的流媒体数据生成方案。本发明专利技术能够在网络直播过程中智能判别主播端状态，在保证用户观看体验的前提下，采用不同的流媒体数据生成方案，降低直播流媒体数据占用的网络带宽，节省流量，降低成本。

【技术实现步骤摘要】
主播端流媒体数据生成系统及方法、网络直播系统及方法
本专利技术属于网络直播
，特别涉及一种主播端流媒体数据生成系统及方法、网络直播系统及方法。
技术介绍
“网络直播”大致分两类，第一类是在网上提供电视信号的观看，例如各类体育比赛和文艺活动的直播，这类直播原理是将电视(模拟)信号通过采集，转换为数字信号输入电脑，实时上传网站供人观看，相当于“网络电视”；第二类则是真正意义上的“网络直播”：在现场架设独立的信号采集设备采集多媒体数据(包括音频数据和视频数据)，导入主播端(导播设备或平台)，再通过网络上传至服务器，发布至网址供人观看。本专利技术针对的是上述网络直播中的第二类情况，特别是针对个人直播，即目前直播市场中的最常见的方式。第二类网络直播较第一类的最大区别就在于直播的自主性：独立可控的音视频采集，完全不同于转播电视信号的单一(况且观看效果不如电视观看的流畅)收看。网络直播过程中的多媒体数据通常包括视频数据和音频数据。如图1所示，普通的网络直播系统包括主播端1、服务器2和客户端3，其中主播端1采集到多媒体数据后生成流媒体数据，并将流媒体数据通过网络上传至服务器2；服务器2接收到客户端3的观看直播请求后，将流媒体数据通过网络传输至客户端3。从附图1可以看出，流媒体数据需要经过上传和下载两个网传过程。由于网传通常都需要用到运营商的网络，因此如何在保证用户体验的前提下，降低网络直播中占用的带宽，为用户节省流量，一直是网络直播产品开发中需要考虑的问题。网传中的流媒体数据都是由主播端1流媒体数据生成系统产生，如图2所示，传统的主播端1流媒体数据生成系统包括音视频采集模块4、音视频编码模块5和流媒体封装模块6，音视频采集模块4的输出端通过音视频编码模块5与流媒体封装模块6的输入端相连，其中音视频采集模块4采集音视频数据后经音视频编码模块5压缩编码，再经流媒体封装模块6进行封装，最后输出流媒体数据。通常，网传的流媒体数据包括视频压缩数据和音频压缩数据。音频压缩数据通常都不会太大，视频压缩数据在流媒体数据中占的比重很大，而影响视频压缩数据大小的因素主要是视频图像的复杂度(复杂度通常包括运动复杂度、纹理复杂度等)和编码器，其中当编码器确定后又与编码参数相关。网络直播中，主播的状态是多样的，常见的状态是主播在镜头前和粉丝进行互动聊天，而有时主播可能在一边睡觉一边直播，有时主播短暂离开但直播继续，还有的时候可能主播主动把镜头遮挡住。主播端1不同的状态，意味着在不同的时间段，待编码的视频图像复杂度是不一样的，目前的直播方案都是一套流媒体数据生成方案应对所有的主播状态，即预先设定好音视频编码模块5的编码器参数，将压缩编码后生成的视频和音频数据，封装成流媒体数据，网传出去。这种主播端1流媒体数据生成方法的缺陷是，没有考虑到主播状态会有变化、直播的画面复杂度会有明显变化(最常见的是静态场景和动态场景之间的变化)，对于观看用户来说会存在流媒体数据的冗余，浪费流量。针对这个问题，现有的直播技术中基本都没有去考虑，比较接近的方案可能会有以下的几种方式：1.主播短暂离开的时候，主播手动把直播关闭，这种情况下直播中断，回来之后需要重连，对用户体验影响比较大；2.直播端设置选项，主播可以手动选择只传输音频数据、不传播视频数据，这种方案需要主播交互操作，而且主播只能选择带与不带视频直播，没有对视频数据编码方式进行优化，解决方案比较粗糙，且还是存在比较大的流媒体数据冗余。
技术实现思路
现有的主播端流媒体数据生成系统采用一套流媒体数据生成方案应对所有的主播状态，存在较大的流媒体数据冗余，增加用户观看网络直播的成本。本专利技术的目的在于，针对上述现有技术的不足，提供一种主播端流媒体数据生成系统及方法、网络直播系统及方法，能够在网络直播过程中判别主播端状态，自动选择合适的流媒体数据生成方式，在保证用户观看体验的前提下，采用不同的流媒体数据生成方案，降低直播流媒体数据占用的网络带宽，进而节省直播的流量，降低用户观看网络直播的成本。为解决上述技术问题，本专利技术所采用的技术方案是：一种主播端流媒体数据生成系统，包括音视频采集模块、音视频编码模块和流媒体封装模块，音视频采集模块的输出端通过音视频编码模块与流媒体封装模块的输入端相连，流媒体封装模块输出流媒体数据；其结构特点是还包括场景分析模块和控制模块，音视频采集模块的输出端通过场景分析模块和控制模块的输入端相连，控制模块的输出端与音视频编码模块相连；其中场景分析模块用于对音视频采集模块采集到的视频数据进行分析，判断当前的场景类别Ni并将场景类别Ni输送至控制模块；控制模块内部预设有包含n个元素的场景类别集合N以及流媒体数据生成方案集合M，其中M与N中的元素一一对应，控制模块根据Ni选择执行M中对应的流媒体数据生成方案；所述流媒体数据生成方案包括设置音视频编码模块对视频数据的编码参数。现有直播应用中通常对视频数据的编码采用恒定码率的码控方式，即在某段时间内编码码率只会在目标码率上进行微小波动。由于编码压缩后的图像主观质量与待编码图像的复杂度及压缩后的数据大小有关，其中视频压缩后数据的大小又和当前编码器的编码参数设置相关。本专利技术利用场景分析模块对视频数据进行图像处理和分析，判断当前场景属于某个预先设定的场景类别，再根据判别出的场景类别，采用不同的流媒体数据生成方案。由于不同的场景类别采用了不同的编码参数，通过调整编码参数控制编码损失大小，将复杂度高的视频图像和复杂度低的视频图像压缩到同一主观质量等级，其中通过增加复杂度低的视频图像的编码损失，达到整体上缩小压缩后的视频数据大小的目的。进一步地，所述控制模块的输出端还与流媒体封装模块相连；所述流媒体数据生成方案包括控制流媒体封装模块仅封装音频数据，或者控制流媒体封装模块仅封装视频数据，或者控制流媒体封装模块封装音频和视频数据。借由上述结构，在不影响用户观看体验的前提下，根据场景选择是否封装视频数据。由于音频压缩数据通常都不会太大，视频压缩数据在流媒体数据中占的比重很大，在某些场景下不对视频数据进行封装，极大地缩小了流媒体数据的大小。基于同一个专利技术构思，本专利技术还提供了一种主播端流媒体数据生成方法，包括步骤：步骤一，音视频采集模块采集音频数据和视频数据；步骤二，场景分析模块对音视频采集模块采集到的视频数据进行分析，判断当前的场景类别Ni并将场景类别Ni输送至控制模块；步骤三，控制模块根据Ni选择执行M中对应的流媒体数据生成方案，并根据流媒体数据生成方案设置音视频编码模块对视频数据的编码参数；其中控制模块(8)内部预设有包含n个元素的场景类别集合N以及流媒体数据生成方案集合M，其中M与N中的元素一一对应，步骤四，音视频编码模块根据步骤三中选择的流媒体数据生成方案中的视频数据编码参数对视频数据编码；同时对音频数据编码。进一步地，还包括步骤五，流媒体封装模块根据步骤三中选择的流媒体数据生成方案仅封装音频数据，或者仅封装视频数据，或者封装音频和视频数据。作为一种优选方式，N＝{Ni|i＝1，2，3}，其中N1＝正常场景，N2＝画面静止场景，N3＝镜头遮挡场景；M＝{Mj|j＝1，2，3}；其中M1＝设置音视频编码模块对视频数据的目标码率为恒定值T1且流媒体封装模块封装音频和视本文档来自技高网...

【技术保护点】
一种主播端流媒体数据生成系统，包括音视频采集模块(4)、音视频编码模块(5)和流媒体封装模块(6)，音视频采集模块(4)的输出端通过音视频编码模块(5)与流媒体封装模块(6)的输入端相连，流媒体封装模块(6)输出流媒体数据；其特征在于，还包括场景分析模块(7)和控制模块(8)，音视频采集模块(4)的输出端通过场景分析模块(7)和控制模块(8)的输入端相连，控制模块(8)的输出端与音视频编码模块(5)相连；其中场景分析模块(7)用于对音视频采集模块(4)采集到的视频数据进行分析，判断当前的场景类别Ni并将场景类别Ni输送至控制模块(8)；控制模块(8)内部预设有包含n个元素的场景类别集合N以及流媒体数据生成方案集合M，其中M与N中的元素一一对应，

【技术特征摘要】
1.一种主播端流媒体数据生成系统，包括音视频采集模块(4)、音视频编码模块(5)和流媒体封装模块(6)，音视频采集模块(4)的输出端通过音视频编码模块(5)与流媒体封装模块(6)的输入端相连，流媒体封装模块(6)输出流媒体数据；其特征在于，还包括场景分析模块(7)和控制模块(8)，音视频采集模块(4)的输出端通过场景分析模块(7)和控制模块(8)的输入端相连，控制模块(8)的输出端与音视频编码模块(5)相连；其中场景分析模块(7)用于对音视频采集模块(4)采集到的视频数据进行分析，判断当前的场景类别Ni并将场景类别Ni输送至控制模块(8)；控制模块(8)内部预设有包含n个元素的场景类别集合N以及流媒体数据生成方案集合M，其中M与N中的元素一一对应，控制模块(8)根据Ni选择执行M中对应的流媒体数据生成方案；所述流媒体数据生成方案包括设置音视频编码模块(5)对视频数据的编码参数。2.如权利要求1所述的主播端流媒体数据生成系统，其特征在于，所述控制模块(8)的输出端还与流媒体封装模块(6)相连；所述流媒体数据生成方案包括控制流媒体封装模块(6)仅封装音频数据，或者控制流媒体封装模块(6)仅封装视频数据，或者控制流媒体封装模块(6)封装音频和视频数据。3.一种主播端流媒体数据生成方法，其特征在于，包括步骤：步骤一，音视频采集模块(4)采集音频数据和视频数据；步骤二，场景分析模块(7)对音视频采集模块(4)采集到的视频数据进行分析，判断当前的场景类别Ni并将场景类别Ni输送至控制模块(8)；步骤三，控制模块(8)根据Ni选择执行M中对应的流媒体数据生成方案，并根据流媒体数据生成方案设置音视频编码模块(5)对视频数据的编码参数；其中控制模块(8)内部预设有包含n个元素的场景类别集合N以及流媒体数据生成方案集合M，其中M与N中的元素一一对应，步骤四，音视频编码模块(5)根据步骤三中选择的流媒体数据生成方案中的视频数据编码参数对视频数据编码；同时对音频数据编码。4.如权利要求3所述的主播端流媒体数据生成方法，其特征在于，还包括：步骤五，流媒体封装模块(6)根据步骤三中选择的流媒体数据生成方案仅封装音频数据，或者仅封装视频数据，或者封装音频和视频数据。5.如权利要求4所述的主播端流媒体数据生成方法，其特征在于，N＝{Ni|i＝1，2，3}，其中N1＝正常场景，N2＝画面静止场景，N3＝镜头遮挡场景；M＝{Mj|j＝1，2，3}；其中M1＝设置音视频编码模块对视频数据的目标码率为恒定值T1且...

【专利技术属性】
技术研发人员：黄志伟，卢哲，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：湖南,43