影音流传输方法、影音装置以及影音提供装置制造方法及图纸

本发明专利技术公开了一种影音流传输方法、影音装置以及影音提供装置。当网络发生壅塞的一段时间中，本发明专利技术所提出的适应网络带宽的实时影音流系统及其方法，能使影音接收者平顺且正确地播放出此段时间内尽可能多的影音数据、或对影音提供者/接收者有意义的影音数据，且播放进度跟影音提供者提供的最新进度的差距须维持在一固定范围内。在一种实施方式，当影音流存在其它不同传输比特率的流时，影音接收者可以依据自身网络状况，尽快切换到不高于可用带宽的最高传输比特率的流来收看。

Video and audio transmission method, audio and video device and audio and video device

The present invention discloses a video audio transmission method, a video audio device and a video and audio supply device. When network congestion occurs in a period of time to adapt to the network bandwidth, real-time video streaming system and method provided by the invention can make the video receiver smoothly and correctly play the audio and video data, this time as much as possible or the video provider / receiver meaningful video data, and broadcast the latest progress with video providers provide progress gap shall be maintained in a fixed range. In one way of implementation, when the video stream has other different transmission bit rate streams, the video receiver can switch to the flow of the highest transmission bit rate which is not higher than the available bandwidth as soon as possible according to its own network status.

【技术实现步骤摘要】
影音流传输方法、影音装置以及影音提供装置
本专利技术提出一种影音流传输方法、影音装置以及影音提供装置。
技术介绍
现今人们非常习惯使用网络来收看实时的(1ive)影音流，例如大型比赛或表演的直播、道路或大楼的监控、游戏画面撷取直播、远程教学、在线实时新闻、灾难现场画面直播等。因为网络有多变的特性，所以影音接收者会使用一个数据缓冲器来储存几百毫秒至几秒不等的影音数据，来减缓网络延迟抖动所造成的播放不连续性。然而，这个简单的做法并不能使实时影音流的传输适应网络的变动。当网络壅塞时间长到令缓冲器的数据耗尽，影音接收者的传统播放器有下面两种反应。一种反应为不放弃任何未播数据，暂停播放一段时间直到缓冲区又有一定量数据再继续播放，但如此会造成收看进度与实时进度落差变大。另一种反应为丢弃任何接收时间超过播放时间的数据，但这很可能会造成之后的画面不能正确呈现。为了解决上述问题，这十几年来有许多方法被提出。其中有一种叫作比特流切换(BitstreamSwitch)的做法有逐渐变为趋势的倾向。此做法是把一个节目流同时做出不同传输比特率(BitRate)的流。影音接收者在适当时间点依据自身的网络环境，从上述流中选择不超过可用带宽的最高传输比特率的流来观赏。这个做法的好处是影音提供者仅需就大多数使用者感兴趣或有办法接收的几种传输比特率(通常为3～5种)进行压缩即可，故不会对影音提供者造成巨大负担。另外，影音接收者得到的收看质量，大多情况下也很接近该网络环境下所能达到的最佳质量。目前市面上至少已有两种免费软件产品可以提供实时产生不同传输比特率流的功能。一种是公司的“FlashMediaLiveEncoder”(简称FMLE)软件，此软件可以把网络摄像机传过来的数据，同时压缩出3种传输比特率的实时消息通讯协议(Real-TimeMessagingProtocol，简称RTMP)的影音流，视频压缩格式为VP6或H.264，声音压缩格式为mp3或NellyMoser。另一种软件是开放源码的“FFMpeg”，此软件可以将原始的一条影音流转换出众多数目(取决于硬件能力)的影音流(支持格式至少有：RTP、LiveFLV、RTMP)，且几乎所有的压缩格式都支持。另外，许多知名的影音分享平台，例如优酷等，上面的影片大多都有几种不同质量可供选择。目前这些平台上的节目都是预先录制的，而非实时产生，但大众已经很习惯这种使用模式，所以很自然地会期望以后的实时影音分享平台也可以有不同质量的影音流可供选择。然而，使用者并不能随时切换流，主要原因如下所述。一是网络的变化可能是短期的，使用者若太积极地随网络变化来切换流，会加剧网络的动荡。所以，使用者必须利用公知技术中的带宽评估技术，确认网络已经达到另外一种稳定状况再行切换。另外，由于主流视频压缩算法(H.264和Mpeg2、4)采用I、P、B三种不同的帧(Frame)来表示数据，其中P帧或B帧必须直接或间接参照先前最新的I帧才可以正确解码出画面，故使用者切换至另一流的时间点，会受限于I帧出现的时间点。这会衍生出两个功能需求：一是在还未能切换前，要有办法维持住可接受的观赏质量，一是必须帮助使用者尽快进行切换。最后，从目前的技术可以观察到几个使用者使用习惯的趋势：(一)越来越多使用者改用平板电脑或智能手机来收看影音流，这类设备的计算能力和电力有限；(二)热门的节目通常会有几千或几百个以上使用者在收看；(三)P2P(Peer-to-peer)的架构风行，在P2P系统中，每个使用者同时也要把影音流分享给别人。这些使用习惯的趋势，会延伸出两个效能需求：不可有太大的计算量，以及不可太耗费网络带宽。
技术实现思路
本专利技术提出一种适应网络带宽的实时影音流系统以及方法。在本专利技术的一种实施方式中，提出一种影音流传输方法，包括接收流数据，并监控从所述流数据取得并暂存的多笔编码数据，每一暂存的编码数据包括多个编码译码单元，而所述编码译码单元以一传送顺序进行传送，其中此编码数据在一实施例中可包括影音数据或可仅包括视频数据。在此影音流传输方法中，当需要调整传输质量时，取得编码数据的信息，并根据所述编码数据的信息取得对应每一编码数据内所包括的编码译码单元对应的重要性参数，以及对应于所述的重要性参数，调整从影音流传输通道所送的后续编码数据的多个编码译码单元的传送顺序。上述根据所述编码数据调整编码译码单元的传送顺序方法在一实施例中包括判断所述编码数据的存量是否低于第一阈值或高于第二阈值，其中第二阈值大于第一阈值。当所述编码数据的存量低于第一阈值时，取得编码数据的信息，并根据所述编码数据的信息取得对应每一编码数据内所包括的编码译码单元对应的重要性参数，以及对应于所述的重要性参数，调整从影音流传输通道所传送的后续编码数据的多个编码译码单元的传送顺序。当编码数据的存量高于第二阈值时，停止调整此传送顺序。在本专利技术的一种实施方式中，提出一种影音流传输方法，包括接收一流数据，并将从流数据取得的多笔编码数据。输出暂存的编码数据以进行播放，并判断当编码数据的存量是否低于第一阈值，当编码数据的存量低于第一阈值或已经用尽时，暂停输出一第一时间区间，并暂存在第一时间区间内所收到的编码数据。将在第一时间区间内所收到的编码数据调整为在一第二时间区间内加速播放完毕，其中第二时间区间小于第一时间区间，当所述影音数据的存量高于一第二阈值时，恢复正常播放速度。此编码数据在一实施例中可包括影音数据或可仅包括视频数据。在本专利技术的一种实施方式中，提出一种影音流传输方法，包括以一第一比特传输率接收一第一流数据。在一切换时间切换到以一第二比特传输率接收一第二流数据，其中此切换时间是以目前播放时间、第一重要编码译码单元的播放时间、第二重要编码译码单元的播放时间进行判断。此目前播放时间是第一流数据在判断时正在播放的时间，第一重要编码译码单元的播放时间是第二流数据中比目前播放时间还早的第二流数据中的多个编码数据中最新的重要编码译码单元的播放时间，此第二重要编码译码单元的播放时间是第二流数据中的编码数据中比目前播放时间还晚的第二流数据中最旧的重要编码译码单元，其中编码数据的重要性判断是根据编码数据的信息取得对应每一编码数据内的多个编码译码单元所对应的重要性参数比较取得。此编码数据在一实施例中可包括影音数据或可仅包括视频数据。在本专利技术的一种实施方式中，提出一种影音装置，适用于从一流数据接收多笔编码数据，每一编码数据包括多个编码译码单元，而所述编码译码单元以一编码顺序为传送顺序，其中此编码数据包括影音数据或仅包括视频数据。此影音装置包括一缓冲器、一缓冲器监控模块以及一帧请求模块。此缓冲器监控模块用以监控暂存于此缓冲器的编码数据的存量，当编码数据的存量低于第一阈值时，发出一调整信号，当编码数据的存量高于第二阈值时，发出一停止调整信号。帧请求模块响应于所述调整信号，输出一帧请求信号，以调整流数据中，编码数据内的编码译码单元的传送顺序。在本专利技术的一种实施方式中，上述影音装置还包括一时戳调整模块，用以接收下载的编码数据，并将编码数据暂存到该缓冲器，其中时戳调整模块可将部分编码数据的播放时间进行修改。在本专利技术的一种实施方式中，上述影音装置还包括一流请求模块，响应于调整信号与带宽评估器的信号，输出一比本文档来自技高网...

【技术保护点】
一种影音流传输方法，包括：接收流数据，并监控从该流数据取得并暂存的多笔编码数据，每一暂存的该编码数据包括多个编码译码单元，其中该编码数据包括影音数据或仅包括视频数据；以及当一调整传输事件启动时，取得所述编码数据的信息，并根据所述编码数据的信息取得对应每一影音流传输通道所传送的流数据中的后续编码数据的多个编码译码单元对应的重要性参数，以及对应于所述重要性参数，调整该后续编码数据的多个编码译码单元的传送顺序。

【技术特征摘要】
2012.12.17 TW 1011479051.一种影音流传输方法，包括：接收流数据，并监控从该流数据取得并暂存的多笔编码数据，每一暂存的该编码数据包括多个编码译码单元，其中该编码数据包括影音数据或仅包括视频数据；以及当一调整传输事件启动时，取得所述编码数据的信息，并根据所述编码数据的信息取得对应每一影音流传输通道所传送的流数据中的后续编码数据的多个编码译码单元对应的重要性参数，以及对应于所述重要性参数，调整该后续编码数据的多个编码译码单元的传送顺序。2.如权利要求1所述的影音流传输方法，其中调整该后续编码数据的所述编码译码单元的传送顺序之步骤包括：判断当所述编码数据的存量是否低于一第一阈值或高于一第二阈值，其中该第二阈值大于该第一阈值，其中当所述编码数据的存量低于该第一阈值时，取得所述编码数据的信息，并根据所述编码数据的信息取得对应每一影音流传输通道所传送的流数据中的后续编码数据的多个编码译码单元对应的重要性参数，以及对应于所述重要性参数，调整该后续编码数据的多个编码译码单元的传送顺序；以及当所述编码数据的存量高于该第二阈值时，停止调整该传送顺序。3.如权利要求1所述的影音流传输方法，其中所述编码数据的信息包括所述编码数据的图像组信息、被评估的所述编码数据的播出时间、预测数据量大小、预测译码时间、可用带宽、所述编码数据提供来源的数量或所述编码数据是否采用网络编码方式。4.如权利要求1所述的影音流传输方法，其中所述编码译码单元彼此包括交互参照关联特性。5.如权利要求1所述的影音流传输方法，其中所述编码译码单元包括符合移动画面专家组标准的I帧、P帧以及B帧。6.如权利要求1所述的影音流传输方法，其中所述编码译码单元包括符合H.263、H.264、或HEVC标准的I、P、B片段。7.如权利要求1所述的影音流传输方法，其中每一该影音数据内所包括的所述编码译码单元对应的所述重要性参数，是根据所述编码译码单元的类型判断而指定所述编码译码单元对应的所述重要性参数。8.如权利要求7所述的影音流传输方法，其中每一该影音数据内所包括的所述编码译码单元对应的所述重要性参数，还包括所述编码译码单元的播放时间急迫性而指定所述编码译码单元对应的所述重要性参数。9.如权利要求7所述的影音流传输方法，其中每一该影音数据内所包括的所述编码译码单元对应的重要性参数还包括根据额外指定的要求而调整所述编码译码单元对应的所述重要性参数。10.如权利要求7所述的影音流传输方法，其中每一该影音数据内所包括的所述编码译码单元对应的所述重要性参数，还包括所述编码译码单元的播放时间急迫性以及额外指定的要求而指定所述编码译码单元对应的所述重要性参数。11.如权利要求1所述的影音流传输方法，其中每一该编码数据内所包括的所述编码译码单元对应的所述重要性参数，是采用所述编码数据的多个或一个图像组、或该图像组的全部或是一部份做为评估对象集合，评估所述重要性参数。12.如权利要求11所述的影音流传输方法，其中对该评估对象集合进行评估前，先取得下一个评估对象集合的最迟启动下载时间，以取得该评估对象集合可使用的时间。13.一种影音装置，适用于从一流数据接收多笔编码数据，每一该编码数据包括多个编码译码单元，而所述编码译码单元以一编码顺序为传送顺序，其中该编码数据包括影音数据或仅包括视频数据，该影音装置包括：一缓冲器；一缓冲器监控模块，用以监控暂存于该缓冲器的所述编码数据的存量，当所述编码数据的存量低于第一阈值时，发出一调整信号，当所述编码数据的存量高于第二阈值时，发出一停止调整信号；以及帧请求模块，响应于该调整信号，输出一帧请求信号，以调整该流数据中，所述编码数据内的所述编码译码单元的传送顺序。14.如权利要求13所述的影音装置，其中该帧请求信号包括...

【专利技术属性】
技术研发人员：游允帅，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：中国台湾,71