一种基于优先级调度的非均匀多媒体流传输调度方法技术

本发明专利技术公开了一种网络数据传输方法，旨在提供一种基于优先级调度的非均匀多媒体流传输调度方法。该方法包括对各种多媒体流信息特征加以分析后分为音频流、图形图像信息流和视频流三类，以及为每一类多媒体流建立一个发送序列；对分类后的多媒体流进行传输调度管理，其中所述的传输调度管理包括建立传输缓冲区，并根据前述多媒体流发送序列进行传输调度。本发明专利技术利用有效多媒体信息的流量不均匀性，将媒体信息播放过程与传输过程相分离，充分地利用传输带宽；而且根据各种媒体特征的不同定义媒体表现的优先级，从而对传输过程进行合理调度，保证高优先级媒体的顺畅传输与表现。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及一种网络数据传输方法，更具体地说，本专利技术涉及。
技术介绍
在Internet传输信息中包含大量的多媒体信息，如数据、文本、图形、图象、音频、视频等；而从信息传输的方式可分为下载方式与流方式。流媒体传输是指在Internet/Intranet中使用流式传输技术的连续时基媒体，如音频、视频或多媒体文件。流式媒体在播放前并不下载整个文件，只将开始部分内容存入内存，流式媒体的数据流随时传送随时播放，只是在开始时有一些延迟。流媒体实现的关键技术就是流式传输。实现流式传输有两种方法实时流式传输(Realtime streaming)和顺序流式传输(progressive streaming)。流媒体技术的特点首先，流媒体技术利用压缩编码技术，将视音频数据压缩成较小流量的数据包；其次，在媒体流传输过程中，利用缓冲技术，首先在客户端预载一段媒体资料；在播放过程的同时连续下载资料，这样防止由于网络流量不均衡而导致的媒体播放抖动、延迟等问题。流媒体技术避免了预先下载完整媒体材料而花费的等待时间，以及存储整个媒体材料所需的庞大存储容量。目前，随着宽带Internet网的建设，流媒体这种技术已得到越来越广泛的应用，大量地应用在在线点播、网络视频会议等领域。由于目前网络设备带宽的限制，对于普通Internet网用户，即使是宽带，流媒体技术还无法传输均匀清晰的视频画面。但利用媒体信息的流量不均匀性，将媒体信息播放过程与传输过程相分离，充分地利用传输带宽；以及利用各种媒体特征的不同定义媒体表现的优先级，从而对传输过程进行合理调度的方法未见运用。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提供。为了解决上述技术问题，本专利技术是通过以下技术方案实现的对多媒体流进行多媒体流信息管理，其中所述的多媒体流信息管理包括对各种多媒体流信息特征加以分析后分为音频流、图形图像信息流和视频流三类，以及为每一类多媒体流建立一个发送序列；对分类后的多媒体流进行传输调度管理，其中所述的传输调度管理包括建立传输缓冲区、并根据前述多媒体流发送序列进行传输调度。与现有技术相比，本专利技术的有益效果是本专利技术利用有效多媒体信息的流量不均匀性，将媒体信息播放过程与传输过程相分离，充分地利用传输带宽；而且根据各种媒体特征的不同定义媒体表现的优先级，从而对传输过程进行合理调度，保证高优先级媒体的顺畅传输与表现。针对录制与播放过程相分离的多媒体流节目，从流媒体接受者角度对原始媒体流进行剪辑，从而可获得包含有效信息的流节目源。该节目的多媒体流在时间上分布是不均匀的、确定的，通过将多媒体信息按优先级进行分类，保证音频、图形图像等高优先级媒体流的完整传输，同时根据传输带宽动态调度，适应宽带、拨号等不同的网络媒介，实现清晰视频流的最大有效传输。附图说明图1为本专利技术中一个实施例的媒体资料处理全过程框图。图2为本专利技术中一个实施例的多媒体带宽分布图。图3为本专利技术中一个实施例的传输控制过程的图示。图4为本专利技术中一个实施例在分布式远程教育服务网络运用结构图。图5为本专利技术中一个实施例在用户服务中应用的流程图。具体实施例方式参考附图，下面将结合一个实施例对本专利技术进行详细描述。如图1所示，分析流媒体资料制作与播放整个过程，可以表示如下 原始信号采集除听觉资料外，人们视觉交流的方式既可通过视频信号采集，也可通过预先制作的一般图形、图像，以及人们在相关数字化输入设备上的点击、书写笔迹所产生的时变图形。通常，对于现场实时要求高的转播类媒体，或是实时交互通信中，由于无法预知未来时段信息的流量及信息组成情况，媒体无法进行有效的剪辑，只是按时间顺序简单地复合成多媒体信息，例如实时新闻的转播，交互视频会议。但是，对于在线非现场实时转播的多媒体信息流，或实时要求不高的交互通信，如远程教育、面向非连接的网络通信等，在媒体执行播放服务之前，有充分时间对多媒体信息进行观察、剪辑、复合，从而可统计分析媒体流在整个播放时段上的流量变化过程，或是一段相当长时间的媒体信息流量变化过程，允许在剪辑、复合时设定相应的传输控制标记，在实际播放传输过程中实现优化调度，充分利用网络带宽，达到有限带宽的最佳播放效果。根据人们感知信息流的受体来分，可分为视觉和听觉两部分，而在多媒体信息流中，一般只允许一个音频流的存在，否则会导致声音的混乱；对于视觉部分，可以有图形、图像、视频等多种信息流存在，但是根据人们注意力的特点，在一个时间点或片断内，人们只能接受一种或只需接受一种视觉媒体。根据具体媒体应用场合特点，可以将在某一时段内最适合表现内容的视觉媒体信息进行传输，而忽略或延迟次要媒体流的传输。分析各种多媒体信息特征，可获得它们各自的传输特点第一类主要是音频流连续数据，不可丢弃，传输时不可延迟。音频流在播放过程中的丢失会导致理解的缺失或混乱，而且在演播中时间基准不可压缩，即不能将较长时间的音频流在较短时间内演播，于是，必须在演播时间点之前将该时间片断音频信息传输到演播客户端，否则只能暂停整个媒体的演播。该类媒体具有最高的传输优先级。第二类主要是图形、图像等信息间歇性数据，不可丢弃，传输可延迟。通信双方或信息受体接收图形、图像信息，该类信息的丢失会导致理解上的困难，但它们的演播在时间基准上是可压缩的，即允许快速播放，实际上很多场合，图形、图像的演播是与时基无关的，因而它们可以在某个滞后的时间段内传输到达即可。第三类主要是视频流间歇性数据，可丢弃。通过摄像机拍摄的视频场景是渐变的，人类具有通过跳跃场景猜想事件完整过程的能力。为了传达信息的目的，并非需要在时间上连续完整的视频信息。在剪辑、复合时，可对视频信息进行观察，如同电影蒙太奇的镜头剪辑方法，保留关键片断，通过与图形、图像的组合，既保证片段视频片断的清晰、连贯，又保证有效视频信息的传递。以上三类媒体信息，从信息流量上也具有各自特点音频流信息具有较大流量，具有最高优先级，在不同时间流量较平衡；图形图像信息类信息流量最小，具有一般优先级，但流量是突变的；视频流信息流量最大，具有最低优先级。实现多媒体信息传输控制就是针对这三类信息的组合优化传输调度。调度方法步骤详细描述如图2，W为网络总带宽，X为音频流流量变化曲线，Y为图形图像信息媒体流量变化曲线，Z为视频流流量变化曲线。为简化起见，这里假设W为稳定流量带宽，X为均匀流量媒体，即媒体流量为常数；Y，Z为流量大小变化媒体。设图形图像信息类媒体允许最大延迟为Tlim ited。为了调度方便，假设系统为欠载情形，即∫W(t)dt＜∫X(t)dt+∫Y(t)dt+∫Z(t)dt同时，为了保证音频流与图形图像信息媒体的传输，网络流量必需保证∫W(t)dt≥∫X(t)dt+∫Y(t)dt从三个媒体流队列的特点分析，每个队列数据包传输要求音频流队列中每个数据包要求在起始播放时刻前传输完成；图形图像信息流队列中每个数据包要求在起始播放时刻之后Tlim ited内传输完，允许延迟播放，同时保证音频流队列的传输，当数据包延迟到达时，可以快速播放；视频流要保证音频流、图形图像信息流传输。在服务端为每一类媒体流独立建立发送流排队序列，分别为音频流、图形图像信息流、视频流，数据包按时间顺序先后排列，对音频流，按相等时间间隔划分数据包；对图形图象流及本文档来自技高网...

【技术保护点】
一种基于优先级调度的非均匀多媒体流传输调度方法，包括：对多媒体流进行多媒体流信息管理，其中所述的多媒体流信息管理包括对各种多媒体流信息特征加以分析后分为音频流、图形图像信息流和视频流三类，以及为每一类多媒体流建立一个发送序列；对分类后的多媒体流进行传输调度管理，其中所述的传输调度管理包括建立传输缓冲区和根据前述多媒体流发送序列进行传输调度。

【技术特征摘要】

【专利技术属性】
技术研发人员：竺红卫，
申请(专利权)人：竺红卫，
类型：发明
国别省市：86[中国|杭州]