一种流媒体调度方法及装置制造方法及图纸

本发明专利技术实施例提供一种流媒体调度方法及装置，该方法包括：接收用户当前时刻后预设时长内注视区域的预测结果，所述预测结果对应于视频区域划分得到的多个子区域中的目标子区域；根据当前时刻后预设时长内应发送的视频片段，以所述目标子区域为中心，生成与人眼视觉层级对应的清晰度依次递减的混合视频片段；将所述混合视频片段发送至客户端。本发明专利技术实施例提供的方法实现了低带宽资源的占用下，得到较高的QoE。

A scheduling method and device for streaming media

【技术实现步骤摘要】
一种流媒体调度方法及装置
本专利技术实施例涉及互联网流媒体领域，尤其涉及一种流媒体调度方法及装置。
技术介绍
伴随着虚拟现实(VR)技术的蓬勃发展，具有沉浸、互动和想象等特征的消费级虚拟现实设备将有望开启娱乐、医学和教育等领区的新时代，VR流媒体将在不久的将来主导互联网流量。目前的VR流媒体主要通过宽带传输，尽管VR发展迅速，但带宽资源是有限的。目前的带宽传输能力无法满足VR流媒体的高质量需求。特别是对于高端移动VR流媒体来说，这一差距更加显著，传统无线技术的带宽容量与VR流媒体的带宽需求之间存在巨大差距。由于受到传输速率的限制，只能获得很低的体验质量(QualityofExperience，简称QoE)，无法实现在资源受限的条件下获得高质量的VR内容。因此，现有的流媒体传输方法在带宽资源受限的情况下，无法满足高QoE的要求。
技术实现思路
为了解决上述问题，本专利技术实施例提供一种流媒体调度方法及装置。第一方面，本专利技术提供一种流媒体调度方法，包括：接收用户当前时刻后预设时长内注视区域的预测结果，所述预测结果对应于视频区域划分得到的多个子区域中的目标子区域；根据当前时刻后预设时长内应发送的视频片段，以所述目标子区域为中心，生成与人眼视觉层级对应的清晰度依次递减的混合视频片段；将所述混合视频片段发送至客户端。第二方面，本专利技术提供一种流媒体调度方法，包括：发送用户当前时刻后预设时长内注视区域的预测结果，所述预测结果对应于视频区域划分得到的多个子区域中的目标子区域；接收混合视频片段，所述混合视频片段为服务器根据当前时刻后预设时长内应发送的视频片段，以所述目标子区域为中心，生成的与人眼视觉层级对应的清晰度依次递减的视频片段。第三方面，本专利技术提供一种流媒体调度装置，包括：接收模块，用于接收用户当前时刻后预设时长内注视区域的预测结果，所述预测结果对应于视频区域划分得到的多个子区域中的目标子区域；处理模块，用于根据当前时刻后预设时长内应发送的视频片段，以所述目标子区域为中心，生成与人眼视觉层级对应的清晰度依次递减的混合视频片段；发送模块，用于将所述混合视频片段发送至客户端。第四方面，本专利技术提供一种流媒体调度装置，包括：发送模块，用于发送用户当前时刻后预设时长内注视区域的预测结果，所述预测结果对应于视频区域划分得到的多个子区域中的目标子区域；接收模块，用于接收混合视频片段，所述混合视频片段为服务器根据当前时刻后预设时长内应发送的视频片段，以所述目标子区域为中心，生成的与人眼视觉层级对应的清晰度依次递减的视频片段。第五方面，本专利技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本专利技术第一方面或第二方面流媒体调度方法的步骤。第六方面，本专利技术提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本专利技术第一方面或第二方面流媒体调度方法的步骤。本专利技术实施例提供的流媒体调度方法，通过接收用户当前时刻后预设时长内注视区域的预测结果，以与该预测结果对应的目标子区域为中心，生成与人眼视觉层级对应的清晰度依次递减的混合视频片段，并发送至客户端。实现了低带宽资源的占用下，得到较高的QoE。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的流媒体调度方法流程图；图2为本专利技术实施例提供的流媒体调度方法视频处理示意图；图3为本专利技术实施例提供的流媒体调度方法混合视频生成示意图；图4为本专利技术另一实施例提供的流媒体调度方法流程图；图5为本专利技术实施例提供的流媒体调度装置结构图；图6为本专利技术另一实施例提供的流媒体调度装置结构图；图7为本专利技术实施例提供的一种电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前，传统无线技术的带宽容量与VR流媒体的带宽需求之间存在巨大差距。若需要在VR场景中实现视网膜显示效果，那么我们需要约为5073×5707的单眼分辨率，当我们使用与现有4K视频相同的编码模式编码VR视频时，视频流对于带宽的需求至少为840Mbps。理论上最快的商用WiFi(802.11ac)的带宽为1.3Gbps，实际上只能达到400Mbps的传输速率。通过传统的无线网络进行VR流媒体传输只能获得较低的体验质量(QoE)。为解决这一问题，本专利技术实施例提供一种流媒体调度方法。该方法可应用于上述VR流媒体传输场景，也可以用于其它受带宽资源限制的流媒体传输场景，本专利技术实施例对此不作具体限定。另外，该方法对应的执行主体可以为客户端，也可以为服务器，或者由客户端与服务器交互实现，本专利技术实施例对此也不作具体限定。以下实施例的描述以VR设备播放360°视频的应用场景为例进行说明，客户端为向用户播放视频的VR设备，服务器为提供视频资源的服务端。人眼存在视觉层级，人眼的视场中约120°组成人的双眼视觉区域，视觉本质上是分层的，主要包括中央视觉，旁中央视觉和周围视觉。中央视觉，是人类视觉中最重要的部分，仅在整个视觉中占到5°。在中央视觉中，可以清楚地看到文本中的大约四五个单词，准确率为100％。旁中央视觉比中央视觉稍大约30°。在这部分视觉中，人对处于这个范围内的物体，可以看到其的形状。周围视觉占据人类视觉的约60°，人可以在这个区域感知到色彩。在视觉的其余部分，人们可以感受到物体的运动。图1为本专利技术实施例提供的流媒体调度方法流程图，如图1所示，本专利技术实施例提供一种流媒体调度方法，包括：101，接收用户当前时刻后预设时长内注视区域的预测结果，预测结果对应于视频区域划分得到的多个子区域中的目标子区域。在执行101之前，还包括区域划分过程，根据人眼视觉层级的原理，将视频播放区域划为多个子区域。以360°视频为例，将360°视频划分为36×36的多个子区域，单个子区域为10°，与用户的中央视觉角度对应。在101中，客户端能够对用户眼球注视的区域进行预测，服务器接收客户端对于用户的眼球注视区域的预测结果，由于预测的时间过长会导致预测的结果不够准确，该预测结果为当前时刻起的一定时间段的预测，即预设时长。根据预测的注视区域，得到360°视频的36×36个子区域中，哪一子区域与注视区域对应，将该子区域作为目标子区域。102，根据当前时刻后预设时长内应发送的视频片段，以目标子区域为中心，生成本文档来自技高网...

【技术保护点】
1.一种流媒体调度方法，其特征在于，包括：/n接收用户当前时刻后预设时长内注视区域的预测结果，所述预测结果对应于视频区域划分得到的多个子区域中的目标子区域；/n根据当前时刻后预设时长内应发送的视频片段，以所述目标子区域为中心，生成与人眼视觉层级对应的清晰度依次递减的混合视频片段；/n将所述混合视频片段发送至客户端。/n

【技术特征摘要】
1.一种流媒体调度方法，其特征在于，包括：
接收用户当前时刻后预设时长内注视区域的预测结果，所述预测结果对应于视频区域划分得到的多个子区域中的目标子区域；
根据当前时刻后预设时长内应发送的视频片段，以所述目标子区域为中心，生成与人眼视觉层级对应的清晰度依次递减的混合视频片段；
将所述混合视频片段发送至客户端。


2.根据权利要求1所述的方法，其特征在于，所述根据当前时刻后预设时长内应发送的视频片段，以所述目标子区域为中心，生成与人眼视觉层级对应的清晰度依次递减的混合视频，包括：
根据所述视频片段经预先离线处理后得到的多种清晰度的视频片段，以所述目标子区域为中心，生成与人眼视觉层级对应的清晰度依次递减的混合视频；
其中，所述多种清晰度与人眼视觉层级相对应。


3.根据权利要求2所述的方法，其特征在于，对于所述多种清晰度的视频片段中每一清晰度，除与目标子区域对应的清晰度外，其它清晰度均有多个对应不同比特率的视频片段。


4.根据权利要求2所述的方法，其特征在于，所述根据所述视频片段经预先离线处理后得到的多种清晰度的视频片段，以所述目标子区域为中心，生成与人眼视觉层级对应的清晰度依次递减的混合视频，包括：
为每一清晰度设置权重，从所述视频片段经预先离线处理后得到的多种清晰度的视频片段中，选取满足带宽大小的、体验质量得分最大并且能够构成所述视频片段的所有视频块；
以所述目标子区域为中心，生成与人眼视觉层级对应的清晰度依次递减的混合视频；
所述视频块由所述视频片段切分得到,与所述视频区域的多个子区域一一对应，所述权重用于计算所述体验质量得分。


5.一种流媒体调度方法，其特征在于，包括：
发送用户当前时刻后预设时长内注视区域的预测结果，所述预测结果对应于视...

【专利技术属性】
技术研发人员：何源，杨松洲，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11