通过网络传送媒体的系统及方法技术方案

本发明专利技术提供了一种通过网络将媒体从一服务器传送至一用户装置的系统及方法:一个于服务器上执行的应用程序，产生一包含3D模型与声音的虚拟3D环境，此服务器依一预定顺序检验每一3D模型与声音的状态；接着，服务器仅将尚未预载于用户装置的3D模型与声音渲染为一具声音的2D视频串流帧并传送至用户装置；其余已预载于用户装置的3D模型与声音，服务器不做渲染，仅同步传送诠译信息。用户装置收到2D视频串流帧与诠译信息两者后，将2D视频串流帧作为背景画面与背景音频，于二者之上，依据诠译信息，使用预载于自身的3D模型与声音，重新进行渲染，成为前景画面与前景音频；最后混合前景与背景两者，重建服务器上应用程序的虚拟3D环境。

【技术实现步骤摘要】

本专利技术涉及一种通过网络传送影像与声音等媒体的系统及方法，特别是指一种于用户装置上渲染3D对象与声音的方法，该方法通过结合以下两者的结果来完成:(a)自身对3D对象与3D声音的渲染(Rendering)，与(b)服务器提供的具立体声的2D视讯。
技术介绍
过去几年间，在线游戏已成为世界潮流，随着云端计算相关系统与科技的发展，一种利用服务器串流游戏内容并提供服务的技术也已问世。传统的一种提供云端游戏服务的方法通过服务器负责几乎所有的运算，亦即，当要提供云端游戏服务时，该服务器需要产生一包括多个可由参与者移动或控制的3D对象的虚拟3D环境。在已知技术中，这些3D对象可包含音效，之后依据参与者(玩家)的控制动作，该服务器即将虚拟3D环境与3D对象结合并渲染至游戏机上一具有立体声的2D游戏屏幕上。而后，该服务器即将渲染后的影像与立体声以一包含声音的2D视频串流通过网络传输至玩家的装置上，玩家装置于接收后、仅需译码并显示该2D视频串流，而不需进行额外的3D渲染计算。然而，前述在同一服务器上为众多的玩家执行渲染计算的传统技术，将导致执行3D渲染计算的服务器负载过大；此外，因玩家所见画面皆以经过破坏性压缩的2D视频串流形式传输，因此，无论是影像与声音的质量均与原显示3D对象的质量有一段落差，且服务器与玩家装置间的大量网络通讯带宽，亦成为一大问题。
技术实现思路
本专利技术的主要目的在于提供一种通过网络传送如影像与声音等媒体的系统及方法，可降低服务器的负载，提升用户装置上显示的影像与声音的质量，并节省服务器与用户装置间的通讯带宽；本专利技术方法的特点为将用户装置本身的3D渲染和音效输出，与服务器端的3D渲染和音效输出(压缩为2D串流影音传送过来)相结合，成为更佳的3D渲染和音效输出结果。为达上述目的，本专利技术提供了一种，此系统包括一服务器及一用户装置，而此方法包括下列步骤。步骤(A):在服务器上执行一应用程序，以产生一包含多个3D模型及3D声音的虚拟3D环境，每一 3D模型或3D声音搭配一状态，该状态指示此3D模型或3D声音是否预存在用户装置中；而用户装置通过一网络连接至服务器，用以下载包含由应用程序产生的至少一些3D模型及3D声音的媒体。步骤(B):服务器检验3D模型的状态，以决定哪一个3D模型需被编码为一具声音的2D视频串流帧，其决定方式为:将非预存在用户装置中的3D模型编码至2D视频串流帧中。服务器检验3D声音的状态，以决定那一个3D声音需被编码为一具立体声的2D视频串流帧，其决定方式为:将非预存在用户装置中的3D声音编码至2D视频串流帧中；其中，当一 3D声音被编码为2D视讯串流帧中的立体声时，其左右声道的音量由其位置及相对用户耳朵的速度所决定；其中，背景音乐可定义为一预定位置上的3D音效。为降低服务器负载或防止因不稳定的网络数据传递而产生的噪音，服务器可放弃对视讯帧中3D声音的编码，在此情形下，3D声音仅在预存于用户装置中时才被播放。步骤(C):服务器至少通过网络将具立体声的2D视频串流帧传送至用户装置。步骤(D):用户装置将接收自服务器的具立体声的2D视频串流帧译码，并利用2D视频串流帧作为背景画面与背景音频，在此背景之上，渲染预存在用户装置中，但未包含在2D视频串流帧中的3D模型与3D声音，成为前景画面与前景音频。步骤(E):用户装置将自身渲染的前景画面与前景音频与服务器送来2D视频串流帧，也就是背景画面与背景音频加以混合，输出一个新的，具声音的2D视讯串流帧。在一较佳实施例的步骤(B)中，我们取一个虚拟位置，然后各3D模型依照和此虚拟位置的远近排序，由距离最近的3D模型开始，一一检验其状态。在检验中，当发现第一个未预存在用户装置中的3D模型时，无论其后的3D模型是否预存在用户装置中，即将包括所发现的3D模型及其后所有3D模型编码至视讯串流帧中。而当任何3D模型的位置改变时或者当排序参考用的虚拟位置改变时，即重新执行前述的排序与检验，且依最新的检验结果决定一 3D模型是否须被编码至视讯串流帧中。在一较佳实施例中，当一新的3D模型出现在3D环境中时，无论其后的3D模型是否预存在用户装置中，即行将包括新的3D模型的所有其后3D模型编码至视讯串流帧中。在一较佳实施例的步骤(C)中，服务器亦将未预存在用户装置中的3D模型及3D声音以一预定顺序传送至用户装置中；而当用户装置接收到由服务器传送来的3D模型或3D声音时，用户装置即将3D模型或3D声音储存并发出一信息至服务器，以改变3D模型或3D声音的状态，并指示服务器:此3D模型或3D声音现已预存在用户装置中。在一较佳实施例的步骤(C)中，服务器亦将未被编码至视讯串流帧中的3D模型及3D声音的状态信息传送至用户装置；用户装置于接收及检验状态信息时，依下列方式进行:如果接收到的状态信息中的任何3D模型或3D声音为非预存在用户装置中者，则用户装置即送出一请求至服务器，以下载3D模型或3D声音。在一较佳实施例中，状态信息包括每一未被编码至视讯串流帧中的诠译数据，每一诠译数据包括3D模型或3D声音的一名称、一位置、一速度、一座向、以及一属性。在一较佳实施例中，服务器又包括一 3D场景传输器及一 3D场景服务器，3D场景传输器为一编译在应用程序中或于运行时间中动态连接在应用程序上的数据库，其设有一包含所有3D模型及3D声音以及每一 3D模型或3D声音状态的列表，所包括的状态用以指明3D模型或3D声音的状态为“Not Ready (未备妥)”、“Loading(下载中)”、或为“Readyfor Client (用户已下载)”中的一种。3D场景服务器为一服务器上执行的服务器程序，其作为3D场景传输器及用户装置间信息传递的中继站，3D场景服务器自身亦可作为一供用户装置自服务器下载必要3D模型及3D声音的档案下载服务器。在一较佳实施例中，用户装置还包括一 3D场景客户端及一 3D场景快取，3D场景客户端为一于用户装置上运转的程序，用以渲染3D模型，将结果输出为视频串流并通过网络与服务器沟通；而3D场景快取则是用以储存至少一之前自服务器下载的3D模型及3D声立曰ο【附图说明】图1为本专利技术通过网络传送媒体的系统一标准实施例的示意图；图2为本专利技术系统架构一实施例的示意图；图3A为本专利技术通过网络传送媒体的方法一实施例的流程图；图3B为本专利技术通过网络传送媒体的方法另一实施例的流程图；图4A、4B及4C显示本专利技术方法如何传送视讯串流及3D模型一实施例的示意图；图5A、5B及5C显示本专利技术方法如何决定哪个3D模型须被编码至帧一实施例的示意图；图6A、6B及6C显示本专利技术方法如何传送具声音的视讯串流及3D声音一实施例的示意图；图7A、7B及7C显示本专利技术方法如何决定哪个3D声音须被编码至具声音的视讯串流帧一实施例的示意图。附图标记说明:1?服务器；3?网络(基地台)；4?网络；21?用户装置(智能手机)；22?用户装置(笔记本电脑)；23?用户装置(桌面计算机)；51?使用者眼睛；52?投影面;70?服务器;71、71a?人；72、72a?房屋；73、73a?帧;74?用户装置;75?视讯串流帧；81、81a?声音；82、82a?声音；83、83a?帧；85?视讯串流帧；100?应用程本文档来自技高网...

【技术保护点】
一种通过网络传送媒体的方法，该媒体包括多个影像及声音，其特征在于，该方法包括以下步骤：步骤(A)：在一服务器上执行一应用程序，以产生一包含多个3D模型及3D声音的虚拟3D环境，每一该些3D模型及3D声音搭配一指示该3D模型或3D声音是否预存在一用户装置中的状态；步骤(B)：该服务器检验该些3D模型及3D声音的状态，以决定哪一个3D模型或3D声音需被编码为一具声音的2D视频串流帧，其编码方式为将非预存在该用户装置中的该些3D模型及3D声音编码至该2D视频串流帧中；步骤(C)：该服务器至少将该具声音的2D视频串流帧通过网络传送到该用户装置，其中，该服务器亦将该非预存在用户装置中的该些3D模型及3D声音以一预定顺序传送至该用户装置；而当该用户装置接收到由该服务器传送来的该些3D模型或3D声音时，该用户装置即将该些3D模型或3D声音储存并发出一信息至该服务器，以改变该些3D模型或3D声音的状态，并指示该些3D模型或3D声音现在预存在该用户装置中；以及步骤(D)：该用户装置将该接收自该服务器的该2D视频串流帧解码，并利用该2D视频串流帧作为渲染该些预存在用户装置中，但未包含在该2D视频串流帧中的3D模型与3D声音的背景画面与背景音频，以产生一作为输出的具声音的2D视频串流混合帧。...

【技术特征摘要】
...

【专利技术属性】
技术研发人员：郭荣昌，曹文凯，
申请(专利权)人：优必达公司，
类型：发明
国别省市：维尔京群岛;VG