无线3D流式传输服务器制造技术

一种装置、系统、方法以及计算机程序产品，用于将3D内容从无线设备流式传输至远程3D显示器以便在较大的屏幕上观看3D内容。在一些方面，无线流式传输服务器可以以特定格式对3D影片内容进行编码，其中每一个图像帧包括与深度信息的互补帧并排链接的2D视图。2D视图和深度信息的结合能够由客户端显示器进行处理以生成表示3D视图的立体图像。

【技术实现步骤摘要】
【国外来华专利技术】无线3D流式传输服务器
本公开内容一般涉及无线通信，更具体地说，涉及3D图像的无线流式传输(streaming)。
技术介绍
3D影片(motionpicture)正变得日益普及，其结果是，3D内容的可获得性正快速地增长。传统2D内容的诸多观看者会希望将其内容转换为3D内容。此外，移动设备(诸如无线用户设备(UE))的诸多用户会希望随身携带该内容，使得在外出时可享受3D内容并且与同事、朋友、家人和商业伙伴分享3D内容。然而，如果3D内容存储在UE上，UE通常包括很小的显示屏，则这使得用户在UE上观看3D电影不那么的令人享受。此外，当前极少有电话可用于具有3D显示器或支持3D呈现。因此，在本领域内存在对涉及3D内容的用户体验和移动性的持续改善的推动。
技术实现思路
本公开内容的一些方面为用户设备(UE)提供了有效的方式来将3D内容流式传输到远程3D显示器以便在较大的屏幕上观看3D电影。因此，UE变成了无线3D流式传输服务器，而远程显示器变成了用于3D影片的客户端。在本公开内容的一个方面，流式传输服务器可以以特定格式对3D影片内容进行编码，其中每个图像帧包括与深度信息的互补帧并排链接的2D视图。2D视图和深度信息的结合能够由客户端显示器进行处理以生成表示3D视图的立体图像。包括并排的2D视图和深度信息的链接帧可以被无线地从流式传输服务器流式传输到客户端。使用上述的编码，用于流式传输的所需带宽相对于立体图像的流式传输有所减少，因为深度信息可以被视为单色图像，其中与每个像素相关联的深度由单个数字表示。该格式的特征在于深度信息可以简单地被删截，并且2D图像可以被显示。例如，在早期的(legacy)2D客户端显示器中，可忽略深度信息。另一个特征在于在远程客户端3D显示器正在显示3D图像的同时无线流式传输服务器(UE)可在它的本地显示器上显示与半个链接帧相对应的2D电影。在本公开内容的另一个方面，包括并排格式的链接帧可以使用会话描述协议(SDP)的扩展进行编码。以这一方式，可保持对符合SDP的早期设备的后向兼容性，因为即使帧的深度信息部分在那里它们也无法感知到，并且会正常地显示2D图像部分。在本公开内容的另一个方面，SDP被进一步扩展以提供关于流式传输内容实际上是3D内容的指示。因此，附加的信息元被包括在SDP流中以指示流是3D的。在本公开内容的方面，从流式传输服务器流式传输媒体内容的方法包括：在所述流式传输服务器处提供三维(3D)媒体内容；在所述流式传输服务器与流式传输客户端之间建立流式传输会话；以及在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示。在本公开内容的另一个方面，流式传输服务器包括：文件解析器，其被配置为从内容源中提取3D媒体内容；多媒体消息传送服务模块，其被配置为建立与流式传输客户端的流式传输会话；以及无线发射机，其被配置为在所述流式传输会话上向所述流式传输客户端流式传输所述3D媒体内容。在本公开内容的另一个方面，无线通信的方法包括：在无线流式传输会话上从流式传输服务器接收媒体内容，所述媒体内容包括二维(2D)图像和对应的深度图；基于所述2D图像和所述深度图来合成三维(3D)图像；以及在显示器上呈现所述3D图像。在本公开内容的另一个方面，流式传输客户端包括：无线接收机，其被配置为从流式传输服务器接收包括三维(3D)媒体内容的流，所述3D媒体内容包括二维(2D)图像和对应的深度图；3D过滤器，其用于分离所述2D图像和所述对应的深度图；基于深度图像的呈现(DIBR)模块，其用于基于所述2D图像和所述对应的深度图来生成立体图像；以及显示驱动器，其用于在显示器上呈现所述立体图像。在本公开内容的另一个方面，用于从流式传输服务器流式传输媒体内容的装置包括：用于在所述流式传输服务器处提供三维(3D)媒体内容的单元；用于在所述流式传输服务器与流式传输客户端之间建立流式传输会话的单元；以及用于在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示的单元。在本公开内容的另一个方面，用于无线通信的装置包括：用于在无线流式传输会话上从流式传输服务器接收媒体内容的单元，所述媒体内容包括二维(2D)图像和对应的深度图；用于基于所述2D图像和所述深度图来合成三维(3D)图像的单元；以及用于在显示器上呈现所述3D图像的单元。在本公开内容的另一个方面，计算机程序产品包括计算机可读介质，所述计算机可读介质具有：用于在流式传输服务器处提供三维(3D)媒体内容的代码；用于在所述流式传输服务器和流式传输客户端之间建立流式传输会话的代码；以及用于在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示的代码。在本公开内容的另一个方面，计算机程序产品包括计算机可读介质，所述计算机可读介质具有：用于在无线流式传输会话上从流式传输服务器接收媒体内容的代码，所述媒体内容包括二维(2D)图像和对应的深度图；用于基于所述2D图像和所述深度图来合成三维(3D)图像的代码；以及用于在显示器上呈现所述3D图像的代码。在本公开内容的另一个方面，用于从流式传输服务器流式传输媒体内容的装置包括处理器和耦接到所述处理器的存储器，其中所述处理器被配置为：在所述流式传输服务器处提供三维(3D)媒体内容；在所述流式传输服务器与流式传输客户端之间建立流式传输会话；以及在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示。在本公开内容的另一个方面，用于无线通信的装置包括处理器和耦接到所述处理器的存储器，其中所述处理器被配置为：在无线流式传输会话上从流式传输服务器接收媒体内容，所述媒体内容包括二维(2D)图像和对应的深度图；基于所述2D图像和所述深度图来合成三维(3D)图像；以及在显示器上呈现所述3D图像。附图说明图1是示出了使用处理系统的装置的硬件实现的例子的概念图。图2A-图2C是示出了分别用于生成链接的2D+深度文件、流式传输链接的2D+深度文件、以及接收并将链接的2D+深度文件显示为3D图像的示例性装置的简化框图。图3是示出了根据本公开内容的方面的链接的2D+深度帧的一个例子的图。图4A-图4C是示出了分别用于生成分离的2D+深度文件、流式传输分离的2D+深度文件、以及接收分离的2D+深度文件并显示3D图像的示例性装置的简化框图。图5是示出了根据本公开内容的方面的流式传输服务器的特定实现的进一步细节的框图。图6是示出了根据本公开内容的方面的流式传输客户端的特定实现的进一步细节的框图。图7是示出了根据本公开内容的方面的用于从流式传输服务器流式传输媒体内容的过程的流程图。图8是示出了根据本公开内容的方面的用于无线通信的过程的流程图。具体实施方式以下结合附图而给出的详细说明旨在作为对各种配置的说明，而非旨在表示可以在其中实施本文所描述的构思的仅有的配置。详细的说明包括具体的细节，以便提供对各种构思的透彻理解。然而，对本领域技术人员来说显而易见的是，可以不用这些具体细节来实施这些构思。在一些实例中，以框图形式示出公知的结构和组件以便避免使这些构思模糊不清。现在将参照各种装置和方法来呈现电信系统的若干方面。这些装置和方法将在以下详细本文档来自技高网...

【技术保护点】
一种从流式传输服务器流式传输媒体内容的方法，包括：在所述流式传输服务器处提供三维（3D）媒体内容；在所述流式传输服务器与流式传输客户端之间建立流式传输会话；以及在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示。

【技术特征摘要】
【国外来华专利技术】2011.07.14 US 13/182,6451.一种从流式传输服务器流式传输媒体内容的方法，包括：在所述流式传输服务器处提供三维3D媒体内容，其中，所述3D媒体内容至少包括二维2D图像和对应于所述2D图像的深度图；在所述流式传输服务器与流式传输客户端之间建立流式传输会话；使用第一编码选项将所述2D图像压缩进第一流；使用与所述第一编码选项不同的第二编码选项，将所述深度图压缩进第二流；以及在所述流式传输会话上向所述流式传输客户端发送在所述第一流中的所压缩的2D图像以及在所述第二流中的所压缩的深度图，以用于3D图像的远程呈现和显示，其中，所述流式传输会话包括实时流式传输协议RTSP会话，并且其中，在所述第一流中的所压缩的2D图像以及在所述第二流中的所压缩的深度图是在同一个RTSP会话的不同的实时传输协议RTP端口上进行流式传输的。2.根据权利要求1所述的方法，还包括：在所述流式传输服务器处呈现所述媒体内容用于本地回放。3.根据权利要求2所述的方法，其中，所述呈现包括基于所述3D媒体内容来呈现二维2D图像。4.根据权利要求1所述的方法，还包括：提取关于所述媒体内容的信息，以适用于指示所述媒体内容包括3D内容。5.根据权利要求4所述的方法，其中，所述信息包括与所述媒体内容相关联的元数据。6.根据权利要求4所述的方法，还包括：在所述流式传输会话上向所述流式传输客户端发送关于所述媒体内容的信息。7.根据权利要求6所述的方法，其中，所述发送关于所述媒体内容的信息包括在所述媒体内容的会话描述协议SDP描述中提供信息元。8.根据权利要求1所述的方法，其中，所述3D媒体内容包括二维2D图像帧和对应的深度帧。9.根据权利要求8所述的方法，还包括：根据所述2D图像帧来合成所述深度帧。10.根据权利要求8所述的方法，还包括：根据表示立体图像的一对2D图像来合成所述深度帧；以及使用所述一对2D图像中的一个图像作为所述2D图像帧。11.根据权利要求8所述的方法，还包括：将所述2D图像帧与所述深度帧相链接(710)以提供链接的2D+Z帧。12.一种流式传输服务器，包括：文件解析器，其被配置为从内容源中提取3D媒体内容，其中，所述3D媒体内容至少包括二维2D图像和对应于所述2D图像的深度图；多媒体消息传送服务模块，其被配置为建立与流式传输客户端的流式传输会话；深度估计器，其被配置为使用第一编码选项将所述2D图像压缩进第一流，并且使用与所述第一编码选项不同的第二编码选项将所述深度图压缩进第二流；以及无线发射机，其被配置为在所述流式传输会话上向所述流式传输客户端流式传输在所述第一流中的所压缩的2D图像以及在所述第二流中的所压缩的深度图，其中，所述多媒体消息传送服务模块还被配置为建立与所述流式传输客户端的实时流式传输协议RTSP会话，并且其中，所述无线发射机还被配置为在同一个RTSP会话的不同的实时传输协议RTP端口上流式传输在所述第一流中的所压缩的2D图像以及在所述第二流中的所压缩的深度图。13.根据权利要求12所述的流式传输服务器，还包括：存储器，其中所述内容源包括所述存储器。14.根据权利要求12所述的流式传输服务器，其中，所述文件解析器还被配置为从所述内容源中提取与所述3D媒体内容相对应的元数据。15.根据权利要求14所述的流式传输服务器，其中，所述多媒体消息传送服务模块还被配置为在所述流式传输会话上向所述流式传输客户端发送所述元数据。16.根据权利要求12所述的流式传输服务器，还包括：显示设备；以及分接模块，其被配置为将所述3D媒体内容分流给所述显示设备。17.一种无线通信的方法，包括：在流式传输客户端处在无线流式传输会话上从流式传输服务器接收媒体内容，其中，所述媒体内容包括二维2D图像流和分开的对应的深度图流，其中，2D图像和对应的深度图是分开地并且分别使用不同的编码选项来压缩进所述2D图像流和所述深度图流的，其中，所述无线流式传输会话包括实时流式传输协议RTSP会话，并且其中，所压缩的2D图像流和所压缩的深度图流是在同一个RTSP会话的不同的实时传输协议RTP端口上接收的；基于所述2D图像流和所述深度图流来合成三维3D图像；以及在显示器上呈现所述3D图像。18.根据权利要求17所述的方法，还包括：从所述流式传输服务器接收关于所述媒体内容的信息。19.根据权利要求18所述的方法，其中，所述信息包括元数据，所述元数据适用于指示所述媒体内容包括3D内容。20.根据权利要求17所述的方法，其中，2D图像和所对应的深度图被链接成链接帧。21.根据权利要求20所述的方法，还包括：将所述链接帧分离成所述2D图像和所述对应的深度图。22.根据权利要求17所述的方法，其中，所述合成包括使用基于深度信息的呈现DIBR来生成表示所述3D图像的立体图像。23.一种流式传输客户端，包括：无线接收机，其被配置为在无线流式传输会话上从流式传输服务器接收三维3D媒体内容，其中，所述3D媒体内容包括二维2D图像流和分开的对应的深度图流，其中2D图像和对应的深度图是分开地并且分别使用不同的编码选项来压缩进所述2D图像流和所述深度图流的，其中，所述无线流式传输会话包括实时流式传输协议RTSP会话，并且其中，所述无线接收机被配置为在同一个RTSP会话的不同的实时传输协议RTP端口上接收所压缩的2D图像流和所压缩的深度图流；基于深度图像的呈现DIBR模块，其用于基于所述2D图像流和所述对应的深度图流来生成包括左视图和右视图的立体图像；以及显示驱动器，其用于在显示器上呈现所述立体图像。24.一种用于从流式传输服务器流式传输媒体内容的装置，包括：用于在所述流式传输服务器处提供三维3D媒体内容的单元，其中，所述3D媒体内容至少包括二维2D图像和对应于所述2D图像的深度图；用于在所述流式传输服务器与流式传输客户端之间建立流式传输会话的单元；用于使用第一编码选项将所述2D图像压缩进第一流并且用于使用与所述第一编码选项不同的第二编码选项将所述深度图压缩进第二流的单元；以及用于在所述流式传输会话上向所述流式传输客户端发送在所述第一流中的所压缩的2D图像以及在所述第二流中的所压缩的深度图，以用于3D图像的远程呈现和显示的单元，其中，所述流式传输会话包括实时流式传输协议RTSP会话，并且其中，在所述...

【专利技术属性】
技术研发人员：S·V·谢特，V·R·拉韦恩德朗，J·马丁内斯包萨，P·K·巴米迪帕蒂，X·罗，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：