【技术实现步骤摘要】
【国外来华专利技术】沉浸式媒体内容呈现和交互式360
°
视频通信
[0001]说明书
[0002]本专利技术涉及沉浸式媒体和360
°
视频的领域。本专利技术方法的实施例涉及对沉浸式媒体通信或沉浸式媒体内容呈现的改进，所述沉浸式媒体通信或沉浸式媒体内容呈现包括例如视频点播(VoD)流、实况流、视频会议、或诸如在线游戏应用之类的虚拟现实(VR)应用。本专利技术方法的实施例涉及对360
°
视频通信的改进，所述360
°
视频通信包括例如视频会议、或诸如在线游戏应用之类的虚拟现实(VR)应用。
[0003]近年来，沉浸式媒体已经获得了大量关注。用于呈现或表示沉浸式媒体内容的关键技术可以被分类为：
[0004](i)3DoF(three Degrees of Freedom，三自由度)内容，例如360
°
视频，
[0005](ii)6DoF(six Degrees of Freedom，六自由度)内容，例如，捕获的体积对象，如真实对象，或例如真实对象的体积视频，
[0006](iii)例如使用计算机图形生成的并由例如3D网格和2D纹理组成的3D对象，如计算机生成的影像(CGI)。
[0007]这些技术的组合也是可能的。例如，可以向用户呈现多个体积对象，其覆盖在背景中播放的360
°
视频上。所呈现的体积对象可以是动态序列或计算机生成的3D对象。
[0008]360
°
视频在过去几年获得了许多关注，并且用于...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于呈现沉浸式媒体内容的装置，其中，所述装置用于：从发送器获得表示针对特定观看方向和/或针对特定视点的沉浸式内容的视频数据，以及显示表示针对所述特定观看方向和/或针对所述特定视点的沉浸式内容的视频数据。2.根据权利要求1所述的装置，其中，为了从所述发送器获得视频数据，所述装置用于：
‑
向所述发送器发信号通知所述特定观看方向和/或所述特定视点，以及
‑
从所述发送器接收针对所述特定观看方向和/或所述特定视点的视频数据。3.根据权利要求1或2所述的装置，其中所述装置包括：显示设备，例如HMD，用于向用户显示针对所述特定观看方向和/或所述特定视点的视频数据，传感器，用于检测所述用户的观看方向和/或视点，以及处理器，用于向所述发送器发信号通知检测到的观看方向和/或特定视点，并且处理接收到的视频数据以用于在所述显示设备上显示。4.根据前述权利要求中的任一项所述的装置，其中针对表示所述沉浸式内容的视频数据的特定观看方向和/或特定视点，所述装置用于从所述发送器接收：(i)第一视频数据，所述第一视频数据由所述发送器渲染并且表示视频数据的2D视口版本，所述视频数据表示针对所述特定观看方向和/或针对所述特定视点的沉浸式内容，或(ii)第二视频数据，所述第二视频数据未由所述发送器渲染并且表示要由所述发送器发送的沉浸式内容的至少一部分。5.根据权利要求4所述的装置，其中，在沉浸式媒体会话期间，所述装置用于根据所述接收器和所述发送器之间的延迟从所述发送器接收所述第一视频数据或所述第二视频数据。6.根据权利要求5所述的装置，其中，延迟包括以下项中的一个或多个：
‑
端到端延迟，所述端到端延迟包括网络延迟、渲染延迟和编码延迟中的一个或多个，
‑
运动到光子MTP延迟，所述MTP延迟是从在所述接收器处检测到所述特定观察方向和/或所述特定视点的改变直到显示针对新的观察方向和/或新的视点的经渲染的视频数据为止的时间，其中所述MTP延迟可以减少预测先行时间。7.根据权利要求5或6所述的装置，其中，所述装置用于在所述延迟低于或处于例如15ms至20ms的特定阈值的情况下从所述发送器接收所述第一视频数据，以及所述装置用于在延迟高于所述特定阈值的情况下从所述发送器接收所述第二视频数据。8.根据权利要求7所述的装置，其中，在所述发送器以第一格式提供表示2D视口版本的第一视频数据并且以第二格式提供表示未渲染的沉浸式内容的第二视频数据的情况下，所述装置用于向所述发送器发送消息，例如RTCP消息，从而请求立即在第一格式和第二格式之间切换或在所述消息之后的特定时间切换，或在所述发送器使用相同的格式提供所述第一视频数据和所述第二视频数据并且提供
从用于提供2D视口版本的第一处理模式到用于提供表示沉浸式内容的视频数据的未渲染部分的第二处理模式的动态切换的情况下，所述装置用于向所述发送器发送消息，例如RTCP消息，从而请求立即在第一模式和第二模式之间切换或在所述消息之后的特定时间切换。9.根据权利要求7或8所述的装置，其中所述特定阈值是以下项中的一个或多个：
‑
网络延迟，
‑
端到端延迟，
‑
最大或可接受的运动到光子MTP延迟，
‑
对应于预定义的体验质量(QoE)的MTP延迟，
‑
减少预测先行时间的MTP延迟，所述预测先行时间指示预测器向未来查看的时间能力。10.根据权利要求5至9中的任一项所述的装置，其中在沉浸式媒体会话开始时，当所述延迟仍然未知时，所述装置用于仅接受所述第二视频数据，直到所述延迟已知或可以被可靠地估计为止。11.根据前述权利要求中任一项所述的装置，其中，在沉浸式媒体会话开始时，所述装置用于与所述发送器协商，以及当与所述发送器协商时，所述装置用于使用例如会话描述协议SDP从所述发送器接收表示沉浸式内容的视频数据的一个或多个参数，例如补充增强信息SEI消息。12.根据权利要求11所述的装置，其中，当与所述发送器协商时，所述装置用于还从所述发送器接收所述视频数据或格式能够在(i)所述第一视频数据与(ii)所述第二视频数据之间动态地切换的指示，以及在所述沉浸式媒体会话期间，所述装置用于接收相应的视频数据分组，如实时传输协议RTP分组，其中可以例如使用RTP报头扩展来标记视频数据分组，以指示所述第一视频数据与所述第二视频数据之间的切换，所标记的视频数据分组指示：
‑
所述第一视频数据和所述第二视频数据之间的立即切换，或
‑
在所述第一视频数据和所述第二视频数据之间切换之前的特定时间。13.根据前述权利要求中任一项所述的装置，其中，所述装置包括提供视口预测和/或视点预测的预测器，或者所述装置用于从所述发送器接收所述视口预测和/或所述视点预测，所述视口预测指示在先行时间之后发生的从所述用户的当前观看方向到所述用户的新观看方向的改变，以及所述视点预测指示在所述先行时间之后发生的从所述用户的当前视点到所述用户的新视点的改变。14.根据权利要求13所述的装置，其中视点改变是
‑
受限制的，例如，限于用户可以访问的多个离散视点，或
‑
不受限制的，例如，允许用户在虚拟场景中完全导航。15.根据权利要求12或13所述的装置，其中，响应于所述视口预测和/或所述视点预测，所述装置用于例如基于预测准确度、所述先行时间和往返时间RTT来确定要发信号通知的特定视口和/或视点，并且使用反馈消息，例如RTCP反馈消息，向所述发送器发信号通知所述特定视口和/或视点。16.根据权利要求13至15中任一项所述的装置，其中，在沉浸式媒体会话开始时，所述
装置用于基于在所述装置和/或所述发送器处的预测能力与所述发送器协商所述特定阈值的值。17.根据权利要求16所述的装置，其中所述预测能力包括每视点预测准确性，其中所述每视点预测准确性可以取决于所述视点的内容特性，例如所述用户最可能观看的显著区域的数量，将一视点归类为比另一视点更难预测。18.根据权利要求16或17所述的装置，其中，所述装置用于例如经由SDP向所述发送器发信号通知例如以随时间漂移或预测和现实的重叠的形式的准确度，以及所述装置执行所述视口预测和/或所述视点预测所用的先行时间，以允许所述发送器决定所述发送器接受来自所述装置的所述视口预测和/或所述视点预测或所述发送器执行所述视口预测和/或所述视点预测，以及所述装置用于例如经由SDP从所述发送器接收指示所述视口预测和/或所述视点预测将由所述装置或所述发送器执行的信令。19.根据权利要求16至18中任一项所述的装置，其中，所述装置用于决定所述发送器或所述装置执行所述视口预测和/或所述视点预测，以及所述装置例如经由SDP发信号通知所述发送器关于所述视口预测和/或所述视点预测将由所述装置或所述发送器执行的指示。20.根据权利要求16至19中的任一项所述的装置，其中，在所述沉浸式媒体会话期间，在所述视口预测和/或所述视点预测将由所述发送器执行的情况下，所述装置用于从所述发送器接收对在所述发送器处用于执行所述视口预测和/或所述视点预测所需的特定参数的请求，所述特定参数是例如观看方向、视点、报告间隔、速度或加速度，以及在所述视口预测和/或所述视点预测将由所述装置执行的情况下，所述装置用于例如基于所述发送器的关于内容特性的知识，从所述发送器接收将由所述装置使用的关于特定观看方向和/或特定视点的特定预测信息，关于内容特性的知识是例如图片域显著性分析、用户行为的统计分析、脚本场景的先验知识。21.根据权利要求13至20中任一项所述的装置，其中，在场景包括多个视点并且所述装置要执行预测的情况下，所述装置用于分析先前的传感器数据并且确定更可能在当前视点内发生切换还是所述视点将改变。22.根据前述权利要求中任一项所述的装置，其中所述装置用于例如在RTCP报告中向所述发送器发送误差或漂移指示，所述误差或漂移指示发信号通知接收到的针对所述特定观看方向和/或所述特定视点的视频数据与实际观看方位和/或实际视点不匹配。23.根据权利要求22所述的装置，其中所述装置用于发信号通知最坏情况漂移或平均漂移，其中所述平均漂移被发信号通知为在特定时间段内预测的视口或视点与实际观看方位或视点位置的比率，并且所述最坏情况漂移被发信号通知为在特定时间段内获得的最大漂移值。24.根据权利要求22或23所述的装置，其中，在漂移处于特定方向的情况下，例如，预测的视口和/或预测的视点对应于预测的方向上的较小移动，所述装置用于发信号通知所述漂移的方向。25.根据权利要求22至24中任一项所述的装置，其中，在所述装置处理第一视频数据并
且平均漂移超过特定阈值达特定时间段或最坏情况漂移超过特定阈值的情况下，所述装置决定从所述第一视频数据切换到所述第二视频数据。26.根据前述权利要求中任一项所述的装置，其中所述装置使用中心凹形渲染，并且向所述发送器发信号通知在所述中心凹形渲染算法中使用的相应参数，以允许所述发送器提供与所述中心凹形渲染的操作模式匹配的内容。27.根据权利要求26所述的装置，其中在所述中心凹形渲染算法中使用的所述参数包括：
‑
基于到所述观看方向的中心的距离的降级函数，用作参数化质量函数，或
‑
导致针对内容的质量的下降的区域或距离阈值，或
‑
在时间段上平均的眼睛运动区域的时间分布，例如观看方向注视在覆盖视口的80％的区域的时间的95％，以允许所述发送器调整传输，例如，以较低的像素密度对用户通常未注视的外部部分进行编码。28.一种用于向接收器提供沉浸式媒体内容的装置，其中，所述装置用于：从所述接收器接收用于在所述接收器处显示所述沉浸式内容的特定观看方向和/或特定视点的指示，以及向所述接收器发送表示针对所述特定观看方向和/或针对所述特定视点的沉浸式内容的视频数据。29.根据权利要求28所述的装置，其中所述装置用于提供：(i)第一视频数据，表示对所述沉浸式内容加以表示的视频数据的特定观看方向和/或特定视点的2D视口版本，或(ii)第二视频数据，表示要被发送的沉浸式内容的至少一部分，其中，在要提供第一视频数据的情况下，渲染视频数据，对经渲染的视频数据进行编码并将经编码的视频数据发送到所述接收器，以及其中，在要提供第二视频数据的情况下，对视频数据进行编码而不进行渲染，对描述所述沉浸式内容的参数的一个或多个消息进行编码，所述一个或多个消息是例如补充增强信息SEI消息，并且将经编码的视频数据和经编码的一个或多个消息发送到所述接收器。30.根据权利要求29所述的装置，其中所述装置根据所述接收器与所述发送器之间的延迟向所述接收器提供所述第一视频数据或所述第二视频数据。31.根据权利要求30所述的装置，其中，在所述装置使用相同的格式提供所述第一视频数据和所述第二视频数据并且提供从用于提供所述2D视口版本的第一处理模式到用于提供表示所述沉浸式内容的视频数据的未渲染部分的第二处理模式的动态切换的情况下，所述装置用于：从所述接收器接收请求消息，例如RTCP消息，用于立即在所述第一模式和第二模式之间切换或在所述消息之后的特定时间切换，以及响应于请求，切换针对视频的处理模式，并且向所述接收器提供根据新模式处理的视频，以及在所述装置以第一格式提供表示所述2D视口版本的第一视频数据并且以第二格式提供表示所述沉浸式内容的未渲染部分的第二视频数据的情况下，所述装置用于：
从所述接收器接收请求消息，例如RTCP消息，用于立即在所述第一格式和所述第二格式之间切换或在消息之后的特定时间切换，以及响应于请求，使用所述第一格式或所述第二格式向所述接收器发送视频。32.根据权利要求5所述的装置，其中所述延迟包括以下项中的一个或多个：
‑
端到端延迟，所述端到端延迟包括网络延迟、渲染延迟和编码延迟中的一个或多个，
‑
运动到光子MTP延迟，所述MTP延迟是从在所述接收器处检测到所述特定观察方向和/或所述特定视点的改变直到显示针对新的观察方向和/或新的视点的经渲染的视频数据为止的时间，其中所述MTP延迟可以减少预测先行时间。33.根据权利要求30至32中任一项所述的装置，其中，所述装置用于在延迟低于或处于例如15ms到20ms的特定阈值的情况下向所述接收器提供所述第一视频数据，以及所述装置用于在延迟高于所述特定阈值的情况下向所述接收器提供所述第二视频数据。34.根据权利要求33所述的装置，其中所述特定阈值是以下项中的一个或多个：
‑
网络延迟，
‑
端到端延迟，
‑
最大或可接受的运动到光子MTP延迟，
‑
对应于预定义的体验质量QoE的MTP延迟，
‑
减少预测先行时间的MTP延迟，所述预测先行时间指示预测器向未来查看的时间能力。35.根据权利要求31至34中的任一项所述的装置，其中在沉浸式媒体会话开始时，当所述延迟仍然未知时，所述装置用于仅提供所述第二视频数据，直到所述延迟已知或可以被可靠地估计为止。36.根据权利要求28至35中任一项所述的装置，其中，在沉浸式媒体会话开始时，所述装置用于与所述接收器协商，以及当与所述接收器协商时，所述装置用于使用例如会话描述协议SDP向所述接收器发送所述沉浸式内容的一个或多个参数，例如补充增强信息SEI消息。37.根据权利要求36所述的装置，其中，所述发送器的一个或多个SDP消息还包括所述视频数据或格式能够在(i)所述第一视频数据与(ii)所述第二视频数据之间动态切换的指示，以及在所述沉浸式媒体会话期间，所述装置用于发送相应的视频数据分组，如实时传输协议RTP分组，其中可以例如使用RTP报头扩展来标记视频数据分组，以指示所述第一视频数据与所述第二视频数据之间的切换，所标记的视频数据分组指示
‑
所述第一视频数据和所述第二视频数据之间的立即切换，或
‑
在所述第一视频数据和所述第二视频数据之间切换之前的特定时间。38.根据权利要求28至37中任一项所述的装置，其中，所述装置包括提供视口预测和/或视点预测的预测器，或者所述装置用于从所述接收器接收所述视口预测和/或所述视点预测，所述视口预测和/或所述视点预测指示在先行时间之后发生的从接收器的用户的当前观看方向和/或当前视点到用户的新观看方向和/或新视点的改变。
39.根据权利要求38所述的装置，其中视点改变是
‑
受限制的，例如，限于用户可以访问的多个离散视点，或
‑
不受限制的，例如，允许用户在虚拟场景中完全导航。40.根据权利要求38或39所述的装置，其中，响应于所述视口预测和/或所述视点预测，所述装置例如基于预测准确度、所述先行时间和往返时间RTT来确定要提供的特定视口和/或视点。41.根据权利要求38至40中任一项所述的装置，其中，在沉浸式媒体会话开始时，所述装置用于基于在所述装置和/或所述发送器处的预测能力来与所述接收器协商所述特定阈值的值。42.根据权利要求41所述的装置，其中所述预测能力包括每视点预测准确性，其中所述每视点预测准确性可以取决于所述视点的内容特性，例如所述用户最可能观看的显著区域的数量，将一视点归类为比另一视点更难预测。43.根据权利要求41或42所述的装置，其中所述装置用于：例如经由SDP从所述接收器接收例如以随时间漂移或预测和现实的叠加的形式的准确度，以及所述接收器执行所述视口预测和/或所述视点预测所用的先行时间，决定所述装置接受来自所述接收器的所述视口预测和/或所述视点预测，或所述装置执行所述视口预测和/或所述视点预测，以及例如经由SDP向所述接收器发信号通知所述视口预测和/或所述视点预测将由所述装置或所述接收器执行。44.根据权利要求41至43中任一项所述的装置，其中，在所述视口预测和/或所述视点预测将由所述装置执行的情况下，所述装置用于从所述接收器接收在所述发送器处用于执行所述视口预测和/或所述视点预测所需的特定参数，例如观看方向、视点、报告间隔、速度或加速度，以及在所述视口预测和/或所述视点预测将由所述接收器执行的情况下，所述装置例如基于所述发送器的关于内容特性的知识，用于向所述接收器发送将由所述装置使用的关于特定观看方向和/或视点的特定预测信息，关于内容特性的知识是例如图片域显著性分析、用户行为的统计分析、脚本场景的先验知识。45.根据权利要求38至44中任一项所述的装置，其中，在场景包括多个视点并且所述发送器要执行预测的情况下，所述装置用于从所述接收器接收关于所述场景内的当前观看方向和位置的反馈，并且将所述反馈与其他用户的统计或内容信息组合，用于确定更可能在当前视点内发生切换还是所述视点将改变，所述其他用户的统计或内容信息是例如所述用户更可能在特定视口的哪个空间区域处改变其视点。46.根据权利要求28至45中任一项所述的装置，其中，所述装置用于例如在RTCP报告中从所述接收器接收误差或漂移指示，所述误差或漂移指示发信号通知接收到的针对所述特定观看方向和/或所述特定视点的视频数据与所述装置处的实际观看方向和/或实际视点不匹配，以及响应于所述误差或漂移，所述装置用于适配例如所使用的边缘或预取。47.根据权利要求46所述的装置，其中所述装置用于接收最坏情况漂移或平均漂移，其中所述平均漂移被发信号通知为在特定时间段内预测的视口或视点与实际观看方位或视
点位置的比率，并且所述最坏情况漂移被发信号通知为在特定时间段内获得的最大漂移值。48.根据权利要求46或47所述的装置，其中，在所述漂移处于特定方向的情况下，例如，预测的视口和/或预测的视点对应于预测的方向上的较小移动，所述装置用于接收所述漂移的方向并且例如通过在失配的预测的方向上添加预取来适配其预测。49.根据权利要求28至48中任一项所述的装置，其中所述接收器使用中心凹形渲染，并且所述装置用于从所述接收器接收在所述中心凹形渲染算法中使用的相应参数，并且提供与所述中心凹形渲染的操作模式匹配的内容。50.根据前述权利要求中的任一项所述的装置，其中，所述沉浸式内容包括以下项中的一个或多个：
‑
三自由度3DoF内容，例如，一个或多个360
°
视频，
‑
六自由度6DoF内容，例如，捕获的体积对象，如真实对象，或例如真实对象的体积视频，
‑
3D对象，例如使用计算机图形生成，如计算机生成的影像(CGI)。51.根据前述权利要求中的任一项所述的装置，其中要由所述发送器发送或由所述接收器接收的所述沉浸式内容包括以下项中的一个或多个：
‑
在360
°
视频或360
°
图形的情况下，经投影的视频传输，例如，使用特定投影发送的全部360
°
视频的一部分，
‑
在体积对象或体积视频的情况下，例如作为多个点云或作为网格的特定3D格式的针对整个体积对象或体积对象的一部分的3D数据传输，
‑
在3D计算机图形的情况下，例如游戏，以诸如多个点云或网格之类的特定3D格式的完整场景，例如多个体积对象。52.根据前述权利要求中的任一项所述的装置，其中，所述沉浸式内容将通过以下被识别：
‑
特定补充增强信息SEI参数，例如sprop
‑
SEI参数，
‑
特定视频编解码器或简档的指示，或
‑
通过会话描述协议SDP中的额外的属性，例如视频格式3DoF“videoformat 3DoF”或视频格式6DoF“videoformat 6DoF”或视频格式体积“videoformat Volumetric”。53.根据前述权利要求中的任意一项所述的装置，其中，在所述沉浸式内容表示包括一个或多个体积对象的体积场景的情况下，所述沉浸式内容包括用于描述所述体积对象的相应属性的多个比特流，例如，至少纹理比特流和几何结构比特流，或压缩的网格比特流和纹理比特流。54.根据权利要求53所述的装置，其中使用例如所述SDP来发信号通知不同的比特流的使用，其中所述SDP可包含关于不同种类的比特流及所述比特流的可能变体的信息。55.根据权利要求53或54所述的装置，其中使用例如SDP的分组机制使描述体积对象的相应属性的多个比特流彼此关联。56.一种系统，包括：发送器，所述发送器包括根据权利要求28至55中任一项所述的装置，以及接收器，所述接收器包括根据权利要求1至27或权利要求50至55中任一项所述的装置。
57.一种用于呈现沉浸式媒体内容的方法，所述方法包括：由接收器从发送器获得表示针对特定观看方向和/或针对特定视点的沉浸式内容的视频数据，以及在所述接收器处显示表示针对所述特定观看方向和/或针对所述特定视点的沉浸式内容的视频数据。58.一种用于提供沉浸式媒体内容的方法，所述方法包括：在发送器处接收用于在接收器处显示所述沉浸式内容的特定观看方向和/或特定视点的指示，以及由所述发送器向所述接收器发送表示针对所述特定观看方向和/或针对所述特定视点的沉浸式内容的视频数据。59.根据权利要求57或58所述的方法，其中所述接收器包括根据权利要求1至27或权利要求50至55中任一项所述的装置，和/或其中所述发送器包括根据权利要求28至55中任一项所述的装置。60.一种包括指令的计算机程序产品，当程序由计算机执行时，所述指令使所述计算机执行权利要求57至59中任一项所述的方法。61.一种用于与发送器进行360
°
视频通信的装置，其中，所述装置用于：从所述发送器获得取决于360
°
视频的特定观看方向的视频数据，以及显示表示所述360
°
视频的特定观看方向的视频数据。62.根据权利要求61所述的装置，其中，为了从所述发送器获得所述视频数据，所述装置用于：向所述发送器发信号通知所述360
°
视频的特定观看方向...
【专利技术属性】
技术研发人员：塞尔汉，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。