用于多媒体会议的场景描述的信令制造技术

各种实施例包括用于提供沉浸式三维群组会话的系统和方法。各种实施例包括利用可能来自不同方的媒体部件用信号发送场景的描述的方法和设备。在各个方面，可以在会话发起协议(SIP)会话建立期间通过会话描述协议(SDP)用信号发送场景图。在各种实施例中，场景图可以包括被分配为由沉浸式三维群组会话中的多个参与者计算设备中的每一个控制的相应图形输出节点。出节点。出节点。

【技术实现步骤摘要】
【国外来华专利技术】用于多媒体会议的场景描述的信令
[0001]相关申请
[0002]本申请要求于2020年3月17日提交的名称为“Signaling of Scene Description For Multimedia Conferencing”的美国临时申请第62/990,895号的优先权，其全部内容据此通过引用方式并入本文以用于所有目的。

技术介绍

[0003]长期演进(LTE)、第五代(5G)新无线电(NR)和其他最近开发的通信技术允许无线设备以比数年前可用的高出几个数量级的数据速率(例如，以每秒千兆比特等为单位)传送信息。
[0004]现今的通信网络也更为安全、对多路径衰落有弹性、允许更低的网络流量延迟、提供更好的通信效率(例如，在所使用的每单位带宽每秒的比特等方面)。这些改进以及其他最近的改进促进了物联网(IOT)、大规模机器对机器(M2M)通信系统、自动驾驶汽车和其他依赖于一致和安全通信的技术的出现。
[0005]近年来，将来自用户物理环境的真实世界图像与计算机生成的图像或虚拟对象(VO)相结合的增强现实软件应用程序越来越受欢迎和被使用。增强现实软件应用程序可以将图形、声音和/或触觉反馈添加到应用程序用户周围的自然世界。关于人和/或物体图像、视频流和的信息可以作为可穿戴电子显示器或头戴式设备(例如智能眼镜、增强现实眼镜等)上的增强场景呈现给用户，叠加在视觉世界上。

技术实现思路

[0006]各个方面包括用于提供沉浸式三维群组会话的系统和方法。各种实施例包括利用可能来自不同方的媒体部件用信号发送场景的描述的方法和设备。在各个方面，可以在会话发起协议(SIP)会话建立期间通过会话描述协议(SDP)用信号发送场景图。在各个方面，场景图可以包括被分配为由沉浸式三维群组会话中的多个参与者计算设备中的每一个控制的相应图形输出节点。各个方面可以由作为在沉浸式三维群组会话中操作的多个参与者计算设备之一的无线设备的处理器来执行。各个方面可以包括：接收用于沉浸式三维群组会话的场景图，其中该场景图至少包括被分配为由无线设备控制的自有图形输出节点和被分配为由多个参与者计算设备中的其他参与者计算设备中的每一个控制的相应其他图形输出节点；相对于沉浸式三维群组会话的三维空间控制自有图形输出节点的部件；在第一媒体流中向多个参与者计算设备中的其他参与者计算设备发送自有图形输出节点的部件；在来自多个参与者计算设备中的其他参与者计算设备中的每一个的媒体流中接收其他图形输出节点的部件；以及至少部分地基于自有图形输出节点的部件和其他图形输出节点的部件在无线设备的显示器上呈现沉浸式三维群组会话。
[0007]一些方面还可以包括：接收场景图更新，该场景图更新包括用于沉浸式三维群组会话的新参与者计算设备的指示和被分配为由新参与者计算设备控制的新图形输出节点的指示；在来自新参与者计算设备的第二媒体流中接收新图形输出节点的部件；以及至少
部分地基于自有图形输出节点的部件、其他图形输出节点的部件以及新图形输出节点的部件在无线设备的显示器上呈现沉浸式三维群组会话。
[0008]一些方面还可以包括接收用于沉浸式三维群组会话的会话描述协议(SDP)，该会话描述协议(SDP)指示将在其上共享场景图的数据信道的地址，其中接收场景图包括经由数据信道下载场景图。
[0009]一些方面还可以包括作为用于沉浸式三维群组会话的会话发起协议(SIP)设置的一部分，向多个参与者计算设备中的其他参与者计算设备发送要发送或接收场景图的提议。
[0010]一些方面还可以包括向多个参与者计算设备中的其他参与者计算设备发送要发送或接收场景图的提议，其中该提议指示自有图形输出节点。
[0011]在一些方面，沉浸式三维群组会话是网络实时通信(WebRTC)会话。
[0012]在一些方面，相对于沉浸式三维群组会话的三维空间控制自有图形输出节点的部件可以包括至少部分地基于所确定的无线设备相对于沉浸式三维群组会话的三维空间的位置来控制自有图形输出节点的部件。
[0013]在一些方面，至少部分地基于所确定的无线设备相对于沉浸式三维群组会话的三维空间的位置来控制自有图形输出节点的部件可以包括至少部分地基于所确定的无线设备相对于沉浸式三维群组会话的三维空间的位置以及所确定的无线设备相对于沉浸式三维群组会话的三维空间的取向来控制自有图形输出节点的部件。
[0014]进一步的方面可以包括一种无线设备，其具有被配置为执行以上所概述方法中任一种的一个或多个操作的处理器。进一步的方面可以包括其上存储有处理器可执行指令的非暂时性处理器可读存储介质，该处理器可执行指令被配置为使无线设备的处理器执行以上所概述方法中任一种的操作。进一步的方面包括具有用于执行以上所概述方法中任一种的功能的组件的无线设备。进一步的方面包括一种用于在无线设备中使用的片上系统，该无线设备包括被配置为执行以上所概述方法中任一种的一个或多个操作的处理器。进一步的方面包括一种系统级封装，其包括用于在无线设备中使用的两个片上系统，该无线设备包括被配置为执行以上所概述方法中任一种的一个或多个操作的处理器。
附图说明
[0015]并入本文中并构成本说明书的一部分的附图示出了权利要求的示例性实施例，并且与上面给出的一般描述和下面给出的详细描述一起用于解释权利要求的特征。
[0016]图1A是示出适用于实现各种实施例的示例性通信系统的系统框图。
[0017]图1B是可以实现各种实施例的头戴式设备(例如，增强现实眼镜)的图示。
[0018]图2是示出适用于实现各种实施例的示例计算和无线调制解调器系统的部件框图。
[0019]图3是示出根据各种实施例的包括用于无线通信中的用户和控制平面的无线电协议栈的软件架构的示例的图。
[0020]图4是示出根据各种实施例的用于在电话会议或远程呈现会话中支持沉浸式体验的方法的过程流程图。
[0021]图5是示出根据各种实施例的用于在电话会议或远程呈现会话中支持沉浸式体验
的方法的过程流程图。
[0022]图6示出了glTF 2.0中的场景图文档的布置。
[0023]图7示出了场景图的结构。
[0024]图8是示出根据各种实施例的用来在电话会议或远程呈现会话中支持沉浸式体验的操作的呼叫流程图。
[0025]图9是示出根据各种实施例的用于提供沉浸式三维群组会话的方法的过程流程图。
[0026]图10是示出根据各种实施例的用于提供沉浸式三维群组会话的方法的过程流程图。
[0027]图11是适用于实现各种实施例的示例服务器的部件框图。
[0028]图12是适用于实现各种实施例的无线设备的部件框图。
具体实施方式
[0029]将参照附图详细描述各种实施例。只要有可能，在整个附图中将使用相同的附图标记来指代相同的或相似的部分。对特定示例和具体实施的引用是出于例示说明目的，并不旨在限制权利要求的范围。
[0030]各种实施例可以实现用于多个参与者计算设本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由作为在沉浸式三维群组会话中操作的多个参与者计算设备之一的无线设备的处理器执行的方法，包括：接收用于沉浸式三维群组会话的场景图，其中所述场景图至少包括被分配为由所述无线设备控制的自有图形输出节点和被分配为由所述多个参与者计算设备中的其他参与者计算设备中的每一个控制的相应其他图形输出节点；相对于所述沉浸式三维群组会话的三维空间控制所述自有图形输出节点的部件；在第一媒体流中向所述多个参与者计算设备中的所述其他参与者计算设备发送所述自有图形输出节点的部件；在来自所述多个参与者计算设备中的所述其他参与者计算设备中的每一个的媒体流中接收所述其他图形输出节点的部件；以及至少部分地基于所述自有图形输出节点的部件和所述其他图形输出节点的部件在所述无线设备的显示器上呈现所述沉浸式三维群组会话。2.根据权利要求1所述的方法，还包括：接收场景图更新，所述场景图更新包括用于所述沉浸式三维群组会话的新参与者计算设备的指示和被分配为由所述新参与者计算设备控制的新图形输出节点的指示；在来自所述新参与者计算设备的第二媒体流中接收所述新图形输出节点的部件；以及至少部分地基于所述自有图形输出节点的部件、所述其他图形输出节点的部件以及所述新图形输出节点的部件，在所述无线设备的所述显示器上呈现所述沉浸式三维群组会话。3.根据权利要求1所述的方法，还包括：接收用于所述沉浸式三维群组会话的会话描述协议(SDP)，所述会话描述协议(SDP)指示将在其上共享所述场景图的数据信道的地址，其中接收所述场景图包括经由所述数据信道下载所述场景图。4.根据权利要求1所述的方法，还包括：向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议，作为用于所述沉浸式三维群组会话的会话发起协议(SIP)设置的一部分。5.根据权利要求1所述的方法，还包括：向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议，其中所述提议指示所述自有图形输出节点。6.根据权利要求1所述的方法，其中所述沉浸式三维群组会话是网络实时通信(WebRTC)会话。7.根据权利要求1所述的方法，其中相对于所述沉浸式三维群组会话的所述三维空间控制所述自有图形输出节点的部件包括：至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置来控制所述自有图形输出节点的部件。8.根据权利要求7所述的方法，其中至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置来控制所述自有图形输出节点的部件包括：至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置以及所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的取向，来控制所述自有图形输出节点的部件。
9.一种无线设备，包括：显示器；以及处理器，其耦合到所述显示器，所述处理器配置有用来执行以下操作的处理器可执行指令：接收用于沉浸式三维群组会话的场景图，其中所述场景图至少包括被分配为由所述无线设备控制的自有图形输出节点和被分配为由所述多个参与者计算设备中的每一个控制的相应其他图形输出节点；相对于所述沉浸式三维群组会话的三维空间控制所述自有图形输出节点的部件；在第一媒体流中向所述多个参与者计算设备中的其他参与者计算设备发送所述自有图形输出节点的部件；在来自所述多个参与者计算设备中的所述其他参与者计算设备中的每一个的媒体流中接收所述其他图形输出节点的部件；以及至少部分地基于所述自有图形输出节点的部件和所述其他图形输出节点的部件在所述无线设备的所述显示器上呈现所述沉浸式三维群组会话。10.根据权利要求9所述的无线设备，其中所述处理器还配置有用来执行以下操作的处理器可执行指令：接收场景图更新，所述场景图更新包括用于所述沉浸式三维群组会话的新参与者计算设备的指示和被分配为由所述新参与者计算设备控制的新图形输出节点的指示；在来自所述新参与者计算设备的第二媒体流中接收所述新图形输出节点的部件；以及至少部分地基于所述自有图形输出节点的部件、所述其他图形输出节点的部件以及所述新图形输出节点的部件，在所述无线设备的所述显示器上呈现所述沉浸式三维群组会话。11.根据权利要求9所述的无线设备，其中所述处理器还配置有用来执行以下操作的处理器可执行指令：接收用于所述沉浸式三维群组会话的会话描述协议(SDP)，所述会话描述协议(SDP)指示将在其上共享所述场景图的数据信道的地址，以及其中所述处理器还配置有用来通过经由所述数据信道下载所述场景图来接收所述场景图的处理器可执行指令。12.根据权利要求9所述的无线设备，其中所述处理器还配置有用来执行以下操作的处理器可执行指令：向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议，作为用于所述沉浸式三维群组会话的会话发起协议(SIP)设置的一部分。13.根据权利要求9所述的无线设备，其中所述处理器还配置有用来执行以下操作的处理器可执行指令：向所述多个参与者计算设备中的所述其他参与者计算设备发送要发送或要接收所述场景图的提议，其中所述提议指示所述自有图形输出节点。14.根据权利要求9所述的无线设备，其中所述沉浸式三维群组会话是网络实时通信(WebRTC)会话。15.根据权利要求9所述的无线设备，其中所述处理器还配置有用来执行以下操作的处
理器可执行指令：通过至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置来控制所述自有图形输出节点的部件，来相对于所述沉浸式三维群组会话的所述三维空间控制所述自有图形输出节点的部件。16.根据权利要求15所述的无线设备，其中所述处理器还配置有用来执行以下操作的处理器可执行指令：通过至少部分地基于所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的位置以及所确定的所述无线设备相对于所述沉浸式三维群组会话的所述三维空间的取向来控制所述自有图形输出节点的部件，...

【专利技术属性】
技术研发人员：I布阿齐兹，NK梁，T斯托克哈默，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：