用于远程终端的沉浸式远程会议和远程呈现的交互式叠加处理制造技术

提供了用于处理视频流的方法、非暂态计算机可读介质和计算机系统。该方法可以包括：接收360

【技术实现步骤摘要】
【国外来华专利技术】用于远程终端的沉浸式远程会议和远程呈现的交互式叠加处理
优先权信息
[0001]本申请要求2020年8月11日提交的美国临时专利申请第63/064,252号以及2020年11月15日提交的美国专利申请第17/098,388号的优先权，上述两件专利申请的全部内容并入本文中。


[0002]本公开内容一般涉及数据处理领域，更具体地涉及叠加处理，诸如用于远程终端的沉浸式远程会议和远程呈现(Immersive Teleconferencing and Telepresence for Remote Terminal，ITT4RT)的交互式多重叠加处理。例如，全向视频和图像的多重交互式叠加的信令例如在演示/屏幕共享流或二维(2D)视频时作为叠加对象显示在被显示的360
°
视频流之上。

技术介绍

[0003]叠加对象是在全向视频、图像项或视口上渲染的一段视觉媒体。
[0004]当使用全向媒体流时，仅渲染与用户的视口对应的内容部分，同时使用例如带给用户媒体流的真实视图的头戴式显示器(HMD)装置。

技术实现思路

[0005]实施方式涉及用于流式传输(stream)视频数据的方法、系统和非暂态计算机可读介质。根据一个方面，可以提供用于流式传输视频数据的方法。该方法可以包括：由用户终端从电子装置或服务器接收360
°
视频流，其中，360
°
视频流包括多重叠加参数，多重叠加参数指示用户终端是否允许将360
°
视频流与两个或更多个叠加对象进行叠加；由用户终端显示360
°
视频流；当多重叠加参数是第一值时，由用户终端确定用户终端允许将360
°
视频流与两个或更多个叠加对象进行叠加，并且由用户终端显示具有两个或更多个叠加对象的360
°
视频流；以及当多重叠加参数是第二值时，由用户终端确定用户终端不允许将360
°
视频流与两个或更多个叠加对象进行叠加，并且由用户终端显示具有零叠加对象或一个叠加对象的360
°
视频流。
[0006]第一值可以不同于第二值，并且一个或多个叠加对象可以包括以下项中的一项或更多项：另一视频流或图像。
[0007]360
°
视频流可以包括交叠叠加参数，该交叠叠加参数指示是否允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠。
[0008]该方法还可以包括：当交叠叠加参数指示允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠时，由用户终端显示具有所述两个或更多个叠加对象的所述360
°
视频流，其中所述两个或更多个叠加对象中的所述一个叠加对象上交叠有所述第一叠加对象。
[0009]360
°
视频流可以包括允许使用两个或更多个叠加对象的基于内容的属性。
[0010]360
°
视频流可以包括当用户被允许与其他发送者共享发送者的流信息时进行发信号通知的标志。
[0011]该方法还可以包括：由用户终端从电子装置或服务器接收请求，其中，该请求是对远程会议中的一个或更多个用户共享媒体流属性的请求；以及由用户终端向电子装置或服务器发送关于用户终端授权共享的媒体流属性的信息。
[0012]关于用户愿意共享的媒体流属性的信息包括与发送者ID对应的标识符(ID)。
[0013]该方法还可以包括：由电子装置或服务器通过将至少一个发送者ID与至少一个叠加ID进行组合来分配唯一的叠加ID。
[0014]该方法还可以包括：在初始提议
‑
应答协商期间或在会话期间协商多重叠加参数。
[0015]可以在360
°
视频流的会话描述协议(SDP)中提议多重叠加参数。
[0016]该方法还可以包括：在初始提议
‑
应答协商期间或在会话期间协商交叠叠加参数。
[0017]可以在360
°
视频流的会话描述协议(SDP)中提议交叠叠加参数。
[0018]该方法还可以包括：在初始提议
‑
应答协商期间或在会话期间协商基于内容的属性。
[0019]在360
°
视频流的会话描述协议(SDP)中提议基于内容的属性。
[0020]该方法还可以包括：由用户终端向电子装置或服务器传送另一用户是否被授权与其他电子装置共享由该用户终端共享的流信息。
[0021]该方法还可以包括：由用户终端向电子装置或服务器传送另一用户是否被授权与其他电子装置共享由该用户终端共享的流信息。
[0022]该方法还可以包括：由电子装置或服务器与其他电子装置共享除了由电子装置或服务器产生的任何一个或多个叠加对象之外的至少一个另外的叠加对象，其中，至少一个另外的叠加对象仅包括其中相应的叠加视频的发送者授权共享所述叠加对象的叠加对象。
[0023]根据实施方式，可以提供用于视频会议的计算机系统，该计算机系统可以包括：通信接口；显示器；被配置成存储计算机程序代码的一个或更多个计算机可读非暂态存储介质；以及一个或更多个计算机处理器，所述一个或更多个计算机处理器被配置成访问计算机程序代码并按照计算机程序代码所指示的进行操作。
[0024]计算机程序代码可以包括：接收代码，接收代码被配置成使一个或更多个计算机处理器经由通信接口接收360
°
视频流，其中，360
°
视频流包括多重叠加参数，该多重叠加参数指示是否允许终端将360
°
视频流与两个或更多个叠加对象进行叠加；显示代码，显示代码被配置成使一个或更多个计算机处理器控制显示器以显示接收到的360
°
视频流；多重叠加授权代码，多重叠加授权代码被配置成使一个或更多个计算机处理器执行以下操作：当多重叠加参数是第一值时，确定用户终端允许将360
°
视频流与两个或更多个叠加对象进行叠加，并且控制显示器以显示具有两个或更多个叠加对象的360
°
视频流；以及多重叠加未授权代码，多重叠加未授权代码被配置成使一个或更多个计算机处理器执行以下操作：当多重叠加参数是第二值时，确定用户终端不允许将360
°
视频流与两个或更多个叠加对象进行叠加，并且控制显示器以显示具有零叠加对象或一个叠加对象的360
°
视频流。
[0025]第一值可以不同于第二值，并且一个或多个叠加对象可以包括以下项中的一项或更多项：另一视频流或图像。
[0026]360
°
视频流可以包括交叠叠加参数，该交叠叠加参数指示是否允许将两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠，并且计算机程序代码还可以包括：交叠叠加授权代码，该交叠叠加授权代码被配置成使一个或更多个处理器执行以下操作：当交叠叠加参数指示允许将两个或更多个叠加对象中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由用户终端从电子装置或服务器接收360
°
视频流，其中，所述360
°
视频流包括多重叠加参数，所述多重叠加参数指示所述用户终端是否允许将所述360
°
视频流与两个或更多个叠加对象进行叠加；由所述用户终端显示所述360
°
视频流；当所述多重叠加参数是第一值时，由所述用户终端确定所述用户终端允许将所述360
°
视频流与两个或更多个叠加对象进行叠加，并且由所述用户终端显示具有所述两个或更多个叠加对象的所述360
°
视频流；以及当所述多重叠加参数是第二值时，由所述用户终端确定所述用户终端不允许将所述360
°
视频流与两个或更多个叠加对象进行叠加，并且由所述用户终端显示具有零叠加对象或一个叠加对象的所述360
°
视频流，其中，所述第一值不同于所述第二值，并且其中，所述一个叠加对象或多个叠加对象包括以下项中的一项或更多项：另一视频流或图像。2.根据权利要求1所述的方法，其中所述360
°
视频流包括交叠叠加参数，所述交叠叠加参数指示是否允许将所述两个或更多个叠加对象中的一个叠加对象与第一叠加对象进行交叠，并且所述方法还包括：当所述交叠叠加参数指示允许将所述两个或更多个叠加对象中的一个叠加对象与所述第一叠加对象进行交叠时，由所述用户终端显示具有所述两个或更多个叠加对象的所述360
°
视频流，其中所述两个或更多个叠加对象中的所述一个叠加对象上交叠有所述第一叠加对象。3.根据权利要求1所述的方法，其中，所述360
°
视频流包括基于内容的属性，所述基于内容的属性允许使用所述两个或更多个叠加对象。4.根据权利要求1所述的方法，其中，所述360
°
视频流包括当所述用户被允许与其他发送者共享发送者的流信息时进行发信号通知的标志。5.根据权利要求1所述的方法，还包括：由所述用户终端从所述电子装置或所述服务器接收请求，其中，所述请求是用于远程会议中的一个或更多个用户共享媒体流属性的请求；以及由所述用户终端向所述电子装置或所述服务器发送关于所述用户终端授权共享的媒体流属性的信息。6.根据权利要求5所述的方法，其中，关于所述用户愿意共享的媒体流属性的信息包括与发送者ID对应的标识符(ID)。7.根据权利要求6所述的方法，还包括：由所述电子装置或所述服务器通过将至少一个发送者ID与至少一个叠加ID进行组合来分配唯一的叠加ID。8.根据权利要求1所述的方法，还包括：在初始提议
‑
应答协商期间或在会话期间协商所述多重叠加参数。9.根据权利要求1所述的方法，其中，在所述360
°
视频流的会话描述协议(SDP)中提议
所述多重叠加参数。10.根据权利要求2所述的方法，还包括：在初始提议
‑
应答协商期间或在会话期间协商所述交叠叠加参数。11.根据权利要求2所述的方法，其中，在所述360
°
视频流的会话描述协议(SDP)中提议所述交叠叠加参数。12.根据权利要求3所述的方法，还包括：在初始提议
‑
应答协商期间或在会话期间协商所述基于内容的属性。13.根据权利要求3所述的方法，其中，在所述360
°
视频流的会话描述协议(SDP)中提议所述基于内容的属性。14.根据权利要求4所述的方法，还包括：由所述用户终端向所述电子装置或所述服务器传送另一用户是否被授权与其他电子装置共享由所述用户终端共享的流信息。15.根据权利要求5所述的方法，还包括：由所述用户终端向所述电子装置或所述服务器传送另一用户是否被授权与其他电子装置共享由所述用户终端共享的流信息。16.根据权利要求14所述的方法，还包括：由所述电子装置或所述服务器与所述其他电子装置共享除了由所述电子装置或所述服务器产生的任何一个或多个叠加对象之外的至少一个另外的叠加对象，其中，所述至少一个另外的叠加对象仅包括其中相应的叠加视频的发送者授权共享所述叠加对象的叠加对象。17.一种用于视频会议的用户终端，所述计算机系统包括：通信接...

【专利技术属性】
技术研发人员：罗伊特阿比什克，伊拉吉索达加，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：