公开了用于实现促进共享增强现实(AR)背景环境的视频通话的系统、方法、客户端设备和非暂态计算机可读介质。特别地，所公开的系统可以在多个客户端设备之间建立视频通话。另外，所公开的系统可以使客户端设备能够将经由客户端设备上的视频采集的一个或多个参与者从所采集的背景中分割出来。此外，所公开的系统可以使客户端设备能够渲染AR背景环境来代替分割的背景，以将一个或多个参与者的采集的视频放置在共享AR背景空间内，以创建视频通话的多个参与者出现在同一位置(或设置)的感知。此外，所公开的系统可以使客户端设备能够将AR环境渲染为共享360AR环境，该共享360AR环境在参与视频通话的多个客户端设备上呈现同步的360AR空间和/或AR效果。360AR空间和/或AR效果。360AR空间和/或AR效果。
【技术实现步骤摘要】
在视频通话中提供共享增强现实环境
[0001]相关申请的交叉引用
[0002]本申请要求要求于2022年8月9日提交的、名称为“在视频通话中提供共享增强现实环境”的第17/818,596号美国非临时申请的权益和优先权、以及于2022年3月15日提交的、名称为“为视频通话提供360度增强现实环境”的第63/269,400号美国临时申请的权益和优先权，这两个申请的内容通过引用全部结合于此。
[0003]本公开总体上涉及视频通话系统。
技术介绍
[0004]视频通话系统允许用户经由计算设备(例如，智能手机、笔记本电脑、平板电脑、台式计算机)通过使用音频和视频输入(例如，内置数字摄像头、数字网络摄像头)进行电子通信。实际上，近年来通过视频通话和视频会议的电子通信有所增加，视频通话和视频会议使多个用户能够经由计算设备进行通信，以彼此共享用户的视频和音频这两者。然而，传统视频通话系统通常局限于非交互式视频通话，所述非交互式视频通话简单且严格地使用户设备能在用户设备之间呈现和观看所采集的视频。
技术实现思路
[0005]本公开的实施例使用如下的系统、非暂态计算机可读介质和方法，来提供多种优点和/或解决本领域中的前述或其他问题中一个或多个问题：所述系统、非暂态计算机可读介质和方法实现了有利于共享360增强现实(augmented reality，AR)背景环境的视频通话。特别地，在一个或多个实施例中，所公开的系统可以在多个客户端设备之间建立视频通话。另外，所公开的系统可以使客户端设备能够将经由客户端设备上的视频所采集的一个或多个参与者从所采集的背景中分割出来。此外，所公开的系统可以使客户端设备能够渲染AR背景环境(例如，球状360度AR背景环境)来替换所分割出的背景，以将该一个或多个参与者的所采集视频置于共享背景环境(或空间)内，从而创建如下的感知：视频通话的参与者出现在同一位置(或具有同一设置)。此外，所公开的系统可以使客户端设备能够将AR环境渲染为共享AR环境，该共享AR环境在参与视频通话的多个客户端设备上渲染(例如，利用AR数据信道渲染)同步的AR空间和/或AR效果。
[0006]另外，所公开的系统可以使客户端设备能够跟踪参与者的移动和/或客户端设备的移动，并且基于所跟踪的移动来更新对AR背景环境的渲染。例如，所公开的系统可以使客户端设备能够渲染多视点AR背景环境，以在客户端设备检测到客户端设备和/或参与者的移动时，显示AR背景环境的不同视点(或不同部分)，从而模拟从360度视角可视的AR背景环境。
[0007]此外，所公开的系统可以利用专用的增强现实数据信道来实现共享增强现实视频通话，这有利于在视频通话期间共享增强现实元素并与增强现实元素交互。例如，所公开的
系统可以在多个客户端设备之间建立视频通话，该视频通话包括视频(和音频)数据信道和AR数据信道。此外，在一个或多个实施例中，所公开的系统使该多个客户端设备中的一个客户端设备能够经由AR数据信道发送AR数据(例如，AR元素标识符、AR元素信息、逻辑数据对象、对象向量、参与者标识符)，以使另一客户端设备在该另一客户端设备所采集的视频上渲染AR元素。例如，所公开的系统还可以使用AR数据信道在参与视频通话的多个客户端设备之间实现共享AR背景环境。
[0008]在随后的描述中概述了本公开一个或多个实施例的附加特征和优势，这些附加特征和优势将部分地从该描述中显而易见，或者可以通过对这些示例实施例进行实践而获知。
附图说明
[0009]参考附图对具体实施方式进行描述，在附图中：
[0010]图1示出了根据一个或多个实施方式的示例环境，共享AR视频通话系统可在该示例环境中运行。
[0011]图2示出了根据一个或多个实施方式的共享AR视频通话系统在多个参与者设备之间建立并促进具有共享AR背景环境的共享AR视频通话的示例。
[0012]图3示出了根据一个或多个实施方式的共享AR视频通话系统促进具有共享AR背景环境的共享AR视频通话的流程图。
[0013]图4示出了根据一个或多个实施方式的共享AR视频通话系统利用分割模型从用于共享AR背景环境的视频生成分割出的用户部分。
[0014]图5A和图5B示出了根据一个或多个实施方式的共享AR视频通话系统在客户端设备中实现对共享AR背景环境的初始化。
[0015]图6示出了根据一个或多个实施方式的共享AR视频通话系统使客户端设备能够显示所发起的共享AR背景环境的通知。
[0016]图7示出了根据一个或多个实施方式的共享AR视频通话系统实现对共享AR背景环境的基于移动的改变。
[0017]图8示出了根据一个或多个实施方式的共享AR视频通话系统实现发起具有持久共享AR背景环境的视频通话。
[0018]图9示出了根据一个或多个实施方式的共享AR视频通话系统使客户端设备能够修改用于实现视频流的视频界面布局。
[0019]图10示出了根据一个或多个实施方式的共享AR视频通话系统使客户端设备能够修改用于实现菜单界面的视频界面布局。
[0020]图11示出了根据一个或多个实施方式的共享AR视频通话系统使客户端设备能够在共享AR背景环境视频通话中对AR化身进行分层。
[0021]图12示出了根据一个或多个实施方式的共享AR视频通话系统将视频通话参与者的所采集视频定位在共享AR空间内。
[0022]图13示出了根据一个或多个实施方式的共享AR视频通话系统使客户端设备能够利用用户交互而在共享AR空间内导航用户。
[0023]图14示出了根据一个或多个实施方式的共享AR视频通话系统使客户端设备能够
在共享AR空间内渲染视频通话参与者。
[0024]图15A和图15B示出了根据一个或多个实施方式的共享AR视频通话系统使客户端设备能够显示用于访问扩展现实环境的可选选项。
[0025]图16A至图16C示出了根据一个或多个实施方式的共享AR视频通话系统使客户端设备能够渲染扩展现实环境，作为AR空间。
[0026]图17示出了根据一个或多个实施方式的共享AR视频通话系统接收用户交互以修改共享AR背景环境。
[0027]图18是根据一个或多个实施方式的用于实现视频通话的一系列动作的流程图，所述视频通话促进了共享增强现实(AR)背景环境。
[0028]图19示出了根据一个或多个实施方式的示例计算设备的框图。
[0029]图20示出了根据一个或多个实施方式的网络系统的示例环境。
[0030]图21示出了根据一个或多个实施方式的示例社交图谱。
具体实施方式
[0031]本公开描述了共享增强现实(AR)视频通话系统的一个或多个实施例，该共享AR视频通话系统建立了促进共享增强现实(AR)背景环境(例如，360度视角共享AR背景环境)的视频通话，以创建如下感知：视频通话的参与者出现在同一位置(或具有同一设置)。例如，共享AR视频通话系统可以使客户端设备能够将经本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种计算机实现的方法，包括：由客户端设备通过经由视频数据信道接收来自参与者设备的视频数据，来与所述参与者设备进行视频通话，所述视频数据信道是针对所述视频通话而建立的；在数字视频通话界面内，在三维3D共享增强现实AR空间的第一部分内渲染由所述客户端设备采集的第一视频；以及通过渲染经由所述视频数据信道接收到的视频数据，在所述数字视频通话界面内显示来自所述参与者设备的第二视频，所述第二视频描绘了所述3D共享AR空间的第二部分。2.根据权利要求1所述的计算机实现的方法，还包括：经由AR数据信道接收来自所述参与者设备的与所述3D共享AR空间相对应的AR数据，以在所述3D共享AR空间的所述第一部分内渲染所述第一视频。3.根据权利要求1所述的计算机实现的方法，其中，在所述3D共享AR空间的所述第一部分内渲染所述第一视频包括：生成所述3D共享AR空间的AR背景纹理；以及使用所述AR背景纹理的与所述3D共享AR空间的所述第一部分相对应的部分，来替换所述第一视频的背景。4.根据权利要求1所述的计算机实现的方法，还包括：从所述第一视频的背景中分割出所述第一视频内所描绘的用户，以生成分割出的用户部分；以及将所述第一视频的所述分割出的用户部分插入到所述3D共享AR空间的所述第一部分中。5.根据权利要求1所述的计算机实现的方法，还包括：经由AR数据信道向所述参与者设备发送与所述3D共享AR空间相对应的AR数据，以使得所述参与者设备在所述3D共享AR空间的所述第二部分内渲染第二视频。6.根据权利要求1所述的计算机实现的方法，还包括：由所述客户端设备在视频通话期间，检测用户移动；以及在所述数字视频通话界面内，基于所检测到的用户移动，在所述3D共享AR空间的第三部分内渲染由所述客户端设备采集的所述第一视频。7.根据权利要求6所述的计算机实现的方法，其中，所述用户移动包括：检测到的在所述第一视频内描绘的参与者的移动、或所述客户端设备的客户端设备移动。8.根据权利要求1所述的计算机实现的方法，还包括：由所述客户端设备接收与所述3D共享AR空间的用户交互；基于所述用户交互，通过将AR元素添加到所述3D共享AR空间或修改所述3D共享AR空间内的现有AR元素，来修改与所述第一视频相对应的所述3D共享AR空间；以及经由AR数据信道向所述参与者设备发送与所述用户交互相对应的AR数据，以使得所述参与者设备修改与所述第二视频相对应的所述3D共享AR空间。9.根据权利要求8所述的计算机实现的方法，其中，对与所述第一视频相对应所述3D共享AR空间、以及与所述第二视频相对应的所述3D共享AR空间的修改被定位在，所述3D共享AR空间的匹配部分处。10.根据权利要求8所述的计算机实现的方法，还包括：保存对所述3D共享AR空间的修
改，以用于所述客户端设备和所述参与者设备之间的后续视频通话。11.一种非暂态计算机可读介质，所述非暂态计算机可读介质存储有多个指令，所述多个指令在被至少一个处理器执行时，使所述至少一个处理器：通过客户端设备通过经由视频数据信道接收来自参与者设备的视频数据，来与所述参与者设备进行视频通话，所述视频数据信道是针对所述视频通话而建立的；在数字视频通话界面内，在三维3D共享增强现实AR空间的第一部分内渲染由所述客户端设备采集的第一视频；以及通过渲染经由所述视频数据信道接收到的视频数据，在所述数字视频通话界面内显示来自所述参与者设备的第二视频，所述第二视频...
【专利技术属性】
技术研发人员：埃米特，
申请(专利权)人：元平台公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。