一种用于从虚拟环境内虚拟广播的系统，包含：服务器计算机系统，服务器计算机系统包含一个或多个服务器计算机，每一服务器计算机包含至少一个处理器和存储器，服务器计算机系统包括：数据和指令，其实现被配置成管理客户端设备之间的数据交换的数据交换管理模块；以及至少一个虚拟环境，其包含虚拟广播相机，虚拟广播相机定位于至少一个虚拟环境内并且被配置成从至少一个虚拟环境内捕获虚拟多媒体流源的多媒体流，其中服务器计算机系统被配置成从至少一个客户端设备接收由至少一个相机捕获的实况馈送数据，并且基于数据交换管理向至少一个客户端设备广播多媒体流，其中广播的多媒体流被配置成显示给从来自至少一个客户端设备的用户实况数据馈送产生的对应用户图形表示，并且其中由数据交换管理模块进行的客户端设备之间的数据交换管理包含分析传入的多媒体流，以及基于对传入的媒体流的分析来评估转发的出站多媒体流。本文还公开了一种用于从虚拟环境内虚拟广播的方法。虚拟环境内虚拟广播的方法。虚拟环境内虚拟广播的方法。
【技术实现步骤摘要】
一种用于从虚拟环境内虚拟广播的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求2020年8月28日提交的美国专利申请号17/006,327、以及2020年10月1日提交的专利申请号17/060,516的优先权，上述申请通过引用的方式结合到本文中。
技术介绍
[0003]由于诸如2020年新型冠状病毒大流行这样的情况迫使全球范围内的人员流动受到限制，改变了会议、学习、购物和工作的方式，远程协作和交互，尤其包括社交交互，变得越来越重要。市场上已经有各种各样的解决方案来实现实时通信和协作，从聊天应用程序到视频电话，诸如SkypeTM和ZoomTM，或者由2D化身代表的远程团队的虚拟办公室，诸如PragliTM提供的虚拟办公室。
[0004]考虑到诸如扩展现实(例如，增强和/或虚拟现实)等可穿戴沉浸式技术的当前发展状态以及相对较低的技术占用率，可以理解的是，大多数解决方案提供了一个平坦的二维用户界面，在该界面上发生了大多数交互。然而，当将现实生活体验与这些解决方案进行比较时，真实水平低、缺乏用户存在感、缺乏共享空间以及交互质量会导致许多用户感到孤独或无聊，这反过来有时会导致比亲自执行相同活动时更低的生产率。
[0005]所需要的是一种技术解决方案，当远程交互时不需要购买昂贵的装备(例如，在头戴式显示器中)以及实现新的或昂贵的基础设施，该技术解决方案为用户提供真实感、他们自己和参与者的存在感以及如同在真实生活中一样的交互感觉，所有这些都同时使用现有的计算设备和相机。
技术实现思路
[0006]提供此
技术实现思路
是为了以简化的形式介绍将在以下具体实施方式中进一步描述的概念的选择。此
技术实现思路
并不意图识别所要求保护的主题的关键特征，也不意图用于帮助确定所要求保护的主题的范围。
[0007]本公开大体上涉及计算机系统，且更特定地涉及一种实现虚拟环境中的交互、特别是社交交互的系统和方法；一种基于图像处理的虚拟存在系统和方法；一种基于用户图形表示的用户认证系统和方法；一种用于从虚拟环境内虚拟广播的系统和方法；一种用于在虚拟环境内递送应用的系统和方法；一种用以在虚拟环境云服务器计算机内提供基于云计算的虚拟计算资源的系统和方法；以及一种能够在接近的用户图形表示之间实现自组织虚拟通信的系统和方法。
[0008]本公开的在虚拟环境中实现特别包括社交交互的交互的系统包含一个或多个云服务器计算机，该云服务器计算机包含至少一个处理器和存储实现包含至少一个虚拟环境的虚拟环境平台的数据和指令的存储器。一个或多个云服务器计算机被配置成在至少一个虚拟环境的三维坐标位置处插入从由相机获得的实况数据馈送产生的用户图形表示，更新至少一个虚拟环境中的用户图形表示，并且实现虚拟环境中的实时多用户协作和交互。
[0009]在实施例中，系统还包含至少一个从客户端设备的一个或多个用户获得实况数据
馈送的相机。此外，系统包含通信地连接到一个或多个云服务器计算机和至少一个相机的客户端设备。该系统从实况数据馈送产生用户图形表示，该用户图形表示被插入到虚拟环境的三维坐标中，并在其中使用实况数据馈送进行更新。在所描述的实施例中，将用户图形表示插入虚拟环境中涉及在虚拟环境中图形组合用户图形表示，使得用户图形表示出现在虚拟环境中(例如，在指定的3D坐标位置)。虚拟环境平台向一个或多个客户端设备服务虚拟环境。该系统通过经由客户端设备访问图形用户界面来实现虚拟环境中的实时多用户协作和(社交)交互。本公开的客户端或对等设备可以包含，例如，计算机、耳机、移动电话、眼镜、透明屏幕、平板型计算机以及通常内置有相机的输入设备，或者可以连接到相机并从所述相机接收数据馈送的输入设备。
[0010]在一些实施例中，虚拟环境可由客户端设备经由可下载的客户端应用或网络浏览器应用来访问。
[0011]在一些实施例中，用户图形表示包含移除了背景的用户3D虚拟剪切(cutout)、或移除了背景的用户实时3D虚拟剪切、或移除了背景的视频、或没有移除背景的视频。在一些实施例中，用户图形表示是移除了背景的从用户上传的或第三方源照片构建的用户3D虚拟剪切、或基于从相机获得的实时2D、立体、深度数据或3D实况视频流数据馈送产生的移除了背景的用户实时3D虚拟剪切，因此包含用户的实时视频流、或没有移除背景的视频、或移除了背景并利用多边形结构显示的视频。此类多边形结构可以是四边形结构或更复杂的3D结构，用作支持视频的虚拟帧。在其他实施例中，一个或多个此类用户图形表示被插入到虚拟环境内的三维坐标中，并且在其中被图形组合。
[0012]用户3D虚拟剪切可以包括从用户上传的或第三方源的2D照片构建的用户的虚拟副本。在实施例中，使用用户上传的或第三方源的2D照片作为输入数据，通过机器视觉技术经由3D虚拟重建过程来创建用户3D虚拟剪切，从而产生移除了背景的用户的3D网格或3D点云。用户实时3D虚拟剪切可以包括基于从相机获得的实时2D或3D实况视频流数据馈送并且在移除用户背景之后的用户的虚拟副本。在实施例中，用户实时3D虚拟剪切是通过产生移除了背景的用户的3D网格或3D点云、使用用户实况数据馈送作为输入数据、通过机器视觉技术经由3D虚拟重建过程来创建的。移除了背景的视频可以包括流式传输到客户端设备的视频，其中已经对视频执行了背景移除过程，使得只有用户可以是可见的，并且然后利用接收客户端设备上的多边形结构来显示。没有移除背景的视频可以包括流式传输到客户端设备的视频，其中视频忠实地表示相机捕获，使得用户和他或她的背景可见，并且然后利用接收客户端设备上的多边形结构来显示。
[0013]在一些实施例中，用作包含在实况数据馈送和/或用户上传或第三方源2D照片中的输入数据的数据包含2D或3D图像数据、3D几何形状、视频数据、媒体数据、音频数据、文本数据、触觉数据、时间数据、3D实体、3D动态对象、文本数据、时间数据、元数据、优先级数据、安全数据、位置数据、照明数据、深度数据和红外数据等。
[0014]在一些实施例中，用户图形表示与俯视视角、或第三人称视角、或第一人称视角、或自我视角相关联。在实施例中，用户在通过用户图形表示访问虚拟环境时的视角是俯视视角、或第三人称视角、或第一人称视角、或自我视角、或广播相机视角。自我视角可以包括由另一用户图形表示看到的用户图形表示，以及任选地，用户图形表示的虚拟背景。
[0015]在其他实施例中，当用户经由图形用户界面手动导航虚拟环境时，视角被更新。
[0016]在其他实施例中，通过使用虚拟相机来自动建立和更新视角，其中实况数据馈送的视角与用户图形表示的视角和虚拟相机相关联，并且其中通过跟踪和分析用户眼睛和头部倾斜数据或头部旋转数据或其组合来自动更新虚拟相机。在实施例中，通过使用一个或多个虚拟相机来自动建立和更新视角，该等一个或多个虚拟相机被虚拟地放置并对齐在用户图形表示的前方，例如，在没有移除背景的视频、或移除了背景的视频、或用户3D虚拟剪切、或用户实时3D虚拟剪切的前方。在一个实施例中，一个或多个虚拟相机可以从眼睛水平向外指向。在本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于从虚拟环境内虚拟广播的系统，其特征在于，包含：服务器计算机系统，所述服务器计算机系统包含一个或多个服务器计算机，每一服务器计算机包含至少一个处理器和存储器，所述服务器计算机系统包括：数据和指令，其实现被配置成管理客户端设备之间的数据交换的数据交换管理模块；以及至少一个虚拟环境，其包含虚拟广播相机，所述虚拟广播相机定位于所述至少一个虚拟环境内并且被配置成从所述至少一个虚拟环境内捕获虚拟多媒体流源的多媒体流，其中所述服务器计算机系统被配置成从至少一个客户端设备接收由至少一个相机捕获的实况馈送数据，并且基于数据交换管理向所述至少一个客户端设备广播所述多媒体流，其中广播的多媒体流被配置成显示给从来自至少一个客户端设备的用户实况数据馈送产生的对应用户图形表示，并且其中由所述数据交换管理模块进行的客户端设备之间的所述数据交换管理包含分析传入的多媒体流，以及基于对所述传入的媒体流的所述分析来评估转发的出站多媒体流。2.根据权利要求1所述的系统，其特征在于，其中所述服务器计算机系统利用路由拓扑，所述路由拓扑包含选择性转发单元(SFU)、使用中继NAT穿透(TURN)或空间分析媒体服务器(SAMS)。3.根据权利要求1所述的系统，其特征在于，其中所述服务器计算机系统使用媒体处理拓扑来处理所述出站多媒体流，以供所述至少一个虚拟环境内的所述用户图形表示通过所述客户端设备查看。4.根据权利要求1所述的系统，其特征在于，其中所述服务器计算机系统使用包含一个或多个多点控制单元(MCU)、云媒体混合器和云3D渲染器的转发服务器拓扑。5.根据权利要求1所述的系统，其特征在于，其中所述传入多媒体流包含用户优先级数据和距离关系数据，并且其中所述用户优先级数据包含对较靠近传入多媒体流源的用户图形表示的较高优先级分数以及对较远离所述传入多媒体流源的用户图形表示的较低优先级分数。6.根据权利要求5所述的系统，其特征在于，其中所述出站多媒体流的所述转发是基于所述用户优先级数据和所述距离关系数据。7.根据权利要求1所述的系统，其特征在于，其中所述出站多媒体流的所述转发包含修改、放大或缩小针对时间、空间、质量或颜色特征的所述多媒体流。8.根据权利要求1所述的系统，其特征在于，其中通过访问所述虚拟环境的客户端设备对所述虚拟广播相机进行管理。9.根据权利要求1所述的系统，其特征在于，其中所述至少一个虚拟环境包含多个虚拟广播相机，每一虚拟广播相机从所述至少一个虚拟环境内的对应视点提供多媒体流。10.根据权利要求1所述的系统，其特征在于，其中所述至少一个虚拟环境由经由网络连接到至少一个媒体服务器计算机的至少一个专用服务器计算机托管，或者托管在对等基础设施中，并且通过至少一个媒体服务器计算机中继。11.一种用于从虚拟...
【专利技术属性】
技术研发人员：杰瓦特，
申请(专利权)人：明日基金知识产权有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。