一种用于在虚拟环境内递送应用的系统，包含：至少一个云服务器计算机，至少一个云服务器计算机包含至少一个处理器和实现至少一个虚拟环境的数据和指令的存储器，虚拟环境链接到包括一个或多个已安装应用和用于多用户交互的对应应用规则的应用模块；其中，响应于虚拟环境主机通过客户端设备的选择，在虚拟环境的会话期间显示和激活一个或多个已安装应用，使得虚拟环境主机的用户图形表示和虚拟环境内的任何参与者用户图形表示能够通过对应的客户端设备与一个或多个已安装应用交互，以及其中至少一个云服务器计算机被配置成根据应用模块中的用于多用户交互的应用规则来管理和处理接收到的与一个或多个已安装应用的用户交互，并且将处理的交互转发给客户端设备，以根据多用户交互应用规则来建立实现共享体验的多用户会话。本文还公开了一种用于在虚拟环境内递送应用的方法。环境内递送应用的方法。环境内递送应用的方法。
【技术实现步骤摘要】
用于在虚拟环境中递送应用程序的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求2020年8月28日提交的美国专利申请号17/006,327、以及2020年10月1日提交的专利申请号17/060,555的优先权，上述申请通过引用的方式结合到本文中。
技术介绍
[0003]由于诸如2020年新型冠状病毒大流行这样的情况迫使全球范围内的人员流动受到限制，改变了会议、学习、购物和工作的方式，远程协作和交互，尤其包括社交交互，变得越来越重要。市场上已经有各种各样的解决方案来实现实时通信和协作，从聊天应用程序到视频电话，诸如Skype
TM
和Zoom
TM
，或者由2D化身代表的远程团队的虚拟办公室，诸如Pragli
TM
提供的虚拟办公室。
[0004]考虑到诸如扩展现实(例如，增强和/或虚拟现实)等可穿戴沉浸式技术的当前发展状态以及相对较低的技术占用率，可以理解的是，大多数解决方案提供了一个平坦的二维用户界面，在该界面上发生了大多数交互。然而，当将现实生活体验与这些解决方案进行比较时，真实水平低、缺乏用户存在感、缺乏共享空间以及交互质量会导致许多用户感到孤独或无聊，这反过来有时会导致比亲自执行相同活动时更低的生产率。
[0005]所需要的是一种技术解决方案，当远程交互时不需要购买昂贵的装备(例如，在头戴式显示器中)以及实现新的或昂贵的基础设施，该技术解决方案为用户提供真实感、他们自己和参与者的存在感以及如同在真实生活中一样的交互感觉，所有这些都同时使用现有的计算设备和相机。
技术实现思路
[0006]提供此
技术实现思路
是为了以简化的形式介绍将在以下具体实施方式中进一步描述的概念的选择。此
技术实现思路
并不意图识别所要求保护的主题的关键特征，也不意图用于帮助确定所要求保护的主题的范围。
[0007]本公开大体上涉及计算机系统，且更特定地涉及一种实现虚拟环境中的交互、特别是社交交互的系统和方法；一种基于图像处理的虚拟存在系统和方法；一种基于用户图形表示的用户认证系统和方法；一种用于从虚拟环境内虚拟广播的系统和方法；一种用于在虚拟环境内递送应用的系统和方法；一种用以在虚拟环境云服务器计算机内提供基于云计算的虚拟计算资源的系统和方法；以及一种能够在接近的用户图形表示之间实现自组织虚拟通信的系统和方法。
[0008]本公开的在虚拟环境中实现特别包括社交交互的交互的系统包含一个或多个云服务器计算机，该云服务器计算机包含至少一个处理器和存储实现包含至少一个虚拟环境的虚拟环境平台的数据和指令的存储器。一个或多个云服务器计算机被配置成在至少一个虚拟环境的三维坐标位置处插入从由相机获得的实况数据馈送产生的用户图形表示，更新至少一个虚拟环境中的用户图形表示，并且实现虚拟环境中的实时多用户协作和交互。
[0009]在实施例中，系统还包含至少一个从客户端设备的一个或多个用户获得实况数据
馈送的相机。此外，系统包含通信地连接到一个或多个云服务器计算机和至少一个相机的客户端设备。该系统从实况数据馈送产生用户图形表示，该用户图形表示被插入到虚拟环境的三维坐标中，并在其中使用实况数据馈送进行更新。在所描述的实施例中，将用户图形表示插入虚拟环境中涉及在虚拟环境中图形组合用户图形表示，使得用户图形表示出现在虚拟环境中(例如，在指定的3D坐标位置)。虚拟环境平台向一个或多个客户端设备服务虚拟环境。该系统通过经由客户端设备访问图形用户界面来实现虚拟环境中的实时多用户协作和(社交)交互。本公开的客户端或对等设备可以包含，例如，计算机、耳机、移动电话、眼镜、透明屏幕、平板型计算机以及通常内置有相机的输入设备，或者可以连接到相机并从所述相机接收数据馈送的输入设备。
[0010]在一些实施例中，虚拟环境可由客户端设备经由可下载的客户端应用或网络浏览器应用来访问。
[0011]在一些实施例中，用户图形表示包含移除了背景的用户3D虚拟剪切(cutout)、或移除了背景的用户实时3D虚拟剪切、或移除了背景的视频、或没有移除背景的视频。在一些实施例中，用户图形表示是移除了背景的从用户上传的或第三方源照片构建的用户3D虚拟剪切、或基于从相机获得的实时2D、立体、深度数据或3D实况视频流数据馈送产生的移除了背景的用户实时3D虚拟剪切，因此包含用户的实时视频流、或没有移除背景的视频、或移除了背景并利用多边形结构显示的视频。此类多边形结构可以是四边形结构或更复杂的3D结构，用作支持视频的虚拟帧。在其他实施例中，一个或多个此类用户图形表示被插入到虚拟环境内的三维坐标中，并且在其中被图形组合。
[0012]用户3D虚拟剪切可以包括从用户上传的或第三方源的2D照片构建的用户的虚拟副本。在实施例中，使用用户上传的或第三方源的2D照片作为输入数据，通过机器视觉技术经由3D虚拟重建过程来创建用户3D虚拟剪切，从而产生移除了背景的用户的3D网格或3D点云。用户实时3D虚拟剪切可以包括基于从相机获得的实时2D或3D实况视频流数据馈送并且在移除用户背景之后的用户的虚拟副本。在实施例中，用户实时3D虚拟剪切是通过产生移除了背景的用户的3D网格或3D点云、使用用户实况数据馈送作为输入数据、通过机器视觉技术经由3D虚拟重建过程来创建的。移除了背景的视频可以包括流式传输到客户端设备的视频，其中已经对视频执行了背景移除过程，使得只有用户可以是可见的，并且然后利用接收客户端设备上的多边形结构来显示。没有移除背景的视频可以包括流式传输到客户端设备的视频，其中视频忠实地表示相机捕获，使得用户和他或她的背景可见，并且然后利用接收客户端设备上的多边形结构来显示。
[0013]在一些实施例中，用作包含在实况数据馈送和/或用户上传或第三方源2D照片中的输入数据的数据包含2D或3D图像数据、3D几何形状、视频数据、媒体数据、音频数据、文本数据、触觉数据、时间数据、3D实体、3D动态对象、文本数据、时间数据、元数据、优先级数据、安全数据、位置数据、照明数据、深度数据和红外数据等。
[0014]在一些实施例中，用户图形表示与俯视视角、或第三人称视角、或第一人称视角、或自我视角相关联。在实施例中，用户在通过用户图形表示访问虚拟环境时的视角是俯视视角、或第三人称视角、或第一人称视角、或自我视角、或广播相机视角。自我视角可以包括由另一用户图形表示看到的用户图形表示，以及任选地，用户图形表示的虚拟背景。
[0015]在其他实施例中，当用户经由图形用户界面手动导航虚拟环境时，视角被更新。
[0016]在其他实施例中，通过使用虚拟相机来自动建立和更新视角，其中实况数据馈送的视角与用户图形表示的视角和虚拟相机相关联，并且其中通过跟踪和分析用户眼睛和头部倾斜数据或头部旋转数据或其组合来自动更新虚拟相机。在实施例中，通过使用一个或多个虚拟相机来自动建立和更新视角，该等一个或多个虚拟相机被虚拟地放置并对齐在用户图形表示的前方，例如，在没有移除背景的视频、或移除了背景的视频、或用户3D虚拟剪切、或用户实时3D虚拟剪切的前方。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于在虚拟环境内递送应用的系统，其特征在于，包含：至少一个云服务器计算机，所述至少一个云服务器计算机包含至少一个处理器和实现至少一个虚拟环境的数据和指令的存储器，所述虚拟环境链接到包括一个或多个已安装应用和用于多用户交互的对应应用规则的应用模块；其中，响应于虚拟环境主机通过客户端设备的选择，在所述虚拟环境的会话期间显示和激活所述一个或多个已安装应用，使得所述虚拟环境主机的用户图形表示和所述虚拟环境内的任何参与者用户图形表示能够通过对应的客户端设备与所述一个或多个已安装应用交互，以及其中所述至少一个云服务器计算机被配置成根据所述应用模块中的用于多用户交互的所述应用规则来管理和处理接收到的与所述一个或多个已安装应用的用户交互，并且将处理的交互转发给所述客户端设备，以根据所述多用户交互应用规则来建立实现共享体验的多用户会话。2.根据权利要求1所述的系统，其特征在于，其中用于多用户交互的所述应用规则被存储和管理在一个或多个独立的应用服务器中。3.根据权利要求1所述的系统，其特征在于，其中所述一个或多个应用从应用库可用的应用安装包中安装，通过对应的应用编程接口提供所述应用服务。4.根据权利要求3所述的系统，其特征在于，其中所述应用库被情境过滤。5.根据权利要求1所述的系统，其特征在于，其中所述一个或多个已安装应用与安装在所述对应客户端设备中的虚拟显示应用共享并通过所述虚拟显示应用查看。6.根据权利要求5所述的系统，其特征在于，其中所述应用模块被表示为2D屏幕或3D体应用模块图形表示，其在所述虚拟环境中将内容从所述已安装应用显示给所述用户图形表示，并且其中所述虚拟显示应用被表示为2D屏幕或3D体，其在所述虚拟环境中将内容从所述已安装应用显示给所述用户图形表示。7.根据权利要求1所述的系统，其特征在于，其中用于多用户交互的所述应用规则中的一者或多者定义同步交互、或异步交互、或其组合。8.根据权利要求7所述的系统，其特征在于，其中所述异步交互是通过所述至少一个服务器计算机或者通过专用于处理与所述至少一个已安装应用的单个用户交互的独立服务器计算机来实现的。9.一种用于在虚拟环境内递送应用的方法，其特征在于，包含：在至少一个云服务器计算机的存储器中提供至少一个虚拟环境，以及包括一个或多个已安装应用和用于多用户交互的对应应用规则的应用模块，其中所述应用模块链接到所述虚拟环境并在所述虚拟环境内可见；从虚拟环境主机接收选择指令；在所述虚拟环境的会话期间显示和激活所述一个或多个已安装应用，使得所述虚拟环境主机的用户图形表示和所述虚拟环境内的一个或多个参与者用户图形表示能够通过对应的客户端设备与所述一个或多个已安装应用交互；接收与所述一个或多个已安装应用的用户交互；根据所述应用模块中的用于多用户交互的所述应用规则来管理和处理与所述一个或多个已安装应用的所述用户交互；以及
将经处理的交互转发给所述客...
【专利技术属性】
技术研发人员：杰瓦特，
申请(专利权)人：明日基金知识产权有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。