浏览器中的实时虚拟远程传送制造技术

一种方法，包括：在第一设备(145)上的浏览器中打开基于web的视频通话，从第二设备(150)接收加入基于web的视频通话的请求，由第一设备捕获(110)包括帧(105)的视频，由第一设备分割(115)帧，由第一设备选择所分割的帧的至少一个片段(120)，以及将包括至少一个片段的视频作为实时虚拟远程传送(140)直接从第一设备流式传输(125)到第二设备。流式传输(125)到第二设备。流式传输(125)到第二设备。

【技术实现步骤摘要】
【国外来华专利技术】浏览器中的实时虚拟远程传送


[0001]实施例涉及视频会议基于web的环境中的流式传输视频。

技术介绍

[0002]视频通话能够使用户感觉彼此分离。换句话说，社交交互能够感觉很远，因为两个或更多个参与者处于不同的位置，其中每个参与者在观看设备(例如，移动电话)上观看其他位置或人造背景。此外，为了进行具有高级特征(例如，背景修改)的视频会议，需要在用户设备上安装全特征应用。

技术实现思路

[0003]在一般方面，一种设备、系统、非暂时性计算机可读介质(其上存储有能够在计算机系统上执行的计算机可执行程序代码)和/或方法能够用一种方法执行过程，该方法包括：在第一设备上的浏览器中打开基于web的视频通话；从第二设备接收加入所述基于web的视频通话的请求；由所述第一设备捕获包括帧的视频；由所述第一设备分割所述帧；由所述第一设备选择所分割的帧的至少一个片段；以及将包括所述至少一个片段的所述视频作为实时虚拟远程传送直接从所述第一设备流式传输到所述第二设备。
[0004]实施方式能够包括以下特征中的一个或多个。例如，打开所述基于web的视频通话包括加载网页，所述网页包括被配置为实现经训练的机器学习模型的代码，所述经训练的机器学习模型能够被配置为分割所述帧并且选择所述至少一个片段。所述至少一个片段能够是所述基于web的视频通话中的参与者的图像。所述基于web的视频通话能够是使用基于web的通信标准来实现的。所述帧的分割能够包括：将所述帧中的像素分组为语义区域以定位对象和边界，将所述帧的像素分类为两个类别：1)表示人的像素，和2)表示背景的像素，以及从所述帧分割表示所述人的所述像素。所述帧的所述分割能够包括识别所述帧中的每个对象，选择至少一个片段包括选择对象作为所述至少一个片段，以及所述对象能够是所述基于web的视频通话中的参与者。所述至少一个片段能够是所述基于web的视频通话中的参与者的图像，以及所述方法能够进一步包括将所述图像从二维图像转换为三维图像。所述至少一个片段能够是所述基于web的视频通话中的参与者的图像，以及所述方法能够进一步包括将过滤器应用于所述图像。所述基于web的视频通话能够被实现为零安装web应用。
[0005]在另一个一般方面，一种设备、系统、非暂时性计算机可读介质(其上存储有能够在计算机系统上执行的计算机可执行程序代码)和/或方法能够用一种方法执行过程，该方法包括：在第一设备上的浏览器中打开基于web的视频通话网页；由第一设备从第二设备传送加入基于web的视频通话的请求；在所述第一设备处直接从所述第二设备接收流式传输的视频作为第一视频；由所述第一设备捕获第二视频；由所述第一设备基于所述第二视频来定向所述第一视频；由所述第一设备将所述第一视频投影到所述第二视频中以生成第三视频；以及由所述第一设备渲染包括所述第三视频的网页。
[0006]实施方式能够包括以下特征中的一个或多个。例如，该方法能够进一步包括生成平面，以及所述第一视频的定向能够包括：确定与所述第二视频相关联的法线向量，以及基于所述法线向量旋转和平移所述第一视频中的至少一个。该方法能够进一步包括生成平面并将所述平面定位在所述第二视频中，其中，将所述第一视频投影到所述第二视频中包括将所述第一视频添加到所述平面。该方法能够进一步包括生成平面并将所述平面定位在所述第二视频中，以及所述第一视频的定向能够包括：确定与所述第二视频相关联的法线向量，以及基于所述法向量旋转和平移所述第一视频中的至少一个，以及将所述第一视频投影到所述第二视频中能够包括将所述第一视频添加到所述平面。所述第一视频能够是所述基于web的视频通话中的第一参与者的，以及所述第二视频能够是现实世界视频。所述平面能够是位于所述第二视频中的透明二维虚拟结构。所述平面能够具有与渲染所述基于web的视频通话网页的设备的显示器成比例的大小。所述基于web的视频通话网页能够包括被配置为实现经训练的机器学习模型的代码，以及所述基于web的视频通话网页能够包括被配置为实现基于web的增强现实工具的代码。基于web的视频通话网页和所述基于web的视频通话能够被实现为零安装web应用。
[0007]在又一个一般方面，一种设备、系统、非暂时性计算机可读介质(其上存储有能够在计算机系统上执行的计算机可执行程序代码)和/或方法能够用一种方法执行过程，该方法包括：在第一设备上的浏览器中打开基于web的视频通话；从第二设备接收加入所述基于web的视频通话的请求；由第一设备捕获包括帧的第一视频；由所述第一设备分割所述帧；由所述第一设备选择所分割的帧的至少一个片段；将包括所述至少一个片段的所述第一视频作为第一实时虚拟远程传送图像直接从所述第一设备流式传输到所述第二设备；由所述第一设备直接从所述第二设备接收流式传输的视频作为第二视频，所述第二视频包括第二实时虚拟远程传送图像；由所述第一设备捕获第三视频；由所述第一设备基于所述第三视频来定向所述第二视频；由所述第一设备将所述第二视频投影到所述第三视频中以生成包括所述第二实时虚拟远程传送图像的第四视频；以及由所述第一设备渲染包括所述第四视频的网页。
[0008]实施方式能够包括以下特征中的一个或多个。例如，打开所述基于web的视频通话能够包括加载网页，所述网页能够包括被配置为实现经训练的机器学习模型的代码，所述经训练的机器学习模型能够被配置为分割所述帧并选择所述至少一个片段，以及所述网页包括能够被配置为实现基于web的增强现实工具的代码。所述基于web的视频通话能够被实现为零安装web应用。所述帧的分割能够包括识别所述帧中的每个对象，选择至少一个片段能够包括选择对象作为所述至少一个片段，以及所述对象能够是所述基于web的视频通话中的参与者。该方法能够进一步包括生成平面并将所述平面定位在所述第二视频中，以及所述第一视频的定向能够包括：确定与所述第二视频相关联的法线向量，以及基于所述法向量旋转和平移所述第一视频中的至少一个，以及将所述第一视频投影到所述第二视频中能够包括将所述第一视频添加到所述平面。
附图说明
[0009]从下面给出的详细描述和附图中将更全面地理解示例性实施例，其中相同的元件由相同的附图标记表示，这些附图标记仅以说明的方式给出，因此不限制示例性实施例，以
及其中：
[0010]图1图示了根据至少一个示例性实施例的信号流的框图。
[0011]图2A图示了根据至少一个示例性实施例的图像处理模块的框图。
[0012]图2B图示了根据至少一个示例性实施例的编码器系统。
[0013]图3A图示了根据至少一个示例性实施例的解码器系统。
[0014]图3B图示了根据至少一个示例性实施例的投影仪模块的框图。
[0015]图4图示了根据至少一个示例性实施例的用于进行基于web的视频通话的一部分的方法的框图。
[0016]图5图示了根据至少一个示例性实施例的用于进行基于web的视频通话的另一部分的方法的框图。
[0017]图6图示了根据至少一个示例性实施例的计算机设备和移动计算机设备的示例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在第一设备上的浏览器中打开基于web的视频通话；由所述第一设备从第二设备接收加入所述基于web的视频通话的请求；由所述第一设备捕获包括帧的视频；由所述第一设备分割所述帧；由所述第一设备选择分割的帧的至少一个片段；以及将包括所述至少一个片段的所述视频作为实时虚拟远程传送直接从所述第一设备流式传输到所述第二设备。2.根据权利要求1所述的方法，其中，建立所述基于web的视频通话包括加载网页，所述网页包括被配置为实现经训练的机器学习模型的代码，所述经训练的机器学习模型被配置为分割所述帧并且选择所述至少一个片段。3.根据权利要求1或2中的任一项所述的方法，其中，所述至少一个片段是所述基于web的视频通话中的参与者的图像。4.根据权利要求1至3中的任一项所述的方法，其中，所述基于web的视频通话是使用基于web的通信标准来实现的。5.根据权利要求1至4中的任一项所述的方法，其中，所述帧的分割包括：将所述帧中的像素分组为语义区域以定位对象和边界，将所述帧的像素分类为两个类别：1)表示人的像素和2)表示背景的像素，以及从所述帧分割表示所述人的所述像素。6.根据权利要求1至4中的任一项所述的方法，其中：所述帧的所述分割包括识别所述帧中的每个对象，选择至少一个片段包括选择对象作为所述至少一个片段，以及所述对象是所述基于web的视频通话中的参与者。7.根据权利要求1至6中的任一项所述的方法，其中，所述至少一个片段是所述基于web的视频通话中的参与者的图像，所述方法进一步包括：将所述图像从二维图像转换为三维图像。8.根据权利要求1至7中的任一项所述的方法，其中，所述至少一个片段是所述基于web的视频通话中的参与者的图像，所述方法进一步包括：将过滤器应用于所述图像。9.根据权利要求1至8中的任一项所述的方法，其中，所述基于web的视频通话被实现为零安装web应用。10.一种方法，包括：在第一设备上的浏览器中打开基于web的视频通话网页；从第二设备传送加入基于web的视频通话的请求；在所述第一设备处直接从所述第二设备接收流式传输的视频作为第一视频；由所述第一设备捕获第二视频；由所述第一设备基于所述第二视频来定向所述第一视频；由所述第一设备将所述第一视频投影到所述第二视频中以生成第三视频；以及由所述第一设备渲染包括所述第三视频的网页。
11.根据权利要求10所述的方法，进一步包括生成平面，其中，所述第一视频的定向包括：确定与所述第二视频相关联的法线向量，以及基于所述法线向量旋转和平移所述第一视频中的至少一个。12.根据权利要求10和11中的任一项所述的方法，进一步包括生成平面并将所述平面定位在所述第二视频中，其中，将所述第一视频投影到所述第二视频中包括将所述第一视频添加到所述平面。13.根据权利要求10所述的方法，进一步包括生成平面并将所述平面定位在所述第二视频中，其中：所述第一视频的定向包括：确定与所述第二视频相关联的法线向量，以及基于所述法向量旋转和平移所述第一视频中的至少一个，以及将所述第一视频投影到所述第二视频中包括将所述第一...

【专利技术属性】
技术研发人员：杰森，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：