环境共享制造技术

本文所公开的各种具体实施包括在通信会话期间生成并且共享

【技术实现步骤摘要】
【国外来华专利技术】环境共享


[0001]本公开整体涉及使用传感器在通信会话期间提供视图的电子设备，这些视图包括包含参与会话的用户的物理环境的表示的视图
。

技术介绍

[0002]诸如视频会议
、
交互式游戏会话和其他交互式社交体验的通信会话使得用户能够共享他们的物理环境的
2D
图像
。
例如，基于
web
的视频会议技术使得用户能够在他们的物理环境内同时共享他们自己的
2D
图像和视频
。
现有技术不足以促进在通信会话期间共享
3D
环境
。

技术实现思路

[0003]本文所公开的各种具体实施包括在通信会话期间生成并且共享
/
发送物理环境的
3D
表示的设备
、
系统和方法
。
可以替换该
3D
表示的一些元素
(
例如，点云的点
、
或网格的点或多边形
)
以改善建模和发送过程的质量和
/
或效率
。
例如，一些元素可以用非点
/
非多边形元素
(
例如平面元素
、
几何外壳元素等
)
来替换
。
场景理解语义可用于确定要替换该
3D
表示的哪些元素
。
在一些具体实施中，表示物理环境的墙壁
、
天花板和地板的部分的元素可用平面元素或对应于该物理环境的多个周边区域的基本形状的几何外壳来替换
。
相反，表示家具
、
窗帘
、
壁挂等的其他元素仍包括在该
3D
表示中
。
选择性地更改该
3D
表示以替换某些元素可提供更清洁的感觉
、
更坚实的感觉
、
更封闭的感觉和
/
或更轻的感觉环境
。
更改该
3D
表示可以额外提供更紧凑的
3D
表示，用于更高效和更快速的通信和渲染
。
[0004]在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法
。
该方法生成物理环境的
3D
表示
(
例如，
3D
点云
)。
该
3D
表示具有元素
(
例如，点
)
，每个元素具有
3D
位置并且表示该物理环境的一部分的外观
(
例如，颜色
)。
该方法确定该
3D
表示的元素的对象类型
(
例如，诸如“墙壁”的语义标签
)。
在一些具体实施中，这涉及使用机器学习模型来为该
3D
表示的元素提供基于场景理解的语义标签
(
例如，桌子
、
沙发
、
墙壁等
)。
根据确定该
3D
表示的元素的对象类型，该方法用视觉特征替换对应于第一对象类型的该
3D
表示的第一组元素
。
不对应于该第一对象类型的该
3D
表示的第二组元素保留在该
3D
表示中
。
在一个示例中，这涉及用平面元素替换墙壁元素
。
在另一个示例中，这涉及用几何外壳
(
例如，诸如用于矩形房间的
3D
矩形的空
3D
形状
)
替换房间边界元素
(
例如，墙壁
、
天花板
、
地板
)。
该视觉特征的颜色和
/
或纹理可以基于评估该物理环境
(
例如经由纹理匹配
)
来确定
。
该替换可减小该
3D
表示的大小，例如，潜在地用相对少量的视觉特征来替换数百或数千个元素
。
该方法提供该
3D
表示的视图，该
3D
表示包括该第二组元素和该视觉特征
。
因此，例如，用户视图可以基于描绘沙发
、
窗帘
、
桌子等的该
3D
表示的剩余元素以及诸如表示房间的边界部分的语义外壳之类的几何形状
。
[0005]本文所公开的各种具体实施包括在通信会话期间生成并且共享
/
发送物理环境的
3D
表示的设备
、
系统和方法
。
在该通信会话期间由用户设备例如在该物理环境的扫描期间
获得的传感器数据用于生成该
3D
表示
。
该用户的设备可以在该扫描期间提供视图和
/
或反馈以便于准确理解正在发送的内容
。
例如，当该用户扫描环境时，他或她的视图可以示出具有图形指示的物理环境，该图形指示将作为该
3D
表示的一部分而被包括
/
发送的部分与未作为该
3D
表示的一部分被包括
/
发送的部分区分开
。
该用户可以到处移动该设备以包括
/
发送该物理环境或多或少部分，并且“绘画效果”可提供与涉及正在被包括
/
发送的内容的改变有关的反馈
。
另外，该用户可提供可用于设置边界或以其他方式减少将被发送的内容的输入，例如，选择将不被发送的该物理环境的某些对象或区域
。
[0006]在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法
。
该方法在通信会话期间在物理环境的扫描期间获得传感器数据
。
例如，这可涉及在宿主开始与其他用户共享
/
发送他或她的环境的通信会话期间获得图像和深度数据
。
该方法基于该传感器数据在该扫描期间更改该物理环境的
3D
表示
(
例如，
3D
点云
)
，其中该更改改变该物理环境的哪些部分被表示在该
3D
表示中
。
根据改变该
3D
表示，在该扫描期间提供的该物理环境的视图中更新图形指示
。
该图形指示对应于在该
3D
表示中表示的该物理环境的第一部分与在该
3D
表示中未表示的该物理环境的第二部分之间的边界
。
在该通信会话期间发送该
3D
表示，这可以使得接收电子设备能够提供该
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种方法，包括：在处理器处：生成物理环境的三维
(3D)
表示，所述
3D
表示包括元素，每个元素具有
3D
位置并且表示所述物理环境的一部分的外观；确定用于所述
3D
表示的所述元素的对象类型；根据确定所述
3D
表示的所述元素的所述对象类型，用视觉特征替换对应于第一对象类型的所述
3D
表示的第一组元素，其中不对应于所述第一对象类型的所述
3D
表示的第二组元素保留在所述
3D
表示中；以及向远程电子设备提供所述
3D
表示，所述
3D
表示包括所述第二组元素和所述视觉特征
。2.
根据权利要求1所述的方法，其中所述远程电子设备提供所述
3D
表示的视图，所述视图包括所述第二组元素和所述视觉特征
。3.
根据权利要求1至2中任一项所述的方法，其中所述
3D
表示是点云，并且所述元素是点
。4.
根据权利要求1至3中任一项所述的方法，其中确定用于所述
3D
表示的所述元素的对象类型包括使用机器学习模型来提供对所述物理环境的场景理解
。5.
根据权利要求1至4中任一项所述的方法，其中所述对象类型包括家具对象类型和房间周边对象类型
。6.
根据权利要求1至5中任一项所述的方法，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括一个或多个平面元素
。7.
根据权利要求1至6中任一项所述的方法，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括对应于所述物理环境的周边的至少一部分的几何元素
。8.
根据权利要求1至7中任一项所述的方法，还包括：获得所述物理环境的图像；识别对应于所述第一组元素的所述图像的一部分；以及基于所述图像的所述部分生成所述视觉特征的外观特性
。9.
根据权利要求1至8中任一项所述的方法，其中使用比所述第一组元素更少的数据来定义所述视觉特征
。10.
一种系统，包括：非暂态计算机可读存储介质；和一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下项的操作：生成物理环境的三维
(3D)
表示，所述
3D
表示包括元素，每个元素具有
3D
位置并且表示所述物理环境的一部分的外观；确定用于所述
3D
表示的所述元素的对象类型；根据确定所述
3D
表示的所述元素的所述对象类型，用视觉特征替换对应于第一对象类型的所述
3D
表示的第一组元素，其中不对应于所述第一对象类型的所述
3D
表示的第二组元素保留在所述
3D
表示中；以及向远程电子设备提供所述
3D
表示，所述
3D
表示包括所述第二组元素和所述视觉特征
。
11.
根据权利要求
10
所述的系统，其中所述
3D
表示是点云，并且所述元素是点
。12.
根据权利要求
10
至
11
中任一项所述的系统，其中确定用于所述
3D
表示的所述元素的对象类型包括使用机器学习模型来提供对所述物理环境的场景理解
。13.
根据权利要求
10
至
12
中任一项所述的系统，其中所述对象类型包括家具对象类型和房间周边对象类型
。14.
根据权利要求
10
至
13
中任一项所述的系统，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括一个或多个平面元素
。15.
根据权利要求
10
至
14
中任一项所述的系统，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括对应于所述物理环境的周边的至少一部分的几何元素
。16.
根据权利要求
10
至
15
中任一项所述的系统，还包括：获得所述物理环境的图像；识别对应于所述第一组元素的所述图像的一部分；以及基于所述图像的所述部分生成所述视觉特征的外观特性
。17.
根据权利要求
10
至
16
中任一项所述的系统，其中使用比所述第一组元素更少的数据来定义所述视觉特征
。18.
根据权利要求
10
至
15
中任一项所述的系统，其中在通信会话期间向电子设备提供所述
3D
表示的所述视图
。19.
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序指令，所述程序指令能够经由一个或多个处理器执行以执行包括以下项的操作：生成物理环境的三维
(3D)
表示，所述
3D
表示包括元素，每个元素具有
3D
位置并且表示所述物理环境的一部分的外观；确定用于所述
3D
表示的所述元素的对象类型；根据确定所述
3D
表示的所述元素的所述对象类型，用视觉特征替换对应于第一对象类型的所述
3D
表示的第一组元素，其中不对应于所述第一对象类型的所述
3D
表示的第二组元素保留在所述
3D
表示中；以及向远程电子设备提供所述
3D
表示，所述
3D
表示包括所述第二组元素和所述视觉特征
。20.
根据权利要求
19
所述的非暂态计算机可读存储介质，其中所述远程电子设备提供所述
3D
表示的视图，所述视图包括所述第二组元素和所述视觉特征
。21.
根据权利要求
19
至
20
中任一项所述的非暂态计算机可读存储介质，其中所述
3D
表示是点云，并且所述元素是点
。22.
根据权利要求
19
至
21
中任一项所述的非暂态计算机可读存储介质，其中确定用于所述
3D
表示的所述元素的对象类型包括使用机器学习模型来提供对所述物理环境的场景理解
。23.
根据权利要求
19
至
22
中任一项所述的非暂态计算机可读存储介质，其中所述对象类型包括家具对象类型和房间周边对象类型
。24.
根据权利要求
19
至
23
中任一项所述的非暂态计算机可读存储介质，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括一个或多个平面元素
。25.
根据权利要求
19
至
24
中任一项所述的非暂态计算机可读存储介质，其中所述第一对象类型是房间周边对象类型，并且所述视觉特征包括对应于所述物理环境的周边的至少
一部分的几何元素
。26.
根据权利要求
19
至
25
中任一项所述的非暂态计算机可读存储介质，还包括：获得所述物理环境的图像；识别对应于所述第一组元素的所述图像的一部分；以及基于所述图像的所述部分生成所述视觉特征的外观特性
。27.
根据权利要求
19
至
26
中任一项所述的非暂态计算机可读存储介质，其中使用比所述第一组元素更少的数据来定义所述视觉特征
。28.
一种方法，包括：在处理器处：在通信会话期间在物理环境的扫描期间获得传感器数据；在所述扫描期间基于所述传感器数据更改所述物理环境的三维
(3D)
表示，其中所述更改改变所述物理环境的哪些部分被表示在所述
3D
表示中；根据更改所述
3D
表示，更新在所述扫描期间提供的所述物理环境的视图中的图形指示，所述图形指示对应于在所述
3D
表示中表示的所述物理环境的第一部分与在所述
3D
表示中未表示的所述物理环境的第二部分之间的边界；以及在所述通信会话期间发送所述
3D
表示
29.
根据权利要求
28
所述的方法，其中在所述扫描期间基于接收对应于所述物理环境的先前未扫描部分的传感器数据，更新所述物理环境的所述
3D
表示
。30.
根据权利要求
28
至
29
中任一项所述的方法，其中更改在所述通信会话期间发送的所述
3D
表示，以基于在所述扫描期间正在扫描的所述先前未扫描部分发送所述物理环境的先前未扫描部分
。31.
根据权利要求
28
至
30
中任一项所述的方法，其中所述图形指示将所述物理环境的在所述通信会话中发送的部分与所述物理环境的未在所述通信会话中发送的部分区分开
。32.
根据权利要求
28
至
31
中任一项所述的方法，其中在所述扫描期间获得对应于所述物理环境的先前未扫描部分的附加传感器数据时，所述图形指示移动
。33.
根据权利要求
28
至
32
中任一项所述的方法，还包括应用视觉特性来区分所述第一部分和所述第二部分
。34.
根据权利要求
28
至
33
中任一项所述的方法，还包括接收标识，所述标识限制所述物理环境的哪些部分被表示在所述
3D
表示中并且在所述通信会话期间发送
。35.
根据权利要求
34
所述的方法，其中所述标识对将不被发送的所述物理环境的对象或区域进行标识
。36.
一种系统，包括：非暂态计算机可读存储介质；和一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下项的操作：在通信会话期间在物理环境的扫描期间获得传感器数据；在所述扫描期间基于所述传感器数据更改所述物理环境的三维
(3D)
表示，其中所述...

【专利技术属性】
技术研发人员：邱诗善，A，
申请(专利权)人：苹果公司，
类型：发明
国别省市：