【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、车辆环视系统(vehicle surround view systems)为车辆的占用者提供车辆周围区域的可视化。对于驾驶员而言，环视系统(surround view systems)为驾驶员提供观察周围区域的能力，而不需要重新定位(例如，转动他们的头部、离开驾驶员的座椅、倾斜某个方向等)，所述周围区域包括盲点，在盲点处，驾驶员的视线被车辆的部分或环境中的其他对象遮挡。该可视化可辅助和促进各种驾驶操纵，诸如平滑地进入或离开停车点，而不撞击易受攻击的道路用户，诸如行人或诸如路缘或其他车辆之类的对象。越来越多的车辆，特别是豪华品牌或新车型，正在生产配备有环视系统。
2、现有的车辆环视系统通常利用鱼眼相机——通常安装在车身的前侧、左侧、后侧和右侧)——从多个方向感知周围区域。在特殊情况下，如长卡车或带拖车的车辆，可能会包括额外的相机。使用相机参数对齐帧并且使用混合技术组合重叠区域以提供水平360°环视可视化，将来自各个相机的帧拼接在一起。
3、由于噪声或各种白平衡配置，在两个图像被拼接在一起的地方可出现明显的接缝。虽然可使用各种减轻措施来平滑图像像素值从一个图像到另一图像的过渡(例如，指派与其到边缘的距离成比例的像素权重、基于多分辨率的混合、基于神经网络的混合)，但显著接缝常常在拼接图像中仍可见。一些常规技术尝试避免在使用超声传感器检测到的对象之上布置接缝。然而，超声传感器通常在非常短的范围内操作。因此，常规技术仅在布置接缝时考虑非常接近的对象，有效地忽略在超声感测范围之外的潜在重要的对象，或者
4、遗憾的是，拼接图像的过程可引入多种伪影，包含几何失真(例如，未对齐)、纹理失真(例如，模糊、重影、对象消失、对象失真)和颜色失真。拼接图像中的失真可由各种问题引起，包括视差效应、透镜失真、移动对象以及曝光或照明中的差异。例如，在一些情况下，使用多个相机俘获移动对象的多个图像可实际上从不同视角捕获对象的图像，使得不同图像可用不同定向或姿势捕获对象。由于在拼接图像时对象的不同表示可能不完美地对齐，所以重叠区域可有效地将对象的图像与背景组合，从而产生可能出现在两个位置中的幻影状效果。一些对象甚至可从拼接图像中消失。由于这些拼接伪影可能使有用的视觉信息模糊并且可能使驾驶员分心，所以拼接伪影可能干扰车辆的安全操作。因此，需要改进的拼接技术，该改进的拼接技术减少拼接伪影、更好地表示拼接图像中的有用视觉信息和/或以其他方式改进拼接图像的视觉质量。
5、此外，在一些现有的环视系统中，二维(2d)图像用于近似车辆周围环境的三维(3d)视觉表示。对于给定鱼眼图像，例如，每个像素捕获从周围3d点发射并投射到鱼眼相机的中心并成像到相机传感器中的光线，该相机传感器捕获3d点的强度、颜色和取向。然而，在点与照相机中心之间的距离在投影过程中丢失。3d点可以是沿着由相机中心限定的光线和光线着陆在传感器上的点的任何地方。例如使用lidar数据或运动结构(structure frommotion，sfm)重建此距离在计算上是昂贵的并且经常是不切实际的。因此，一些环视系统将车辆周围的环境的几何形状建模成静态定形状和大小的3d碗形状，该3d碗形状包括用于碗的内部部分的圆形地平面，该圆形地平面连接至被表示为从地平面上升到一定高度或者具有与距碗中心的距离成比例地增加的斜率的曲面的外碗。照此，一些常规系统将图像投影到此3d碗形状上，从虚拟相机的视角渲染3d碗形状上的投影图像数据的视图，以及在车辆的占用者(例如，驾驶员)可见的监视器上呈现所渲染的视图。
6、然而，依赖于这种3d碗几何形状的常规技术具有多种缺点。通常，由于这种几何形状仅是模型，现实世界中的深度通常不匹配所假设的几何形状，从而导致各种视觉伪影。例如，如果相机捕获比碗的侧面更靠近车辆的对象(例如，碗的内部)，则将对象的图像投影到碗的侧面上会产生比例放大，因为深度是不正确的。碗的不同区域之间的所捕获的对象还可导致具有显著畸变的可视化。在一些情况下，碗内部的对象可能在投影过程期间部分或完全丢失，导致部分或完全对象消失。如果多个相机拾取比碗的侧面更远的对象(例如，碗的外部)，则将这些图像投影到碗的侧面上可能导致重影或复制。由于这些伪影可能使有用的视觉信息模糊或省略有用的视觉信息并且通常使驾驶员分心，这些伪影会干扰车辆的安全操作。因此，需要改进的可视化技术，该技术减少视觉伪影、更好地表示拼接图像中的有用视觉信息和/或以其他方式改进拼接图像的视觉质量。
7、此外，现有的环视系统通常不并入来自车辆下方的相机的帧，这是由于难以保持相机镜头清洁或不充分的视场覆盖。因此，现有的车辆环视系统仅能够看到车辆的前侧、左侧、后侧和右侧，留下显著的盲点：车辆下方的区域，其可以是几平方米或更多。常规技术不包括车辆下方的可视化，或者用人工像素填充区域，例如，使用纯黑来证明信息丢失，或者使用车辆的计算机图形3d模型。然而，这种车辆下方区域在许多情况下对于感知是重要的，例如：以受控的方式精确地操纵进入和离开具有高路缘的狭窄的停车空间或区域，越过减速块或坑洼，避开道路上的对象，在岩石或崎岖地形上越野驾驶，和/或其他场景。因此，传统的车辆环视系统不能提供有利于许多驾驶操纵的视觉信息。
8、最后，现有的环视系统通常限于捕获本地传感器数据并且向车辆的占用者(例如，驾驶员)呈现传感器数据的表示。随着通信和网络技术的进步，存在对促进各种远程体验和功能性的日益增长的需求。
技术实现思路
1、本公开的实施例涉及环绕视图或环境可视化、基于对象显著性的动态接缝布置、基于自我对象(ego-object)状态的动态接缝布置、用取决于距检测到的对象的距离和方向的形状建模周围环境的自适应3d碗、重建自我对象下方的区域、和/或流式传输自我对象中和自我对象周围的环境的表示。
2、与常规系统(例如上文所描述的系统)相比，动态接缝布置可用于在重叠图像数据的区域中定位接缝以避免跨越显著对象或区域。可以从表示诸如车辆的自我对象周围的环境的重叠视图的图像帧中检测对象。可以对齐图像以创建具有图像数据的重叠区域的对齐的合成图像或表面(例如，全景、360°图像、碗形表面)，并且可以生成所检测的对象和/或显著区域的表示(例如，显著性掩模(saliency mask))并且将其投影到对齐的合成图像或表面上。接缝可以被定位在重叠区域中以避免或最小化跨越投影掩模中表示的显著像素，并且图像数据可以在接缝处被混合以创建拼接的图像或表面(例如，拼接的全景图、拼接的360°图像、拼接的纹理化表面)。
3、在一些实施例中，状态机用于在默认接缝布置或避开显著区域的动态接缝布置之间进行选择，并且基于自我运动(ego-motion)的速度、自我运动的方向、与显著对象的接近度、活动视窗、驾驶员注视和/或其他因素来启用和禁用动态接缝布置。可以对齐表示环境的重叠视图的图像以创建具有图像数据的重本文档来自技高网...
【技术保护点】
1.一种方法，包括：
2.如权利要求1所述的方法，其中对于一个或更多个时间切片中的至少一个时间切片，表示所述物理环境的所述数据流包括：所述物理环境的投影或拼接图像、所述物理环境的三维(3D)模型、或使用所述3D模型生成的环绕视图可视化。
3.如权利要求1所述的方法，其中所述自我对象是车辆，所述远程设备由远程车队操作者操作，并且由所述远程设备接收到的表示所述物理环境的所述数据流包括来自所述车辆外部的第一视频馈送和来自所述车辆的舱室内部的第二视频馈送。
4.如权利要求1所述的方法，其中来自所述远程设备的所述远程命令指定视窗，并且对于一个或更多个时间切片中的至少一个时间切片，表示所述物理环境的所述数据流包括：使用由所述远程命令指定的所述视窗由所述自我对象生成的所述物理环境的环绕视图可视化。
5.如权利要求1所述的方法，其中表示所述物理环境的所述数据流包括由所述自我对象朝向一方向操纵的定向音频：i)所述方向与由所述自我对象在所述物理环境中检测的显著事件相关联，或ii)所述方向由所述远程命令指定。
6.如权利要求1所述的方法，其中
7.如权利要求1所述的方法，其中表示所述物理环境的所述数据流包括通过视窗渲染的所述环境的可视化，所述视窗被定向成观看由所述自我对象在所述物理环境中检测到的显著事件。
8.如权利要求1所述的方法，其中表示所述物理环境的所述数据流的所述可视化包括在所述远程设备上被渲染的所述物理环境的三维增强现实或虚拟现实表示。
9.如权利要求1所述的方法，其中所述远程命令是召唤所述自我对象或者指示所述自我对象自停的命令，并且表示所述物理环境的所述数据流包括由所述自我对象在响应于所述远程命令而进行自操纵时生成的视频馈送。
10.如权利要求1所述的方法，其中所述方法由以下各项中的至少一个执行：用于自主或半自主机器的控制系统；用于自主或半自主机器的感知系统；用于执行模拟操作的系统；用于执行数字孪生操作的系统；用于执行光传输模拟的系统；用于执行3D资产的协作内容创建的系统；用于执行深度学习操作的系统；用于执行实时流式传输的系统；用于呈现增强现实内容、虚拟现实内容或混合现实内容中的一个或更多个的系统；使用边缘设备实现的系统；使用机器人实现的系统；用于执行会话AI操作的系统；用于生成合成数据的系统；结合一个或更多个虚拟机(VM)的系统；至少部分地在数据中心中实现的系统；或至少部分地使用云计算资源实现的系统。
11.一种处理器，包括：一个或更多个电路，所述一个或更多个电路用于：
12.如权利要求11所述的处理器，其中所述流进一步包括由所述自我对象朝向一方向操纵的定向音频：i)所述方向与由所述自我对象在所述物理环境中检测的显著事件相关联，或ii)所述方向由所述远程命令指定。
13.如权利要求11所述的处理器，所述一个或更多个电路进一步用于：由所述远程设备使用在先前时间切片期间从所述自我对象在所述流中接收的传感器数据来检测所述物理环境中的显著事件；将所述视窗定向以面向由所述远程设备在所述物理环境中检测到的所述显著事件；以及发出指导所述自我对象通过所述视窗渲染所述环绕视图可视化的所述远程命令。
14.如权利要求11所述的处理器，其中由所述远程设备控制的所述显示器是增强或虚拟现实(AR/VR)头戴式设备，所述一个或更多个电路进一步用于使得所述AR/VR头戴式设备呈现所述物理环境的所述环绕视图可视化的三维表示。
15.如权利要求11所述的处理器，其中所述处理器被包括在以下各项中的至少一个中：用于自主或半自主机器的控制系统；用于自主或半自主机器的感知系统；用于执行模拟操作的系统；用于执行数字孪生操作的系统；用于执行光传输模拟的系统；用于执行3D资产的协作内容创建的系统；用于执行深度学习操作的系统；用于执行实时流式传输的系统；用于呈现增强现实内容、虚拟现实内容或混合现实内容中的一个或更多个的系统；使用边缘设备实现的系统；使用机器人实现的系统；用于执行会话AI操作的系统；用于生成合成数据的系统；结合一个或更多个虚拟机(VM)的系统；至少部分地在数据中心中实现的系统；或至少部分地使用云计算资源实现的系统。
16.一种系统，包括：一个或更多个处理单元，所述一个或更多个处理单元用于：
17.如权利要求16所述的系统，其中对于一个或更多个时间切片中的每个时间切片，表示所述物理环境的数据包括：所述物理环境的投影或拼接图像、所述物理环境的三维...
【技术特征摘要】
【国外来华专利技术】
1.一种方法，包括：
2.如权利要求1所述的方法，其中对于一个或更多个时间切片中的至少一个时间切片，表示所述物理环境的所述数据流包括：所述物理环境的投影或拼接图像、所述物理环境的三维(3d)模型、或使用所述3d模型生成的环绕视图可视化。
3.如权利要求1所述的方法，其中所述自我对象是车辆，所述远程设备由远程车队操作者操作，并且由所述远程设备接收到的表示所述物理环境的所述数据流包括来自所述车辆外部的第一视频馈送和来自所述车辆的舱室内部的第二视频馈送。
4.如权利要求1所述的方法，其中来自所述远程设备的所述远程命令指定视窗，并且对于一个或更多个时间切片中的至少一个时间切片，表示所述物理环境的所述数据流包括：使用由所述远程命令指定的所述视窗由所述自我对象生成的所述物理环境的环绕视图可视化。
5.如权利要求1所述的方法，其中表示所述物理环境的所述数据流包括由所述自我对象朝向一方向操纵的定向音频：i)所述方向与由所述自我对象在所述物理环境中检测的显著事件相关联，或ii)所述方向由所述远程命令指定。
6.如权利要求1所述的方法，其中由所述远程设备接收到的表示所述物理环境的所述数据流包括由所述自我对象渲染的、由所述自我对象捕获的lidar或radar数据的投影的视图。
7.如权利要求1所述的方法，其中表示所述物理环境的所述数据流包括通过视窗渲染的所述环境的可视化，所述视窗被定向成观看由所述自我对象在所述物理环境中检测到的显著事件。
8.如权利要求1所述的方法，其中表示所述物理环境的所述数据流的所述可视化包括在所述远程设备上被渲染的所述物理环境的三维增强现实或虚拟现实表示。
9.如权利要求1所述的方法，其中所述远程命令是召唤所述自我对象或者指示所述自我对象自停的命令，并且表示所述物理环境的所述数据流包括由所述自我对象在响应于所述远程命令而进行自操纵时生成的视频馈送。
10.如权利要求1所述的方法，其中所述方法由以下各项中的至少一个执行：用于自主或半自主机器的控制系统；用于自主或半自主机器的感知系统；用于执行模拟操作的系统；用于执行数字孪生操作的系统；用于执行光传输模拟的系统；用于执行3d资产的协作内容创建的系统；用于执行深度学习操作的系统；用于执行实时流式传输的系统；用于呈现增强现实内容、虚拟现实内容或混合现实内容中的一个或更多个的系统；使用边缘设备实现的系统；使用机器人实现的系统；用于执行会话ai操作的系统；用于生成合成数据的系统；结合一个或更多个虚拟机(vm)的系统；至少部分地在数据中心中实现的系统；或至少部分地使用云计算资源实现的系统。
11.一种处理器，包括：一个或更多个电路，所述一个或更多个电路用于：
12.如权利要求11所述的处理器，其中所述流进一步包括由所述自我对象朝向一方向操纵的定向音频：i)所述方向与由所述自我对象在所述物理环境...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。