用于动态图像处理和分割的系统及方法技术方案

一种用于获取多个帧的图像数据的方法包括：通过相机传感器获取整个视场的

【技术实现步骤摘要】
【国外来华专利技术】用于动态图像处理和分割的系统及方法


[0001]本公开总体上涉及视频系统或显示系统
。
更具体地，本公开涉及用于捕获或处理图像数据的系统和方法
。

技术介绍

[0002]本公开总体上涉及视频系统
、
增强现实
(augmented reality
，
AR)
系统
、
混合现实
(mixed reality
，
MR)
系统和
/
或虚拟现实
(virtual reality
，
VR)
系统
。
视频系统
、AR
系统
、MR
系统和
VR
系统可以用于向用户呈现各种图像，包括三维
(three
‑
dimensional
，
3D)
图像
。
例如，视频头戴式设备
(headset)、AR
头戴式设备
、MR
头戴式设备或
VR
头戴式设备可以用于以覆盖在真实世界环境的视图上或模拟虚拟环境的方式向用户呈现图像
。

技术实现思路

[0003]根据一些实施例，本公开的一个实施方式是用于获取多个帧的图像数据的方法
。
在一些实施例中，该方法包括：通过相机传感器获取视场的
、
第一帧的图像数据
。
在一些实施例中，该方法包括：使用该第一帧的图像数据限定视场的一个或多个区域
。
在一些实施例中，该方法包括：确定该一个或多个区域中的每个区域的帧速率和图像捕获分辨率中的至少一者
。
在一些实施例中，该方法包括：通过根据帧速率和图像捕获分辨率中的至少一者获取视场的一个或多个区域的图像数据来获取多个部分帧的图像数据
。
[0004]在一些实施例中，该第一帧是整个视场的全帧
。
在一些实施例中，获取该帧的图像数据包括获取两个或更多个帧的图像数据
。
在一些实施例中，限定视场的一个或多个区域包括将两个或更多个帧彼此比较以识别多个运动区域
。
在一些实施例中，该方法包括限定多个区域，各个区域与该多个运动区域中的不同区域相关联
。
[0005]在一些实施例中，多个运动区域至少包括第一区域和第二区域
。
在一些实施例中，存在于第一区域的运动量大于存在于第二区域的运动量
。
[0006]在一些实施例中，获取该多个部分帧的图像数据包括：操作相机传感器，以根据帧速率和图像捕获分辨率中的至少一者，来获取该多个部分帧的图像数据
。
在一些实施例中，获取该多个部分帧的图像数据包括：操作相机传感器以便以全分辨率和最大帧速率获取多个全帧，并使用图像信号处理器或传感器读出电路基于该多个全帧根据帧速率和图像捕获分辨率中的至少一者来获取该多个部分帧的图像数据
。
[0007]在一些实施例中，获取该帧的图像数据包括获取两个或更多个帧的图像数据
。
在一些实施例中，限定视场的一个或多个区域包括：基于该两个或更多个帧的图像数据中的图像数据执行深度估计，基于深度估计确定环境的前景和背景，以及限定与前景相关联的第一区域和与背景相关联的第二区域
。
[0008]在一些实施例中，限定视场的一个或多个区域包括：执行深度估计以至少识别环境的前景和背景，以及限定与前景相关联的第一区域以及与背景相关联的第二区域
。
[0009]在一些实施例中，该第一区域的帧速率大于该第二区域的帧速率
。
[0010]在一些实施例中，限定视场的一个或多个区域包括：基于该帧的图像数据检测视场中的一个或多个对象
。
在一些实施例中，该方法包括：限定视场中的一个或多个对象中的每个对象的区域
。
[0011]在一些实施例中，该方法还包括：获取指示用户头部的运动的方向和大小的传感器数据
。
在一些实施例中，该方法包括：至少部分地基于用户头部的运动的方向或大小中的至少一者来限定一个或多个区域
。
[0012]在一些实施例中，该方法还包括：使用该多个部分帧的图像数据来构建一个或多个帧
。
[0013]根据一些实施例，本公开的另一个实施方式是一种系统，该系统包括头部可穿戴显示器和处理电路
。
在一些实施例中，头部可穿戴显示器包括相机传感器以及以下中的至少一个：惯性测量单元
(inertial measurement unit
，
IMU)、
视觉惯性里程计
(visual inertial odometry
，
VIO)
传感器或深度传感器
。
在一些实施例中，处理电路被配置为从相机传感器获取视场的
、
第一帧的图像数据
。
在一些实施例中，处理电路被配置为使用第一帧的图像数据来限定视场的一个或多个区域
。
在一些实施例中，处理电路被配置为确定一个或多个区域中的每个区域的帧速率和图像捕获分辨率中的至少一者
。
在一些实施例中，处理电路被配置为操作相机传感器以通过根据帧速率和图像捕获分辨率中的至少一者获取视场的一个或多个区域的图像数据来获取该多个部分帧的图像数据
。
[0014]在一些实施例中，处理电路包括位于头部可穿戴显示器处的本地处理电路以及位于远离头部可穿戴显示器的远程处理电路两者
。
[0015]在一些实施例中，远程处理电路为用户的个人计算设备的处理电路
。
[0016]在一些实施例中，头部可穿戴显示器还包括电池
。
在一些实施例中，该电池被配置为向处理电路
、
相机传感器
、IMU
或
VIO
传感器中的任何一者提供电力
。
在一些实施例中，限定该一个或多个区域
、
确定帧速率或图像捕获分辨率中的至少一者
、
以及操作相机传感器以获取多个部分帧将电池的功耗降低了系数
。
[0017]在一些实施例中，该系数是以下项的函数：该一个或多个区域的数量
、
该一个或多个区域中的每个区域的帧速率
、
该一个或多个区域中的每个区域的分辨率
、
标称帧速率和标称分辨率
。
[0018]在一些实施例中，该系统还包括发光二极管
(light emitting diode
，
LED)
或扬声器中的至少一者
。
在一些实施例中，处理电路被配置为跟踪该一个或多个区域中的一个区域相对于相机传感器的视场的外本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种用于获取多个帧的图像数据的方法，所述方法包括：从相机传感器获取视场的
、
第一帧的图像数据；使用所述第一帧的图像数据限定所述视场的一个或多个区域；确定所述一个或多个区域中的每个区域的帧速率和图像捕获分辨率中的至少一者；以及通过根据所述帧速率和图像捕获分辨率中的至少一者获取所述视场的所述一个或多个区域的图像数据来获取多个部分帧的图像数据
。2.
根据权利要求1所述的方法，其中，所述第一帧是整个所述视场的全帧，其中，获取所述第一帧的图像数据包括获取两个或更多个帧的图像数据，并且限定所述视场的所述一个或多个区域包括：将所述两个或更多个帧彼此比较以识别多个运动区域；以及限定多个区域，各个区域与所述多个运动区域中的不同区域相关联
。3.
根据权利要求2所述的方法，其中，所述多个运动区域至少包括第一区域和第二区域，其中，存在于所述第一区域的运动量大于存在于所述第二区域的运动量
。4.
根据权利要求
1、
权利要求2或权利要求3所述的方法，其中，获取所述多个部分帧的图像数据包括以下中的一者：操作所述相机传感器，以根据所述帧速率和所述图像捕获分辨率中的至少一者，来获取所述多个部分帧的图像数据；或者操作所述相机传感器以便以全分辨率和最大帧速率获取多个全帧，并使用图像信号处理器或传感器读出电路基于所述多个全帧根据所述帧速率和所述图像捕获分辨率中的至少一者来获取所述多个部分帧的图像数据
。5.
根据前述权利要求中任一项所述的方法，其中，限定所述视场的所述一个或多个区域包括：执行深度估计以至少识别环境的前景和背景；以及限定与所述前景相关联的第一区域以及与所述背景相关联的第二区域
。6.
根据权利要求5所述的方法，其中，所述第一区域的帧速率大于所述第二区域的帧速率
。7.
根据前述权利要求中任一项所述的方法，其中，限定所述视场的所述一个或多个区域包括：基于所述帧的图像数据检测所述视场中的一个或多个对象；以及限定所述视场中的所述一个或多个对象中的每个对象的区域
。8.
根据前述权利要求中任一项所述的方法，所述方法还包括：获取指示用户头部的运动的方向和大小的传感器数据；以及至少部分地基于所述用户头部的运动的方向或大小中的至少一者来限定所述一个或多个区域
。9.
根据前述权利要求中任一项所述的方法，所述方法还包括：使用所述多个部分帧的图像数据来构建一个或多个帧
。10.
一种系统，所述系统包括：头部可穿戴显示器，所述头部可穿戴显示器包括相机传感器以及以下中的至少一个：
惯性测量单元
(IMU)、
视觉惯性里程计
(VIO)
传感器或深度传感器；以及处理电路，所述处理电路被配置为：从所述相机传感器获取视场的
、
第一帧的图像数据；使用所述第一帧的图像数据限定所述视场的一个或多个区域；确定所述一个或多...

【专利技术属性】
技术研发人员：弗拉德，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：