【技术实现步骤摘要】
视频数据的基于注视方向的自适应预滤波
[0001]相关申请引用
[0002]本申请是国际申请号为PCT/US2018/043033、国际申请日为2018年7月20日、进入中国国家阶段日期为2020年1月15日、中国国家申请号为201880047355.2、专利技术名称为“视频数据的基于注视方向的自适应预滤波”的专利技术专利申请的分案申请。
[0003]本公开整体涉及用于处理和传输视频数据的系统和算法。
技术介绍
[0004]随着视频捕获技术的改进以及成本的降低，越来越多的带有视频部件的应用程序变得流行。例如，混合现实应用程序(可以在其中使用虚拟对象或相关补充信息来增强现实世界物理对象或视图的应用程序)和/或虚拟现实应用程序(用户可以在其中穿越虚拟环境的应用程序)，在两者中视频数据都是可以捕获和操纵的，越来越成为开发和商业化的焦点。对于至少一些应用程序，可以在除视频捕获设备本身之外的设备处处理表示环境的视频数据。也就是说，视频数据可能必须通过网络路径(诸如无线链路)传输，该网络路径可能相对于原始视频数据的捕获速率具有相对较低的带宽容量。取决于应用程序的视频保真度要求，在受限的网络路径上管理视频数据流，同时保持用户对应用程序的高度满意可能存在不小的技术挑战。
技术实现思路
[0005]本公开描述了用于视频数据的基于注视方向的预滤波的方法和装置的各种实施方案。在至少一些实施方案中，滤波技术可以利用以下事实：人类视觉系统中的视敏度或感知精度通常作为远离注视的中心方向的角距离的函数而减小>‑
与使用视网膜的远离中心定位的区域(称为中央凹)的部分所感测的场景部分相比，使用视网膜的中央凹所感测的可见场景部分通常被认为具有更高的清晰度。考虑到这种生物现象，在各种实施方案中，可以使用可配置的多层低通滤波器对要在网络上传输的视频数据进行预滤波(压缩之前)，其中相对于关于注视方向的内部或中心区域，以较低的分辨率设置对可见场景的外部或外围区域进行滤波，从而有助于减少必须通过网络传输的数据总量。
[0006]根据至少一个实施方案，一种方法可以包括例如使用指向个体的眼睛的头戴式设备(诸如头戴式耳机或头盔)的一个或多个传感器来跟踪该个体的注视方向。该方法可包括使用多层低通滤波器来对表示个体的环境的至少一部分的视频数据的一个或多个帧进行滤波。在各种实施方案中，被滤波的视频数据的给定帧可以包括一个或多个物理对象和/或虚拟对象(例如，由虚拟现实或增强现实应用程序生成的对象)的表示。在各种实施方案中，滤波器可以包括至少两层：第一层，其具有用于给定视频数据帧的第一子集的第一滤波分辨率设置；以及第二层，其具有用于给定帧的第二子集的第二滤波分辨率设置。在各种实施方案中，可以基于个体注视的方向来动态地选择使用相应的滤波器层滤波的任何给定帧的
部分。例如，相对于给定帧，该帧的第一子集(对应于具有最高分辨率的滤波器层)可以包括位于与注视的中心方向对应的区域中的数据元素，而该帧的第二子集(对应于具有较低分辨率设置的滤波器层)可以对应于围绕第一子集的区域。在一些实施方案中，在使用多层低通滤波器滤波诸如帧的给定视频数据集之后，可以压缩该数据并将其经由网络传输到视频处理引擎。
[0007]在至少一个实施方案中，视频处理引擎可以被配置为生成环境的修改的视觉表示
‑
例如，通过用虚拟对象或关于可见的现实对象的补充信息来增强原始查看的场景，并将修改版本发送给个体查看。在各种实施方案中，当个体与可见环境互动(在一些实施方案中可以包括现实对象和虚拟对象的混合，并且可以称为混合现实环境)时，个体注视的方向可以从一组显示/可见帧改变成另一组。在此类实施方案中，可以确定个体注视的修改方向，并且随着注视方向改变，可以选择视频帧的不同子集来使用各个层进行处理。也就是说，如果将使用滤波器的特定层进行滤波的给定帧的子集与不同帧的子集(在个体改变了注视方向之后)进行比较，则第二子集在其帧内的相对位置可以与第一子集不同。
[0008]在各种实施方案中，注视的跟踪、视频数据的预滤波以及滤波器结果的压缩都可以在可穿戴设备的部件(例如，使用传感器与其他硬件和软件的组合)处执行，诸如混合现实应用程序环境或系统或虚拟现实应用程序或系统的头戴式显示器(HMD)。例如，可以使用可穿戴设备经由诸如无线或有线连接之类的网络路径与之通信的基站来执行视频处理。
[0009]在至少一些实施方案中，可以使用混合技术来处理给定帧或一组视频数据中位于不同层的边界处或附近的部分。例如，在一个实施方案中，可以识别与对应于第一滤波层的帧的第一子集和对应于第二滤波层的帧的第二子集之间的边界区域对应的数据元素的混合目标集。在一些实施方案中，可以将滤波器的两个层分别应用于混合目标集，并且可以使用使两个区域之间的过渡平滑的混合函数来组合这两个层的滤波器输出，从而降低了在处理后可能在视频中生成难看的视觉伪影的概率。
[0010]在不同的实施方案中，使用不同的滤波器层处理的区域的形状可以不同。例如，在一个实施方案中，给定区域或帧子集的外周边可以包括圆形、椭圆形、诸如正方形或矩形的多边形或任何其他规则或不规则的期望形状。在至少一些实施方案中，与不同滤波器层对应的帧的子集可以是大致或大约同心的，但是不同子集的周边不需要具有相同的形状。例如，中心或最高分辨率子集可以是大致圆形的，周围的第二层子集可以具有椭圆形的外周边，而围绕第二层的第三层子集可以具有矩形的外周边。
[0011]在不同实施方案中，可以至少部分地基于来自一个或多个个体的反馈来选择用于预滤波的多个参数的值。此类参数可以包括，例如，多层低通滤波器中的层数，要使用多层低通滤波器的特定层进行滤波的帧的子集的大小或多层低通滤波器的特定层的滤波分辨率设置。在一些实施方案中，可以分析用户研究的结果以确定参数的默认设置，而至少一些设置可以与默认值不同，并且基于从使用在其处执行滤波的可穿戴设备的特定个体接收的反馈定制。在一些实施方案中，可响应于来自穿戴设备的个体的请求而重新校准可穿戴设备的滤波相关参数。在一个实施方案中，例如，响应于检测到个体的注视被定向在非预期的方向上一段时间，可以自动修改一个或多个设置，而不是需要重新校准过程以改变参数设置。
[0012]根据一个实施方案，一种系统可以包括一个或多个处理器、一个或多个传感器以
及一个或多个存储器。存储器可以存储程序指令，该程序指令在一个或多个处理器上执行时可以实现一种方法，该方法包括使用多层低通滤波器对视频数据进行滤波。滤波器的第一层的分辨率设置可以不同于第二层；例如，第一层可以具有比第二层更高的分辨率设置，并且可用于处理最靠近个体注视的中心方向的帧的元素，而第二层用于围绕使用第一层处理的子集的帧的一部分。在各种实施方案中，可以使用一个或多个传感器来动态地检测和跟踪注视的方向。在各种实施方案中，多层滤波器的输出可以被压缩并传输到视频处理引擎。
[0013]根据另一实施方案，一种非暂态计算机可访问存储介质可以存储程序指令。当在一个或多个处理器上执行时，致使程本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种方法，包括：使用设备的多层低通滤波器的参数的第一组值来对一个或多个视频帧进行滤波，其中所述多层低通滤波器包括具具有相应滤波分辨率的第一层和第二层，所述滤波包括：对于所述一个或多个视频帧中的个体视频帧，将所述第一层应用于所述视频帧的第一像素子集，并将所述第二层应用于所述视频帧的第二像素子集；确定所述一个或多个视频帧的内容的一个或多个属性；和至少部分地基于所述一个或多个属性来修改所述多层低通滤波器的至少一个参数的值。2.根据权利要求1所述的方法，其中所述内容的所述一个或多个属性包括对比属性。3.根据权利要求1所述的方法，其中所述修改包括：改变要使用所述多层低通滤波器的所述第一层进行滤波的视频帧的子集的大小。4.根据权利要求1所述的方法，其中所述设备包括可穿戴设备。5.根据权利要求1所述的方法，其中所述设备包括混合现实系统设备。6.根据权利要求1所述的方法，其中使用所述第一层进行滤波的视频帧的一部分的周边包括以下项中的一者：(a)圆形，(b)椭圆形，(c)或多边形。7.根据权利要求1所述的方法，还包括：显示在所述一个或多个视频帧中所表示的环境的经修改的视觉表示，其中所述经修改的视觉表示是使用视频处理引擎获取的，所述滤波的结果被提供给所述视频处理引擎作为输入。8.一种系统，包括：一个或多个处理器；以及一个或多个存储器；其中所述一个或多个存储器存储程序指令，当所述程序指令在所述一个或多个处理器上或跨所述一个或多个处理器被执行时执行方法，所述方法包括：使用多层低通滤波器的参数的第一组值来对一个或多个视频帧进行滤波，其中所述多层低通滤波器包括具具有相应滤波分辨率的第一层和第二层，所述滤波包括：对于所述一个或多个视频帧中的个体视频帧，将所述第一层应用于所述视频帧的第一像素子集，并将所述第二层应用于所述视频帧的第二像素子集；确定所述一个或多个视频帧的内容的一个或多个属性；和至少部分地基于所述一个或多个属性来修改所述多层低通滤波器的至少一个参数的值。9.根据权利要求8所述的系统，其中所述内容的所述一个或多个属性包括对比属性。10.根据权利要求8所述的系统，其中所述修改包括：改变要使用所述多层低通滤波器的所述第一层进行滤波的视频帧的子集的大小。11.根据权利要求8所述的系统，其中所述方法还包括：至少部分地基于从执行滤波的设备的用户获得的反馈来修改所述多层低通滤波器的一个或多个参数的值。12.根据权利要求8所述的系统，其中使用所述第一层进行滤波的视...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。