视频数据的基于注视方向的自适应预滤波制造技术

多层低通滤波器用于滤波表示个体的环境的至少一部分的视频数据的第一帧。滤波器的第一层具有用于第一帧的第一子集的第一滤波分辨率设置，而滤波器的第二层具有用于第二子集的第二滤波分辨率设置。第一子集包括沿个体的注视方向定位的数据元素，并且帧的第二子集围绕第一子集。滤波的结果被压缩并经由网络传输到视频处理引擎，该视频处理引擎被配置为生成环境的修改的视觉表示。

Adaptive prefilter based on fixation direction for video data

【技术实现步骤摘要】
【国外来华专利技术】视频数据的基于注视方向的自适应预滤波
本公开整体涉及用于处理和传输视频数据的系统和算法。
技术介绍
随着视频捕获技术的改进以及成本的降低，越来越多的带有视频部件的应用程序变得流行。例如，混合现实应用程序(可以在其中使用虚拟对象或相关补充信息来增强现实世界物理对象或视图的应用程序)和/或虚拟现实应用程序(用户可以在其中穿越虚拟环境的应用程序)，在两者中视频数据都是可以捕获和操纵的，越来越成为开发和商业化的焦点。对于至少一些应用程序，可以在除视频捕获设备本身之外的设备处处理表示环境的视频数据。也就是说，视频数据可能必须通过网络路径(诸如无线链路)传输，该网络路径可能相对于原始视频数据的捕获速率具有相对较低的带宽容量。取决于应用程序的视频保真度要求，在受限的网络路径上管理视频数据流，同时保持用户对应用程序的高度满意可能存在不小的技术挑战。
技术实现思路
本公开描述了用于视频数据的基于注视方向的预滤波的方法和装置的各种实施方案。在至少一些实施方案中，滤波技术可以利用以下事实：人类视觉系统中的视敏度或感知精度通常作为远离注视的中心方向本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n跟踪个体的注视；/n使用多层低通滤波器来滤波表示所述个体的环境的至少一部分的视频数据的第一帧，其中所述多层低通滤波器包括至少第一层和第二层，其中所述第一层具有用于所述第一帧的第一子集的第一滤波分辨率设置，其中所述第二层具有用于所述第一帧的第二子集的第二滤波分辨率设置，其中所述第一子集包括沿所述注视相对于所述第一帧的第一方向定位的一个或多个数据元素，并且其中所述第二子集的至少一部分围绕所述第一子集的至少一部分；/n压缩所述滤波的结果；并且/n经由网络将所述压缩的结果的至少一部分传输至视频处理引擎，所述视频处理引擎被配置为生成所述环境的修改的视觉表示。/n

【技术特征摘要】
【国外来华专利技术】20170721 US 62/535,734;20180719 US 16/040,4961.一种方法，包括：
跟踪个体的注视；
使用多层低通滤波器来滤波表示所述个体的环境的至少一部分的视频数据的第一帧，其中所述多层低通滤波器包括至少第一层和第二层，其中所述第一层具有用于所述第一帧的第一子集的第一滤波分辨率设置，其中所述第二层具有用于所述第一帧的第二子集的第二滤波分辨率设置，其中所述第一子集包括沿所述注视相对于所述第一帧的第一方向定位的一个或多个数据元素，并且其中所述第二子集的至少一部分围绕所述第一子集的至少一部分；
压缩所述滤波的结果；并且
经由网络将所述压缩的结果的至少一部分传输至视频处理引擎，所述视频处理引擎被配置为生成所述环境的修改的视觉表示。


2.根据权利要求1所述的方法，还包括：
确定所述个体的所述注视相对于视频数据的第二帧的修改方向；并且
在视频数据的所述第二帧内，使用所述第一层识别要滤波的另一数据元素子集，其中所述另一子集包括沿所述注视的所述修改方向定位的一个或多个数据元素。


3.根据权利要求1所述的方法，其中所述跟踪、所述滤波和所述压缩在可穿戴设备处执行。


4.根据权利要求3所述的方法，其中所述可穿戴设备包括混合现实系统的头戴式显示器(HMD)设备。


5.根据权利要求1所述的方法，还包括：
识别对应于所述第一帧的所述第一子集和所述第一帧的所述第二子集之间的边界区域的数据元素的混合目标集，其中所述滤波包括：
将所述滤波器的所述第一层应用于所述混合目标集以获得第一滤波输出；
将所述滤波器的所述第二层应用于所述混合目标集以获得第二滤波输出；并且
使用混合函数来组合所述第一滤波输出和所述第二滤波输出。


6.根据权利要求1所述的方法，其中所述第一帧的所述第一子集的周边包括以下项中的一者：(a)圆形，(b)椭圆形，(c)或多边形。


7.根据权利要求1所述的方法，其中所述多层低通滤波器的一个或多个参数的值至少部分地基于从一个或多个个体获得的反馈来设置，其中所述一个或多个参数包括以下项中的一者或多者：(a)所述多层低通滤波器中的层数，(b)要使用所述多层低通滤波器的特定层进行滤波的帧的子集的大小，或者(c)所述多层低通滤波器的特定层的滤波分辨率设置。


8.根据权利要求7所述的方法，还包括：
响应于确定所述个体已提交重新校准请求而获得所述反馈。


9.根据权利要求7所述的方法，其中所述反馈包括所述个体的所述注视的方向不同于期望方向的指示。


10.一种系统，包括：
一个或多个处理器，
一个或多个传感器；和
一个或多个存储器，其中所述一个或多个存储器存储程序指令，所述程序指令当在所述一个或多个处理器上执行时执行方法，所述方法包括：
使用多层低通滤波器来滤波表示个体的环境的至少一部分的视频数据的第一帧，其中所述多层低通滤波器包括至少第一层和第二层，其中所述第一层具有用于所述第一帧的第一子集的第一滤波分辨率设置，其中所述第二层具有用于所述第一帧的第二子集的第二滤波分辨率设置，其中所述第一子集包括沿所述个体的注视相对于所述第一帧的第一方向定位的一个或多个数据元素，其中所述第二子集的至少一部分围绕所述第一子集的至少一部分，并且其中使用所述一个或多个传感器中的至少一个传感器来检测所述第一方向；
压缩所述滤波的结果；并且
经由网络将所述压缩的结果的至少一部分传输至视频处理引擎，所述视频处理引擎被配置为生成所述环境的修改的视觉表示。


11.根据权利要求10所述的系统，其中所述方法还包括：

【专利技术属性】
技术研发人员：金灿，N·P·M·F·邦尼尔，潘昊，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US