使用IR和环境光的混合像素动态视觉传感器跟踪制造技术

DVS具有呈已知配置的光敏元件阵列，并且响应于从相对于彼此和相对于控制器主体呈已知配置的两个或更多个光源输出的光的变化而在所述阵列中的对应光敏元件处输出对应于事件的信号。所述信号指示所述事件的时间和所述对应光敏元件的阵列位置。滤波器选择性地将来自所述光源的光传输到所述阵列中的光敏元件并选择性地阻挡其他光到达那些元件，且反之亦然。处理器根据所述事件的时间、对应光敏元件的阵列位置和所述已知光源配置确定控制器的位置和取向并根据从其他光产生的由两个或多个光敏元件生成的信号确定一个或多个对象的位置和取向。位置和取向。位置和取向。

【技术实现步骤摘要】
使用IR和环境光的混合像素动态视觉传感器跟踪


[0001]本公开的各方面涉及游戏控制器跟踪，具体地，本公开的各方面涉及使用动态视觉传感器的游戏控制器跟踪。

技术介绍

[0002]现代虚拟现实(VR)和增强现实(AR)实施方式依赖于准确且快速的运动跟踪以用于与装置的用户交互。AR和VR通常依赖于关于控制器相对于其他对象的位置和取向的信息。许多VR和AR实施方式依赖于控制器内的加速度计或陀螺仪进行的惯性测量与外部相机为确定控制器的位置和取向而对控制器进行的视觉检测组合。
[0003]最早实施方式中的一些使用由指向屏幕的游戏控制器上的具有定义的检测半径的红外相机检测到的红外光。相机以每秒200帧的适度快的速率拍摄图像，并且红外光的位置得以确定。在红外光之间的距离是预定的，并且根据红外光在相机图像中的相对位置，可计算控制器相对于屏幕的位置。加速度计有时还用于提供关于控制器的位置或取向的相对三维变化的信息。这些先前实施方式依赖于屏幕和指向该屏幕的控制器的固定位置。在现代VR和AR实施方式中，屏幕可在随用户移动的头戴式显示器中放置得靠近用户的面部。因此，具有绝对光位置(也称为灯塔)变得不期望，因为用户必须设置独立灯塔点，这要求额外设置时间并限制用户的移动范围。另外，即使红外相机的呈每秒200帧的适度快的帧率也未快到足以为运动提供平滑反馈。此外，该简单设置本身不适合与更现代的由内而外检测方法(诸如房间映射和手部检测)一起使用。
[0004]最近实施方式使用相机和加速度计与被训练来检测手部、控制器和/或其他身体部分的经训练的机器学习算法结合。对于平滑运动检测，必须使用高帧率相机来生成用于身体部分/控制器检测的图像帧。这生成大量数据，必须迅速地处理这些数据才能实现平稳更新率。因此，必须使用昂贵的硬件来处理帧数据。另外，帧中的每一者中的帧数据的大部分被认为是不必要的，因为它与运动跟踪无关。
[0005]正是在这种背景内提出本公开的各方面。
附图说明
[0006]可通过结合附图考虑以下详细描述来容易地理解本专利技术的教导，在附图中：
[0007]图1是描绘根据本公开的一方面的使用具有单传感器阵列的DVS的游戏控制器跟踪的实施方式的图。
[0008]图2是描绘根据本公开的一方面的使用具有双传感器阵列的DVS的游戏控制器跟踪的实施方式的图。
[0009]图3是描绘根据本公开的一方面的使用具有单传感器阵列和相机的组合DVS的游戏控制器跟踪的实施方式的图。
[0010]图4是示出根据本公开的一方面的DVS跟踪具有两个或更多个光源的游戏控制器的移动的图。
[0011]图5是描绘根据本公开的一方面的使用包括具有单传感器阵列的DVS的控制器的头部跟踪或其他装置跟踪的实施方式的图。
[0012]图6是描绘根据本公开的一方面的使用包括具有双传感器阵列的DVS的游戏控制器的头部跟踪或其他装置跟踪的实施方式的图。
[0013]图7是示出根据本公开的一方面的使用包括具有单传感器阵列和相机的组合DVS的控制器的头部跟踪或其他装置跟踪的实施方式的图。
[0014]图8是描绘根据本公开的一方面的用于使用一个或多个光源和光源配置拟合模型用DVS进行运动跟踪的方法的流程图。
[0015]图9是示出根据本公开的一方面的用于使用加时间戳光源位置信息用DVS进行运动跟踪的方法的流程图。
[0016]图10A是描绘根据本公开的一方面的具有一层节点的RNN的基本形式的图，该节点中的每一者的特征为激活函数、一个输入权重、循环隐藏节点转变权重和输出转变权重。
[0017]图10B是示出根据本公开的各方面的RNN可被认为是随时间推移的具有相同激活函数的一系列节点的简化图。
[0018]图10C描绘了根据本公开的各方面的卷积神经网络诸如CRNN的示例布局。
[0019]图10D示出了描绘根据本公开的各方面的用于机器学习神经网络的监督训练的方法的流程图。
[0020]图11A是描绘根据本公开的各方面的具有多种共定位传感器类型的混合DVS的图。
[0021]图11B是根据本公开的各方面的具有以棋盘图案布置成阵列的多种传感器类型的混合DVS的图。
[0022]图11C是根据本公开的各方面的具有以某一图案布置成阵列的多种传感器类型的混合DVS的示意性横截面图。
[0023]图11D是根据本公开的各方面的以某一图案布置成阵列的具有多种滤波器类型的混合DVS的示意性横截面图。
[0024]图12是示出根据本公开的各方面的包括具有用光分离器分离的输入的多种传感器类型的混合DVS的图。
[0025]图13是描绘根据本公开的各方面的具有包括由微机电(MEMS)镜分离的输入的多种传感器类型的混合DVS的图。
[0026]图14是示出根据本公开的各方面的具有包括时间滤波的输入的多种传感器类型的混合DVS的图。
[0027]图15是描绘根据本公开的各方面的用DVS进行身体跟踪的图。
[0028]图16A是描绘根据本公开的各方面的具有安全挡板(shutter)门的头戴式耳机的图。
[0029]图16B是示出根据本公开的各方面的具有滑动安全挡板的头戴式耳机的图。
[0030]图16C是描绘根据本公开的各方面的具有百叶式安全挡板的头戴式耳机的图。
[0031]图16D是示出根据本公开的各方面的具有织物安全挡板的头戴式耳机的图。
[0032]图16E是示出根据本公开的各方面的具有液晶安全挡板的头戴式耳机的图。
[0033]图17是描绘根据本公开的各方面的用DVS和控制器进行手指跟踪的图。
[0034]图18A至图18B是示出在本公开的各方面的背景内的凝视跟踪的示意图。
[0035]图19是根据本公开的各方面的用于用DVS进行跟踪的系统的系统框图。
具体实施方式
[0036]尽管以下详细描述出于说明目的含有许多具体细节，但是本领域任一普通技术人员将了解，对以下细节的许多变化和更改在本专利技术的范围内。因此，下文描述的本专利技术的示例性实施方案在不失要求保护的本专利技术的一般性且未对要求保护的本专利技术强加限制的情况下进行阐述。
[0037]引言
[0038]最近开发了一种称为动态视觉系统(DVS)的新类型视觉系统，DVS仅利用光敏像素阵列的光强度的变化来解决场景的变化。DVS具有极快的更新率，并且DVS提供像素强度的变化的位置的近连续流，而不是提供图像帧流。像素强度的每个变化可称为事件。这具有极大地减少无关数据输出的附加益处。
[0039]两个或更多个光源可以由光的闪光速度确定的更新率提供关于DVS相机相对于位置指示器灯的位置的连续更新。在一些实施方式中，两个或更多个光源可以是红外光源，并且DVS可使用红外光敏像素。替代地，DVS可能对可见光谱敏感，并且两个或更多个光源可以是呈已知波长的可见光源或可见光。在具有对可见光敏感的DVS的实施方式中，DVS还可能对在其视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跟踪系统，所述跟踪系统包括处理器；动态视觉传感器(DVS)，所述DVS可操作地耦合到所述处理器，所述DVS具有呈已知配置的光敏元件阵列，其中所述动态视觉传感器被配置为响应于从相对于彼此和相对于控制器主体呈已知配置的两个或更多个光源输出的光的变化而在所述阵列中的两个或更多个对应光敏元件处输出对应于两个或更多个事件的信号，其中所输出的信号包括对应于所述两个或更多个事件的时间和所述两个或更多个对应光敏元件在所述阵列中的位置的信息；以及一个或多个滤波器，所述一个或多个滤波器被配置为选择性地将来自所述两个或更多个光源的光传输到所述阵列中的所述光敏元件中的一者或多者，以及选择性地阻挡其他光到达所述阵列中的所述光敏元件中的一者或多者，其中所述一个或多个滤波器还被配置为选择性地阻挡来自所述两个或更多个光源的光到达所述阵列中的所述光敏元件中的一者或多者，以及选择性地将所述其他光传输到所述阵列中的所述光敏元件中的一者或多者，其中所述处理器被配置为根据所述两个或更多个事件的所述时间、所述两个或更多个对应光敏元件在所述阵列中的所述位置、所述两个或更多个光源相对于彼此和相对于所述控制器主体的所述已知配置确定控制器的位置和取向，其中所述处理器还被配置为根据从到达两个或更多个光敏元件的其他光产生的由所述两个或更多个光敏元件生成的信号确定一个或多个对象的位置和取向。2.如权利要求1所述的跟踪系统，其中所述其他光是来自环境的环境光，并且由两个或更多个光敏元件生成的所述信号由所述阵列中的两个或更多个光敏元件生成。3.如权利要求1所述的跟踪系统，其中所述一个或多个滤波器包括在所述阵列中的所述光敏元件中的第一组一个或多个红外(IR)光敏元件上的IR通滤波器和在所述阵列中的所述光敏元件中的第二组一个或多个光敏元件上的红外截止滤波器。4.如权利要求1所述的跟踪系统，其中所述一个或多个滤波器被配置为选择性地将来自所述两个或更多个光源的光传输到所述阵列中的所述光敏元件中的一者或多者，以及选择性地阻挡其他光到达所述阵列中的所述光敏元件中的所述一者或多者，其中所述一个或多个滤波器还被配置为选择性地阻挡来自所述两个或更多个光源的光到达所述阵列中的所述光敏元件中的不同的一者或多者，以及选择性地将所述其他光传输到所述阵列中的所述光敏元件中的所述不同的一者或多者。5.如权利要求1所述的跟踪系统，其中所述一个或多个滤波器被配置为选择性地将来自所述两个或更多个光源的光传输到所述阵列中的所述光敏元件中的一者或多者，以及选择性地在某些时间阻挡其他光到达所述阵列中的所述光敏元件中的所述一者或多者，并且其中所述一个或多个滤波器还被配置为选择性地阻挡来自所述两个或更多个光源的光到达所述阵列中的所述光敏元件中的不同的一者或多者，以及选择性地在其他时间将所述其他光传输到所述阵列中的所述光敏元件中的所述不同的一者或多者。6.如权利要求1所述的跟踪系统，其中所述一个或多个对象包括控制器。7.如权利要求6所述的跟踪系统，其中所述一个或多个对象包括除所述控制器外的对象。8.如权利要求...

【专利技术属性】
技术研发人员：X，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：