用于在外部场景与虚拟图像之间配准的方法和系统技术方案

本发明专利技术提供用于扩增实境投影中以确定由眼睛成像于视网膜上的外部场景与虚拟图像/扩增数据之间的配准的技术。在某些实施例中，本发明专利技术涉及用于通过对视网膜成像并识别其上的外部场景的投影而确定视网膜上的扩增实境投影与视网膜所捕捉到的外部场景之间的配准的技术。

Method and system for registration between external scene and virtual image

【技术实现步骤摘要】
【国外来华专利技术】用于在外部场景与虚拟图像之间配准的方法和系统
本专利技术涉及眼投影领域，更具体而言，本专利技术涉及用于将纯扩增/虚拟现实图像投影至用户眼睛上的技术。
技术介绍
用于将虚拟及/或扩增实境投影至用户眼睛上的头戴式或以其他方式配戴的图像投影系统变得越来越热门。在许多情况中此类系统系被配置为眼镜可配戴至用户头上且可操作用于将图像投影至用户眼睛上以将虚拟实镜图像/视频投影提供给用户。为达此目的，某些已知的系统致力于将纯虚拟实镜图像投影提供至用户眼睛且此类系统阻挡来自外部场景到达眼睛，但其他系统致力于提供扩增实境体验，且在此类系统允许来自外部场景的光通过眼中的同时被图像投影系统投影至眼上的图像/视频帧所扩增/迭加。
技术实现思路
本专利技术提供用于扩增实境投影中以确定由眼睛成像于视网膜上的外部场景与虚拟图像/扩增数据之间的配准的技术。在某些实施例中，本专利技术涉及用于通过对视网膜成像并识别其上的外部场景的投影而确定视网膜上的扩增实境投影与视网膜所捕捉到的外部场景之间的配准的技术。在每个眼所感知的图像被投影至眼前的成像平面上的传统技术中，成像平面通常与参考帧相关，此参考帧相对于用户所在的外部场景/环境的参考帧固定(如真实图像被投影至电影院中的固定屏幕上的典型3D电影电影院的情况)、或相对于与用户头部相关联的参考帧固定(如被设计为用来投影扩增/虚拟现实至用户的飞行员或游戏者头盔的情况)。在这些情况的任一个中，被投影的图像并非固定至眼睛的参考帧(即眼球的视线)，这导致目标-视线对投影模块的对准的已知问题，需要特别校正。图像直接投影至眼视网膜上的技术的原理例如更细详地在共同转让给本申请的受让人的同在审理中的PCT专利申请WO2015/132775中描述，将其包括于此作为参考。此图像直接投影至眼视网膜上能在视网膜上产生具有改善的景深的图像，因此避免因眼睛试图在错误距离处对焦所造成的眼睛不适及疲劳。本专利技术大致上涉及配准系统及方法以及用于利用虚拟信息(如计算机产生的物体的图像)而整合或扩增外部场景(如真实或捕捉到的真实世界图像)的真实信息的扩增实境(AR)技术。更具体而言，本专利技术涉及在AR系统中虚拟世界信息与真实世界信息的配准技术。AR技术使人能见到或以其他方式感知到与真实世界整合的电脑生成的虚拟世界。“真实世界”是观察者可利用其自身感观所见、感觉、听、尝、或闻到的环境。“虚拟世界”被定义为储存在储存媒体中或利用处理器所计算得到的经生成的环境。AR技术中的配准系统使虚拟世界和真实世界配准，以观察者可用的方式整合虚拟信息与真实信息。因此本专利技术的系统不仅是能非常精准地使经投影的信息与真实世界对准，还能产生最佳的实时遮挡地图，实时遮挡地图为近体互动的重要问题。该技术使用来自视网膜的光的反射将外部场景的投影成像至视网膜上；配准相对于视网膜上的外部场景的图像投影的扩增视频/图的输入，由此能将扩增视频投影至视网膜上与外部场景配准。更具体而言，在特定的投影波长下，世界信息数据与现实世界图像数据卷积。对于光谱的其余部分(不包括投影波长)，由于可见光谱的其余部分的积分具有大量能量，因此将现实世界的信息数据保留在可见光谱中。根据本专利技术的广义方面，提供一种要与扩增实境系统一起使用的配准系统，其包括：传感器，被配置为且可操作用于接收从用户眼睛的视网膜所反射的光束部分及对表示该用户眼睛所感知到的外部场景的图像的反射光束部分成像，由此产生再现图像；及控制单元，连接至该传感器且被配置为且可操作用于接收该外部场景的三维图像数据、比较该再现图像与该三维图像数据；及在该外部场景与该虚拟图像之间进行相对该眼的至少一个参数的配准，由此将该虚拟图像投影至该视网膜上与该外部场景配准。在此处应理解，如上所述，外部场景的三维图像数据由位于用户的眼睛上方的成像单元所产生，因此容易有和用户眼睛相关的视差效应。由于相机系统无法被置于眼睛上，因此存在视差(即沿着两不同视线(相机系统的视线与眼睛的视线)所看到的物体的明显位置的差异)。本专利技术的配准系统的目的在于在投影虚拟图像之前调整投影以补偿此视差偏差。旦在图像投影期间配准对准了目标视线，则配准系统可重复配准处理以补偿用户脸孔上的眼镜的任何位移。为达此目的，本专利技术的系统比较表示外部场景的图像数据与自用户眼睛所反射的图像数据以确定收集表示外部场景的图像数据的成像单元与用户眼睛之间的相对位置与位向、配准虚拟世界物体与真实世界物体、及通过在真实世界物体上显示或投影虚拟世界物体的图像或通过电子结合虚拟世界物体的图像与真实世界物体的经捕捉的图像而整合虚拟世界物体与真实世界物体。在某些实施例中，本专利技术的配准系统被配置为在扩散实境(AR)系统内配准虚拟信息与真实世界信息。在AR系统中的适当配准能使用户正确地观看虚拟场景并引导用户恰当地放置或以其他方式与扩增视野中的真实物体互动。配准系统所进行的配准处理能确定些参数，这些参数包括了至少一个真实世界物体或目标与用户眼睛之间的相对位置与位向。在某些实施例中，本专利技术的技术能在不校正的情况下提供虚拟信息与真实世界信息的配准。在某些实施例中，该配准系统还包括图像生成器，该图像生成器用于获得表示该虚拟图像的数据、产生与该虚拟图像的像素对应的多个光束部分、以及引导该多个光束部分沿着总光学传播路径传播。在某些实施例中，该配准系统还包括具有偏光器的眼投影光学模块，其用于使该多个光束部分的总光学传播路径偏向该用户眼睛的瞳孔由此将虚拟图像直接投影至眼睛的视网膜上。在某些实施例中，该配准系统还包括成像单元，其用于使光朝向该外部场景传输、收集从该外部场景反射的光、及处理收集到的光以产生其捕捉到的三维图像。根据本专利技术的另一广义方面，还提供一种要与感知外部场景的用户眼睛一起使用的眼投影系统。该系统包括传感器，该传感器位于从每个用户眼睛所反射的光的光学路径中且被配置为且可操作用于接收从用户视网膜所反射的光束部分并对表示该外部场景的图像的反射光束部分成像以由此产生该外部场景的再现图像；图像生成器，用于获得表示虚拟图像的数据、产生与该虚拟图像的像素对应的多个光束部分、以及引导该多个光束部分沿着总光学传播路径传播；眼投影光学模块，位于该总光学传播路径中且包括偏光器，该偏光器被配置为且可操作用于使该多个光束部分的该总光学传播路径偏向该用户眼睛，由此将该虚拟图像直接投影至该眼睛的视网膜上，其中该总光学传播路径受到偏移以使入射至该瞳孔上具有不同瞳孔入射角度的该多个光束部分针对不同注视方向，该不同注视方向相对于与特定注视方向相关的该眼睛的视线；及控制单元，用于接收该外部场景的三维图像数据，其中该控制单元连接至该传感器且被配置为且可操作用于接收表示该再现图像的数据、比较该数据与该三维图像数据、配准该外部场景与该虚拟图像之间相对于该眼睛的视线的光的至少一个参数由此将该虚拟图像投影至该视网膜上与该外部场景配准。在某些实施例中，该外部场景与该虚拟图像的该至少一个参数包括相对于该用户脸孔的位置与位向中的至少一个。在某些实施例中，该传感器集成于该眼投影光学模块内。在某些实施例本文档来自技高网...

【技术保护点】
1.一种要与感知外部场景的用户眼睛一起使用的眼投影系统，所述系统包括：/n传感器，所述传感器位于从每个用户眼睛所反射的光的光学路径中，且被配置为且可操作用于接收从所述用户的视网膜所反射的光束部分并对表示所述外部场景的图像的所反射光束部分成像，由此产生所述外部场景的再现图像；/n图像生成器，用以获得表示虚拟图像的数据、产生与所述虚拟图像的像素对应的多个光束部分、以及引导所述多个光束部分沿着总光学传播路径传播；/n眼投影光学模块，位于所述总光学传播路径中且包括偏光器，所述偏光器被配置为且可操作用于使所述多个光束部分的所述总光学传播路径偏向所述用户眼睛，由此将所述虚拟图像直接投影至所述眼睛的视网膜上，其中所述总光学传播路径受到偏移以使入射至瞳孔上具有不同瞳孔入射角度的所述多个光束部分相对于与特定注视方向相关的所述眼睛的视线朝向不同注视方向；及/n控制单元，用于接收所述外部场景的三维图像数据，其中所述控制单元连接至所述传感器并且被配置为且可操作用于接收表示所述再现图像的数据、比较所述数据与所述三维图像数据、配准所述外部场景与所述虚拟图像之间相对于所述眼睛的视线的光的至少一个参数，由此使得能够将所述虚拟图像投影至所述视网膜上与所述外部场景配准。/n...

【技术特征摘要】
【国外来华专利技术】20170529 IL 2525821.一种要与感知外部场景的用户眼睛一起使用的眼投影系统，所述系统包括：
传感器，所述传感器位于从每个用户眼睛所反射的光的光学路径中，且被配置为且可操作用于接收从所述用户的视网膜所反射的光束部分并对表示所述外部场景的图像的所反射光束部分成像，由此产生所述外部场景的再现图像；
图像生成器，用以获得表示虚拟图像的数据、产生与所述虚拟图像的像素对应的多个光束部分、以及引导所述多个光束部分沿着总光学传播路径传播；
眼投影光学模块，位于所述总光学传播路径中且包括偏光器，所述偏光器被配置为且可操作用于使所述多个光束部分的所述总光学传播路径偏向所述用户眼睛，由此将所述虚拟图像直接投影至所述眼睛的视网膜上，其中所述总光学传播路径受到偏移以使入射至瞳孔上具有不同瞳孔入射角度的所述多个光束部分相对于与特定注视方向相关的所述眼睛的视线朝向不同注视方向；及
控制单元，用于接收所述外部场景的三维图像数据，其中所述控制单元连接至所述传感器并且被配置为且可操作用于接收表示所述再现图像的数据、比较所述数据与所述三维图像数据、配准所述外部场景与所述虚拟图像之间相对于所述眼睛的视线的光的至少一个参数，由此使得能够将所述虚拟图像投影至所述视网膜上与所述外部场景配准。


2.根据权利要求1所述的眼投影系统，其中所述外部场景与所述虚拟图像的所述至少一个参数包括位置与位向中的至少一个。


3.根据权利要求1或2所述的眼投影系统，其中所述传感器集成于所述眼投影光学模块内。


4.根据权利要求1至3中任一项所述的眼投影系统，还包括成像单元，所述成像单元用于使光朝向所述外部场景的至少一个受关注区域传送、收集从所述外部场景反射的光、以及处理收集到的光以产生所述外部场景的三维图像数据。


5.根据权利要求1至4中任一项所述的眼投影系统，其中所述图像生成器包括至少一个光源，所述至少一个光源被配置为且可操作用于产生在特定波长范围处的至少一个光束部分。


6.根据权利要求1至5中任一项所述的眼投影系统，其中所述眼投影光学模块包括图像扫描仪，所述扫描器被配置为且可操作用于进行图像扫描，以使与所述视网膜上的诸多位置对应的多个反射光束部分依次被所述传感器所收集。


7.根据权利要求1至6中任一项所述的眼投影系统，还包括分光器/组光器，所述分光器/组光器用于使来自所述眼投影光学模块的光朝向所述用户眼睛的所述瞳孔传输、及将从所述视网膜所反射的所述光束部分朝向所述传感器反射。


8.根据权利要求7所述的眼投影系统，其中所述分光器/组光器配置为缺口或带通滤波器，其用于使一个或多个光谱带朝向所述用户的所述瞳孔传输。


9.根据权利要求1至8中任一项所述的眼投影系统，其中所述传感器包括IR传感器，所述IR传感器被配置为且可操作用于检测从所述眼睛反射的至少一个IR光束的反射。


10.根据权利要求1至9中任一项所述的眼投影系统，其中所述偏光器配置为图像扫描仪，所述图像扫描仪被配置为且可操作用于在所述多个光束部分偏向期间进行图像扫描，所述多个光束部分偏向以使所述多个光束部分以与所述视网膜上的诸多位置对应的诸多瞳孔入射角度入射至所述瞳孔上。


11.根据权利要求1至10中任一项所述的眼投影系统，还包括眼追踪器，所述眼追踪器用于确定所述用户眼睛的注视方向。


12.根据权利要求1至11中任一项所述的眼投影系统，其中所述眼投影光学模块包括可调整的聚焦元件，所述可调整的聚焦组件用于变化朝向所述用户眼睛的所述瞳孔的所述多个光束部分的发散...

【专利技术属性】
技术研发人员：B·格林伯格，
申请(专利权)人：爱威愿景有限公司，
类型：发明
国别省市：以色列;IL