用于增强现实的设备和方法技术

本发明专利技术公开用于在现实上投影由手提式装置(100)产生的内容的附件和方法。附件(2)包括被配置用于机械附接到所述手提式装置的外壳(102)，和在所述外壳内的观测光学器件(108)，所述观测光学器件被配置成经由透视显示器(23)在现实上投影由所述手提式装置产生的内容的图像。在一些应用中，所述手提式装置是智能电话。

【技术实现步骤摘要】
【国外来华专利技术】用于增强现实的设备和方法
本专利技术涉及使用智能电话的增强现实应用。
技术介绍
增强现实使用现实的直接或间接观测，其中通过在现实上叠加额外信息(通常，计算机产生的信息)来进一步增强现实。使用现实的直接观测的装置通常含有透视显示器，即，半透明镜(通常被称作组合器)，通过所述透视显示器，可观察到现实且将其与叠加信息组合。这些装置通常含有例如GPS的定位元件和进一步含有陀螺仪、加速度计和磁力计的例如IMU(惯性测量单元)的定向元件。此增强现实装置的实例为HMD(头戴式显示器)，例如，微软的全息透镜(HoloLens)。与规则的眼戴设备相比，这些装置通常体积大且较重，不太舒适，不太美且昂贵。这些缺点位列阻止HMD得到广泛消费者接受的主要障碍其中。为了克服这些缺点，进行将移动电话用于增强现实应用的尝试。移动电话含有内置相机、GPS、IMU、显示器、处理器和无线连接性，且广泛地用作消费者产品。因而，移动电话使自身成为用于增强现实应用的平台。然而，移动电话只实现现实在其显示屏上的间接观测。因此，当使用用于增强现实的智能电话应用时，将叠加的信息与由电话相机获取的现实的图像组合，而非与现实自身组合。用于增强现实的移动电话应用包括由(例如)Layar和Metaio开发的应用。由于现实的观测是间接的，即，仅如与现实自身相反的现实的影响显现于智能电话显示屏上，因此如上所述的移动电话应用具有显著的缺点，因为显示图像是2D，取决于相机视野，且因而既不提供距离的感知，也不提供物体的维度的感知，从而使定向非常困难。在智能电话上提供增强现实的另一尝试是引入具有透明显示屏的电话，即，联想的Zuk(http://gadgets.ndtv.com/mobiles/news/lenovos-zuk-unveils-transparent-display-smartphone-prototype-728043)。在这个应用中，用户可通过透明屏幕观测现实，同时将额外信息显示于显示屏上。主要缺点在于，由于视差，不能将显示的信息与风景对准，即，即使电话稳定且用户移动他/她的头，关于风景的注记的位置仍将改变。这是因为风景远(通常数十到数百米)，而电话显示器近(通常，23到30cm)。
技术实现思路
本专利技术通过将规则移动电话用作如本来已知的增强现实装置来克服以上缺点，但具有组合在现实自身上叠加而非在现实的图像上叠加的信息的进一步增强。以此方式，本专利技术提供无视差地组合叠加，下文将对其进行清楚描述。根据本专利技术的增强现实系统还实现由用户标示真实物体(例如，建筑物)，并且使用电话位置、相机定向和物体图像从数据库(例如，街景(StreetView))提取其位置。类似地，当物体的位置已知时，系统可将用户指引到物体，且将其标示。在两个情况中，一旦已标示物体，可从例如街景的数据库提取那个物体的高分辨率图像。一旦已从数据库提取物体的高分辨率图像，那么可在实现中叠加图像，从而实现由用户执行电子放大和缩小操作。在不存在此数据库的情况下，到物体的距离可基于它的图像，使用例如深度学习(DeepLearning)(即，YannLeCun，YoshuaBengio&GeoffreyHinton，“深度学习”，自然，第521卷，第436-444页，2015)从所述图像来确定/估计，而不依赖已知坐标。对于训练此类方法，给予训练算法具有到每一图像中的至少一个目标位置的已知深度(图像中的点距相机的距离)的图像的大数据集。从这个训练集，算法自动确定用于到新图像中的所要的位置的距离估计的一组参数。附图说明为了理解本专利技术且看看实践中可将其进行的方式，现将仅通过非限制性实例，参看附图来描述实施例，其中：图1是展示观测器机械附接到的智能电话的本专利技术的示意性表示；图2是展示根据本专利技术的第一实施例的观测器的功能性的框图；图3示意性展示根据本专利技术的第二实施例的与智能电话的显示屏成关系的观测器的光学组件；图4示意性展示根据第二实施例的对应于所关注的区域的智能电话的显示屏的一部分；图5a是根据第二实施例的附接到智能电话的观测器的图画表示；图5b图画展示与智能电话的显示屏成关系的观测器的光学组件；图6是示意性展示本专利技术的第三实施例的框图；且图7是总结根据本专利技术的不同实施例的可标示物体的方式的流程图。具体实施方式在一些实施例的以下描述中，在不止一个图中出现或共享类似功能性的相同组件将由相同参考符号来参考。图1示意性描绘展示观测器2(由附件构成)机械附接到的智能电话100的本专利技术的实施例。如在图2中展示的观测器2包括一外壳102，其含有耦合到光学引擎22的控制器21，所述光学引擎22可任选地为LumusOE-32(见http://lumus-optical.com/#plxproductssection)，具有透视显示器(组合器)23，其部分透明，使得用户可通过它观察到真实风景。透视显示器23也用来投影由风景之上的智能电话100产生的信息。观测器2的第一实施例进一步在图2中详述。控制器21具有USB接收器25，其被配置用于连接到智能电话的USB端口(未展示)，并且将由电话产生的USB信号分裂到其组件，即，控制(所属领域中已知的I2C，集成电路总线)、功率和视频。USB接收器还将视频信号转换到并行的24位RGB信号。这转换的视频信号被传送到帧速率转换器(FRC)26，其增大视频帧速率以匹配转换的视频信号由FRC26馈入到的微显示器27。微显示器27可为有机LED(OLED)，但如果它是LCOS(硅上液晶)，那么达成更高的照明强度。如果微显示器27基于LCOS技术建置，那么将I2C信号馈入到脉冲宽度调制器(PWM)28，其控制照射微显示器的LED32的强度。LCOS微显示器27经由耦合光学器件30将图像馈入到透视显示器23，该耦合光学器件30将由微显示器产生的图像光学投影到透视显示器。I2C信号还用来控制微显示器27和FRC26。在不太优选的情况中，微显示器27是OLED，省略PWM28和LED32，并且I2C直接控制OLED。经由USB接收器25将电力馈入到相关组件，即，微显示器27和LED32。替代地，可使用外部电池(未展示)使电话电池的排放最小化。替代地，替代使用电话USB接口，可使用诸如Moto-Z接口(http://newatlas.com/moto--z--review/44485/)的不同电话连接。在透视显示器23上显示的图像叠加于真实风景上，优选地，以无限方式，因此在风景与叠加信息之间不存在视差。另一实施例示意性地展示于图3和图4中。观测器2的外壳102直接或使用适配器机械附接到智能电话100。将附件附接到智能电话的机械方式在所属领域中是已知的，即，Miggo的PictariPhone相机附件(https://www.dpreview.com/news/1219763835/miggo-wants-to-dslr-your-iphone-with-the-pielar-grip)或用于智能电话的Zeiss的镜头附件(http://petapixei.com/2016/01/06/zeiss-is-jumping-into-the-world-of-smartphone-lens-access本文档来自技高网...

【技术保护点】
1.一种用于在现实上投影由手提式装置(100)产生的内容的附件(2)，所述附件包括：外壳(102)，其被配置为机械附接到所述手提式装置，以及所述外壳内的观测光学器件(108)，其被配置成经由透视显示器(23)在现实上投影由所述手提式装置产生的内容的图像。

【技术特征摘要】
【国外来华专利技术】2016.08.18 IL 2473601.一种用于在现实上投影由手提式装置(100)产生的内容的附件(2)，所述附件包括：外壳(102)，其被配置为机械附接到所述手提式装置，以及所述外壳内的观测光学器件(108)，其被配置成经由透视显示器(23)在现实上投影由所述手提式装置产生的内容的图像。2.根据权利要求1所述的附件，其中所述手提式装置(100)为智能电话。3.根据权利要求1或2所述的附件，进一步包含控制器(21)，其被配置用于接收电子信号且将所述电子信号转换成由所述观测光学器件在现实上投影的图像。4.根据前述权利要求中任一权利要求所述的附件，其中所述内容显示于所述手提式装置的显示屏(200)上，且所述查看光学器件(108)被配置成获得在所述手提式装置的所述显示屏上显示的所述图像的至少一部分，且将所述图像的所述部分投影于外部现实上。5.根据权利要求4所述的附件，其中所述透视显示器为半透明镜子(106)。6.根据权利要求4所述的附件，其中所述透视显示器为光学波导。7.一种用于确定由其空间位置已知的手提式相机(101)成像的物体的空间中位置的方法，所述方法包括：使用所述相机的所述已知位置，结合所述相机相对于所述物体的观测方向以及所述物体的图像，以找到含有物体图像的数据库中的记录和关于其相应位置的信息；以及从所述数据库提取所述物体的所述位置。8.根据权利要求7所述的方法，包含从所述数据库提取所述物...

【专利技术属性】
技术研发人员：兹维·拉皮多特，埃胡德·提罗什，奥代德·阿尔农，
申请(专利权)人：韦瑞德有限公司，
类型：发明
国别省市：以色列,IL