利用机动车的显示器产生增强现实的方法和系统技术方案

本发明专利技术提供了一种利用机动车的显示器产生增强现实的方法和系统，包括以下步骤：以图像数据(11)的形式记录机动车的环境的图像；根据图像数据(11)确定三维的虚拟空间(31)；检测图像数据(11)中的真实物体(24、25、26、27、28)；确定三维虚拟空间(31)中的真实物体(24、25、26、27、28)的第一坐标范围；向三维虚拟空间(31)添加虚拟元素(52、53、54)，虚拟元素(52、53、54)具有第二坐标范围；基于用户输入(50)来控制三维虚拟空间(31)中的虚拟元素(52、53、54)；在输出图像(61、62a、62b)中以组合形式输出环境和受控制的虚拟元素(52、53、54)；当真实物体(24、25、26、27、28)的第一坐标范围和受控制的虚拟元素(52、53、54)的第二坐标范围形成相交区域时，修改输出图像(61、62a、62b)；通过机动车的所述显示器(71、240)输出上述修改后的输出图像(61、62a、62b)。

Method and system for generating augmented reality using a display of a motor vehicle

\u672c\u53d1\u660e\u63d0\u4f9b\u4e86\u4e00\u79cd\u5229\u7528\u673a\u52a8\u8f66\u7684\u663e\u793a\u5668\u4ea7\u751f\u589e\u5f3a\u73b0\u5b9e\u7684\u65b9\u6cd5\u548c\u7cfb\u7edf\uff0c\u5305\u62ec\u4ee5\u4e0b\u6b65\u9aa4\uff1a\u4ee5\u56fe\u50cf\u6570\u636e(11)\u7684\u5f62\u5f0f\u8bb0\u5f55\u673a\u52a8\u8f66\u7684\u73af\u5883\u7684\u56fe\u50cf\uff1b\u6839\u636e\u56fe\u50cf\u6570\u636e(11)\u786e\u5b9a\u4e09\u7ef4\u7684\u865a\u62df\u7a7a\u95f4(31)\uff1b\u68c0\u6d4b\u56fe\u50cf\u6570\u636e(11)\u4e2d\u7684\u771f\u5b9e\u7269\u4f53(24\u300125\u300126\u300127\u300128)\uff1b\u786e\u5b9a\u4e09\u7ef4\u865a\u62df\u7a7a\u95f4(31)\u4e2d\u7684\u771f\u5b9e\u7269\u4f53(24\u300125\u300126\u300127\u300128)\u7684\u7b2c\u4e00\u5750\u6807\u8303\u56f4\uff1b\u5411\u4e09\u7ef4\u865a\u62df\u7a7a\u95f4(31)\u6dfb\u52a0\u865a\u62df\u5143\u7d20(52\u300153\u300154)\uff0c\u865a\u62df\u5143\u7d20(52\u300153\u300154)\u5177\u6709\u7b2c\u4e8c\u5750\u6807\u8303\u56f4\uff1b\u57fa\u4e8e\u7528\u6237\u8f93\u5165(50)\u6765\u63a7\u5236\u4e09\u7ef4\u865a\u62df\u7a7a\u95f4(31)\u4e2d\u7684\u865a\u62df\u5143\u7d20(52\u300153\u300154)\uff1b\u5728\u8f93\u51fa\u56fe\u50cf(61\u300162a\u300162b)\u4e2d\u4ee5\u7ec4\u5408\u5f62\u5f0f\u8f93\u51fa\u73af\u5883\u548c\u53d7\u63a7\u5236\u7684\u865a\u62df\u5143\u7d20(52\u300153\u300154)\uff1b\u5f53\u771f\u5b9e\u7269\u4f53(24\u300125\u300126\u300127\u300128)\u7684\u7b2c\u4e00\u5750 Virtual elements range and controlled (52, 53, 54) of the second coordinate range form the intersection, modify the output image (61, 62A, 62b); through the vehicle of the display (71, 240) output image of the modified (61, 62A, 62b).

【技术实现步骤摘要】
利用机动车的显示器产生增强现实的方法和系统
本专利技术的各种实施例涉及用于利用机动车的显示器产生增强现实的方法和系统。
技术介绍
EP1720131B1示出了带有真实标记物体识别的增强现实(augmentedreality)系统。图4在简化的图示中示意性地示出了其增强现实系统100。系统100包括用于从真实环境120中收集图像数据的摄像机110。真实环境120表示任何适当的区域，如房屋的房间、特定地形的一部分或任何其它相关场景。在图4中，真实环境120表示起居室，该起居室包括例如以墙壁124和家具121、122和123形式的多个真实物体121、…、124。此外，真实环境120还包括被认为是标记物体125、126的真实物体，所述标记物体125、126具有任何适当的配置，以便容易地被自动化的图像处理算法所识别。例如，标记物体125、126上面已形成可以被容易地识别的显著图案，其中标记物体125、126的形状可被设计，以便允许从多个不同视角来对其识别。标记物体125、126也表示大体上二维的配置，其中此类配置上面已形成相应的识别图案。系统100还包括用于基于由摄像机110提供的图像数据来识别标记物体125、126的装置130。识别装置130可包括用于比较图像数据与表示标记物体125、126的预定义的模板的公知的图案识别算法。例如，识别装置130可在其中已实现用于基于预定义的照度阈值将由摄像机110获取的图像转换为黑白图像的算法。算法还被配置来将图像分成预定义的片段(如方块)以及在每个片段中搜索预定的图案模板，其中模板表示标记物体125、126的显著部分。首先，基于光照阈值将实时视频图像转换成黑白图像。然后，搜索此图像中的方块区域。软件找到二进制图像中的所有方块，其中很多不是跟踪标记，如物体125、126。对于每个方块，将方块内的图案与某些预定的图案模板进行匹配。如果存在相配的情况，则软件已找到一个跟踪标记，如物体125、126。然后，软件使用已知的方块大小和图案方向来计算真实摄像机相对于物理标记(如物体125、126)的位置。然后，用摄像机相对于所识别的标记的真实世界坐标来填充3×4矩阵。然后，使用此矩阵来设置虚拟摄像机坐标的位置。由于虚拟和真实摄像机坐标相同，所以精确绘制的计算机图形在指定位置叠加真实标记物体。此后，使用渲染引擎来设置虚拟摄像机坐标并绘制虚拟图像。图4的系统100还包括用于将从摄像机110接收的图像数据与从物体数据产生器150获取的物体数据组合的装置140。组合装置140包括跟踪系统、距离测量系统和渲染系统。通常，组合装置140被配置来针对对应地识别的标记物体并入从产生器150获取的图像数据，以便生成表示环境120以及对应于标记物体125、126的附加的虚拟物体的三维图像的虚拟图像数据。据此，组合装置140被配置来确定真实环境120内的标记物体125、126的相应位置并且还跟踪标记物体125、126相对于环境120中的任何静态物体和相对于由摄像机110界定的视点之间的相对运动。图4的系统100还包括被配置来提供虚拟图像数据的输出装置160，所述虚拟图像数据包括由产生器150产生的虚拟对象，其中在优选的实施例中输出装置160还被配置来提供图像数据之外的其它类型的数据，如音频数据、嗅觉数据、触觉数据等。在操作中，摄像机110生成环境120的图像数据，其中该图像数据对应于环境120的动态状态，该动态状态通过仅相对于环境120移动摄像机110或通过提供环境内的可移动物体(例如，标记物体125、126或物体121、…、123中的一个或多个物体可移动)来表示。通过在环境120内移动摄像机110来改变环境120的视点，从而允许从不同角度观察特别是标记物体125、126，以便使得能够从不同视点来评估由产生器150生成的虚拟物体。由摄像机110提供的不断更新的图像数据由识别装置130来接收，所述识别装置130识别标记物体125、126并使得一旦识别了标记物体125、126便能够跟踪它们，即使图案识别被通过例如移动摄像机110或标记物体125、126来不断改变视点所妨碍。在识别与图像数据内的标记物体125、126相关的预定义的图案之后，识别装置130向组合装置140通知指定的图像数据区域内存在标记物体，然后装置140基于此信息持续跟踪由用于识别标记物体125、126的图像数据表示的对应物体(假定标记物体125、126不会随着时间推移而消失)。识别标记物体125、126的过程被大体上持续地执行或被定期地重复，以便确认标记物体125、126的存在并还验证或提高组合装置140的跟踪准确性。基于由识别装置130提供的环境的图像数据和信息，组合装置140生成三维图像数据并叠加从物体产生器150接收的对应的三维图像数据，其中基于装置140的跟踪操作来永久更新三维物体数据。例如，装置140可基于识别装置130的信息来计算摄像机110相对于标记物体125、126的位置并使用此坐标信息来确定虚拟摄像机的坐标，从而允许用标记物体125、126的图像数据精确地“覆盖”由产生器150传输的物体数据。坐标信息也包括有关标记物体125、126相对于摄像机110的相对方向的数据，从而使组合装置140能够正确地调适虚拟物体的方向。最后，由输出装置160提供以任何适当的形式的组合三维虚拟图像数据。例如，输出装置160可包括适当的显示装置，以便将包括与标记物体125、126相关的虚拟物体的环境120形象化。当操作系统100时，有利的是预置至少一个标记物体125、126的识别条件，以便允许大体上可靠的实时图像处理。此外，相应的标记物体和一个或多个虚拟物体之间的关联可在操作系统100之前建立，或被设计以便允许虚拟物体到标记物体的分配的交互定义。例如，在用户请求时，最初分配到标记物体125的虚拟物体被分配到标记物体126且反之亦然。此外，多个虚拟物体被分配到单个标记物体且多个虚拟物体中的相应一个被用户通过软件应用来选择。
技术实现思路
根据一个方面，描述了一种在机动车中产生增强现实的改进的方法。各种改良包括在说明书中。相应地，提供一种用于在机动车中产生增强现实的方法。在该方法中，可以图像数据的形式来记录机动车的环境的图像。根据图像数据可以确定虚拟空间。在该方法中，可在图像数据中检测真实物体。可在虚拟空间中确定真实物体的第一坐标范围。在该方法中，可将具有第二坐标范围的虚拟元素添加到虚拟空间。可基于用户输入来控制虚拟元素。在该方法中，可在输出图像中以组合的形式输出环境和受控制的虚拟元素。当真实物体的第一坐标范围和受控制的虚拟元素的第二坐标范围形成相交区域时，可修改输出图像。可通过机动车的显示器来输出输出图像。由于一个实施例，实现了驾驶者可交互地选择车辆的环境中的物体的表示的优势。可暂时显示物体，以便在驾驶过程中为驾驶者提供帮助。因此，驾驶者可以专注于当前的交通状况，并查看后来被与当前的环境状况混合的物体，如交通标志。由于一个实施例，实现了以下优势：可将在乘机动车旅行时的当前环境状况与人工视频游戏世界混合，并且从而将车辆外面的事件并入当前的游戏事件，从而允许用户与来自环境的真实物体进行交互。在这种情况下，环境可以是机动车的真实本文档来自技高网...

【技术保护点】
一种用于利用机动车的显示器产生增强现实的方法，其包括以下步骤：‑以图像数据(11)形式记录所述机动车的环境的立体图像；‑从所述图像数据(11)检测道路的走向；‑根据所检测的道路的走向确定三维虚拟空间(31)；‑检测所述图像数据(11)中的真实物体(24、25、26、27、28)；‑确定所述三维虚拟空间(31)中的所述真实物体(24、25、26、27、28)的第一坐标范围；‑向所述三维虚拟空间(31)添加虚拟元素(52、53、54)，所述虚拟元素(52、53、54)具有第二坐标范围；‑基于用户输入(50)来控制所述三维虚拟空间(31)中的所述虚拟元素(52、53、54)；‑在输出图像(61、62a、62b)中以组合形式输出所述环境和受控制的所述虚拟元素(52、53、54)；‑当所述真实物体(24、25、26、27、28)的所述第一坐标范围和受控制的所述虚拟元素(52、53、54)的所述第二坐标范围形成相交区域时，修改所述输出图像(61、62a、62b)；‑通过所述机动车的所述显示器(71、240)将所述输出图像(61、62a、62b)从特定角度投影到所述机动车的窗玻璃上使得所述输出图像对所述机动车的驾驶者不可见。...

【技术特征摘要】
2011.12.21 EP 11010066.61.一种用于利用机动车的显示器产生增强现实的方法，其包括以下步骤：-以图像数据(11)形式记录所述机动车的环境的立体图像；-从所述图像数据(11)检测道路的走向；-根据所检测的道路的走向确定三维虚拟空间(31)；-检测所述图像数据(11)中的真实物体(24、25、26、27、28)；-确定所述三维虚拟空间(31)中的所述真实物体(24、25、26、27、28)的第一坐标范围；-向所述三维虚拟空间(31)添加虚拟元素(52、53、54)，所述虚拟元素(52、53、54)具有第二坐标范围；-基于用户输入(50)来控制所述三维虚拟空间(31)中的所述虚拟元素(52、53、54)；-在输出图像(61、62a、62b)中以组合形式输出所述环境和受控制的所述虚拟元素(52、53、54)；-当所述真实物体(24、25、26、27、28)的所述第一坐标范围和受控制的所述虚拟元素(52、53、54)的所述第二坐标范围形成相交区域时，修改所述输出图像(61、62a、62b)；-通过所述机动车的所述显示器(71、240)将所述输出图像(61、62a、62b)从特定角度投影到所述机动车的窗玻璃上使得所述输出图像对所述机动车的驾驶者不可见。2.如权利要求1所述的方法，-其中所述虚拟元素(52、53、54)在所述三维虚拟空间(31)中在三个维度下被控制。3.如权利要求1所述的方法，-其中通过使用虚拟物体(56)来补充或替换所述真实物体(24、25、26、27、28)的物体图像数据来修改所述输出图像(61、62a、62b)。4.如权利要求1所述的方法，-其中通过根据所述真实物体(28)的物体图像数据产生虚拟物体(55)并在所述输出图像(62...

【专利技术属性】
技术研发人员：T芒奇，P希莫德尔，C本兹，A柯纳，
申请(专利权)人：哈曼贝克自动系统股份有限公司，
类型：发明
国别省市：德国,DE