用于2D兴趣点的3D映射的方法技术

本发明专利技术涉及一种用于将二维兴趣点映射到三维视图的方法。所公开的方法包括利用增强现实设备捕获三维(3D)图像。将2D图像数据库的图像与所捕获的3D图像匹配，所述2D图像数据库包含与具有2维(2D)数据集的兴趣点相关联的二维(2D)图像。并且，当2D图像与3D图像匹配时，捕获用于所匹配的2D图像的3D数据，并将兴趣点的2D数据集转换为3D数据集。所公开的方法简化了用于诸如增强现实设备的3D应用的兴趣点的配置。

A method of 3D mapping for 2D points of interest

The present invention relates to a method for mapping two dimensional points of interest to a three-dimensional view. The disclosed methods include capturing a three-dimensional (3D) image using an augmented reality device. The image of the 2D image database is matched with the captured 3D image, and the 2D image database contains two-dimensional (2D) images associated with the interest points of the 2 dimensional (2D) dataset. Also, when the 2D image matches the 3D image, the 3D data for the matched 2D image is captured and the 2D data set of the point of interest is converted to the 3D dataset. The public approach simplifies the configuration of interest points for 3D applications, such as augmented reality devices.

【技术实现步骤摘要】
用于2D兴趣点的3D映射的方法
本专利技术涉及一种用于2D兴趣点的3D映射的方法和增强现实设备。具体地，该方法涉及将为二维图像定义的兴趣点映射在由增强现实设备捕获的三维图像中。
技术介绍
在映射和导航应用中，通常应用兴趣点来指示哪里可能找到特定对象。这样的对象可以是诸如加油站、餐馆的资源，或者可以是零件或部件。要找到这样的对象的位置的粗略指示通常是足够的，但在某些条件下，这可能是不够的。具体地，在工厂用地或其它类型的制造厂中，需要存在于机器、控制机柜或其它工业设施中的部件的精确位置，以防止意外损坏或甚至危险的情况。在这样的情形中，知道在哪里精确地找到和辨识零件是非常重要的。现有技术解决方案包括布局图和机器图，从而指出特定机器的布局或结构。其高级版本包括特定机器或电气控制箱的实际图片，即，照片图像。然而，配置可能随时间而改变。例如，当更换零件或更新部件时。
技术实现思路
为了解决上述需求，可以指示操作者和维护人员每次检查特定机器、控制机柜或设施时或者至少与之交互时重新拍摄图像。或者，当安装新设施或更新设施时，要拍摄新安装的配置的图片。利用这些图像，可以通过在所捕获的图像内分配坐标来关联兴趣点。操作者可以在拍摄图片的时刻识别图像中的兴趣点，或者其也可以通过稍后阶段执行。或者，其可以通过图像辨识软件执行，该软件能够识别感兴趣的预定义部件、设施或其它相关零件。无论哪种方式，这些兴趣点都定义在与信息的某个相关部分或某条相关信息相关的2D图像中。这允许创建具有在二维(2D)空间中定义的关联兴趣点的图像的数据库。因此，所捕获的图像被视为2D画布，即，可以通过笛卡尔坐标跨越或由任何其它合适的坐标系定义的表面空间。本专利技术的目的是进一步缓和三维应用的兴趣点的定义。根据一个方面，提供了一种用于将二维兴趣点映射到三维图像的方法。该方法包括利用增强现实设备捕获三维(3D)图像。将2D图像数据库的图像与3D图像匹配，2D图像数据库包含与具有二维(2D)数据集的兴趣点相关联的二维(2D)图像。并且，当2D图像与3D图像匹配时，捕获用于所匹配的2D图像的3D数据并将兴趣点的2D数据集转换为3D数据集。所公开的方法简化了用于诸如增强现实设备的3D应用的兴趣点的配置。因为例如只有X、Y坐标需要与2D图像相关联。本专利技术进一步减少了定义兴趣点的工作，因为这仍然可以在2D图像中完成。或者，这可以早先已经完成，因此允许重新使用具有包含兴趣点的2D图像的先前创建的数据库。本专利技术进一步减少了需要存储的数据量，因为要存储的只有2D图像和相关联的3D绝对位置坐标，而不是完整的3D图像和相关联的内容。在此应用中，任何3D图像具有由2D图像组成的3D表示(3Drepresentation)，即，具有用于2D框架(frame)中的多个点或所有点的相关联的深度信息的2D框架。附图说明仅通过示例，将参考附图描述本公开的实施例，其中：图1示意性地图示工业控制系统中的增强现实系统的示例；图2示意性地图示根据本专利技术的增强现实系统的示例；图3图示根据本专利技术的方法的示例；图4图示根据本专利技术的方法的另一示例；图5图示用于创建2D图像数据库的方法的示例；图6示意性地图示三维坐标系中的二维图像的匹配；以及图7示出图示根据本专利技术的方法的流程图。具体实施方式参考图1，示出了通常构成工业控制系统1的各个部件。存在自动化服务器2、SCADA站3和具有可编程逻辑控制器和其它设施的机柜4、5。还示出了在工业控制环境中构成增强现实系统的增强现实图像服务器6和增强现实设备7。操作者可以通过将设备7放置在被检查的对象的前方，以当检查机柜4、5中的设施时使用设备7来辅助。设备7旨在捕获设施的图像、辨识图像中的设施、与图像服务器6通信、并示出关于所辨识的设施的附加信息。以此方式，可以获得增强现实，因为与设施相关的任何信息可以被检索(retrieve)并在设备7的显示器上示出的图像中被作为重叠(overlay)示出。在图2中，更详细地示意性地示出增强现实系统的增强现实设备7和增强现实图像服务器6。增强现实图像服务器6具有包含带有具有二维(2D)数据集的兴趣点的二维图像的2D数据库8、和包含带有具有三维(3D)数据集的兴趣点的三维图像的3D数据库9。增强现实(即，3D)设备7具有图像传感器10、可调节透镜11和3D传感器12，其能够确定深度，即，3D设备与可见对象之间的距离。3D设备还具有绝对定位传感器13(此示例中的GPS传感器)和显示器14。图2中还示出了2D图像辨识模块15、3D数据捕获模块16和2D至3D转换器模块17。在此示例中，这些被示为3D设备7的一部分的单独的硬件模块。在另一示例中，这些模块可以被实施为由通用处理单元执行的软件模块。在又一示例中，这些模块可以是增强现实图像服务器6的一部分，或者作为增强现实系统的一部分位于单独的服务器上。在此示例中，绝对位置传感器是GPS传感器，但是能够确定设备相对于参考点的位置的其它导航传感器也是适合的，诸如，EU伽利略定位系统或中国的北斗导航卫星系统。允许获得地理空间内的绝对位置的其它位置传感器也是适合的，诸如，允许定义固定的已知参考点并且确定相对于所定义的参考位置的设备位置的位置传感器和系统。参见图3，示出了用于在三维视图中映射二维兴趣点的方法。该方法可以由参考图2描述的增强现实系统示例来实施。该方法开始于利用增强现实设备捕获(102)三维(3D)图像。接着是将2D图像数据库的图像与所捕获的3D图像匹配(103)。此2D图像数据库包含与具有二维(2D)数据集的兴趣点相关联的二维(2D)图像。当2D图像与3D图像匹配时，该方法通过捕获(104)用于所匹配的2D图像的3D数据并将兴趣点的2D数据集转换(105)为3D数据集而继续。所获得的3D数据集将存储具有全局位置坐标(globalpositioncoordinates)的兴趣点，诸如，GPS坐标，这将允许容易地基于增强现实设备的全局位置(globalposition)检索兴趣点。上述步骤可以被认为是学习阶段，其中AR服务器上的3D数据库被可用于稍后检索的兴趣点的3D数据集填充。以此方式，一个图像的2D图像辨识只需要一次，因为将存储具有全局位置坐标的每个兴趣点的3D数据集。转至图4，示出了用于在三维视图中显示二维兴趣点的方法的示例。该方法也可以由参考图2描述的增强现实系统示例来实施。类似于参考图3所描述的方法，此方法包括捕获(202)3D图像，接着是将2D图像数据库的图像与所捕获的3D图像匹配(203)，当2D图像与3D图像匹配时，通过捕获(204)3D数据并将兴趣点的2D数据集转换(205)为3D数据集而继续。除了上述之外，该方法还包括：提供(201)包含与具有二维(2D)数据集的兴趣点相关联的二维(2D)图像的2D图像数据库；以及作为增强现实而将兴趣点显示(206)在3D视图中。3D视图可以在增强现实设备的显示器上示出，例如，当操作者正执行检查或维护任务时。3D视图也可以在远程控制室中的工作站的显示器上示出。上述方法的一个优点是，其允许以非常简单的方式在2D图像中定义兴趣点，而在学习阶段中，所有兴趣点都可以借助于2D辨识在用于应用的3D图像中被实例化。参考图5，示出了用于创建存储与兴趣点相关联本文档来自技高网...

【技术保护点】
一种用于在三维视图中映射二维兴趣点的方法，包括：利用增强现实设备(7)捕获(102)三维(3D)图像；将2D图像数据库(8)的图像与所捕获的3D图像匹配(103)，所述2D图像数据库(8)包括与具有二维(2D)数据集的兴趣点相关联的二维(2D)图像；以及当2D图像与3D图像匹配时：捕获(104)用于所匹配的2D图像的3D数据；将所述兴趣点的2D数据集转换(105)为3D数据集。

【技术特征摘要】
2016.10.07 EP 16192817.11.一种用于在三维视图中映射二维兴趣点的方法，包括：利用增强现实设备(7)捕获(102)三维(3D)图像；将2D图像数据库(8)的图像与所捕获的3D图像匹配(103)，所述2D图像数据库(8)包括与具有二维(2D)数据集的兴趣点相关联的二维(2D)图像；以及当2D图像与3D图像匹配时：捕获(104)用于所匹配的2D图像的3D数据；将所述兴趣点的2D数据集转换(105)为3D数据集。2.根据权利要求1所述的方法，其中所述2D图像数据库通过以下步骤创建：提供(301)2D图像；对于每个图像：分配(302)图像标识符；确定(303)图像的长度和宽度；定义(304)具有相应poi标识符的至少一个兴趣点；确定(305)至少一个兴趣点相对于图像的参考点的第一坐标；将每个定义的兴趣点与图像标识符相关联(306)；存储(307)图像标识符、长度和宽度、参考点、poi标识符、至少一个兴趣点的坐标、与每个定义的兴趣点的关联性。3.根据权利要求1或2所述的方法，其中捕获3D图像包括：经由增强现实设备的3D传感器(12)获得3D图像的3D表示，其中所述3D表示包括由由二维框架坐标定义的点组成的2D框架，并且其中每个点与深度相关联。4.根据权利要求1至3中任一项所述的方法，其中将所述2D图像数据库的图像与3D图像匹配，包括：通过在2D框架上缩放和平移2D图像，将2D图像数据库的每个2D图像与3D表示的2D框架进行比较。5.根据前述权利要求中任一项所述的方法，其中捕获用于所匹配的2D图像的3D数据包括：确定2D框架中2D图像的参考点的框架坐标；从2D图像尺寸和2D框架尺寸确定缩放信息；以及获得增强现实设备与2D图像之间的距离。6.根据前述权利要求中任一项所述的方法，其中将所述兴趣点的2D数据集转换为3D数据集包括：将缩放信息应用于兴趣点的第一坐标；将参考点的框架坐标应用于兴趣点的第一坐标以获得兴趣点的框架坐标。7.根据权利要求6所述的方法，其中将所述兴趣点的2D数据集转换为3D...

【专利技术属性】
技术研发人员：T奇切，R加森，
申请(专利权)人：施耐德电器工业公司，
类型：发明
国别省市：法国,FR