用于增强现实可视化的方法和系统技术方案

一种用于使图像可视化的方法，该图像将来自视频捕获系统(300)的真实对象(200)的图像(Ic)与源自设备的三维模型的数字信息(In)相组合，该方法包括：对三维模型的参考系(402)与视频捕获系统的参考系302)和真实对象的对象参考系(202)进行实时校准处理；以及显示所属数字信息中的嵌入由所述视频捕获系统捕获的图像中的至少一些信息，该方法还包括：记录真实对象的参考的纹理(T200)的初始步骤(Ei)；以及分析由视频捕获系统发送的图像的分析步骤(Ea)，所述分析步骤包括：根据捕获图像并且根据基于所记录的纹理的纹理化设备的三维模型，生成合成图像；通过将合成图像与捕获图像混合来计算复合图像的步骤。

【技术实现步骤摘要】
【国外来华专利技术】用于增强现实可视化的方法和系统
本专利技术涉及用于工业中的增强现实应用特别是技术设备的设计、制造、组装或维护的、关于真实对象的信息的视觉显示系统。已知各种增强现实系统，其用于扩展对视觉现实的感知，并且特别地已知可视化系统，其使用观察屏幕、平板电脑或增强现实眼镜来显示对真实对象的图像捕获以及关联对象的虚拟模型的数字图像形式的数据的组合。这些增强现实解决方案使得可以提高人工工作步骤在制造、组装和维护中的效率，并且同时提高工作的质量。通过使用模型和其他可免除的测量工具，信息的精确传输例如将数字规划状态(CAO模型)直接传输至设备，这使传输变得复杂并且使制造计划容易出错。视觉差异比较可以在任何时间以对用户直观的方式进行。此外，可以在工作对象上或用户的视野中即确切地在实际需要的地方直接提供工作指令，例如步进指令。本专利技术的典型应用场景包括用于显示组装和维护指令以及用于质量保证的信息的工人辅助系统。例如，可以精确地标记出组装位置或钻孔，或者可以识别出待验证的焊接点或支撑点。该系统还能够由非常驻专家为现场维护人员提供辅助。
技术介绍
在现有技术中，已知美国专利US9436993，该专利描述了一种增强现实系统，该增强现实系统包括：图像处理系统；第一成像模块，该第一成像模块包括与图像处理系统进行通信的一个或更多个摄像装置，其中，图像处理系统被配置成：-接收源自第二成像装置的次级图像数据；-分割所述次级图像数据以确定感兴趣的第一表面；-从第一成像模块接收实时成像数据，该实时成像数据源自一个或更多个摄像装置，所述一个或更多个摄像装置包括下述中的一个或更多个的图像：感兴趣的第二表面、锚定标记和该表面的取向、多个早期或晚期标记、以及工具；-使用来自下述中的一个或更多个来计算感兴趣的第一表面相对于感兴趣的第二表面的记录转换：锚定标记、多个早期或晚期标记、或者第二表面；-使用下述元素中的一个或更多个来计算第一成像模块相对于感兴趣的第一表面的跟踪位置：锚定标记、多个早期或晚期标记、第二表面、或者第二表面的特征；以及-通过将源自实时成像数据的信息与基于第一成像模块的位置而根据次级图像数据计算的相应信息相结合，来创建改善的图像。为了确保虚拟图像和真实对象的参考系的完美同步，从专利申请EP2715662中已知一种用于在部分已知的环境中进行摄像装置定位和3d重建的方法。该专利开发的用于对摄像装置进行定位和对静态环境进行3D重建的方法包括感兴趣的对象，该感兴趣的对象的3D模型是已知的，该方法包括下述步骤：-a/计算摄像装置在周围环境中的初始位置以及初始重建；-b/通过将周围环境的3D基元与所述图像的2D基元匹配，来针对每个新图像计算摄像装置的位置，并且通过三角剖分来重建周围环境的3D基元；-c/通过使在多个图像上的重投影误差最小化来同时优化摄像装置和3D基元的位置。3D模型是对感兴趣的对象的几何描述，重投影误差不包括两种类型的术语，即，与由3D模型所限制的基元相关联的第一类型的术语以及与环境中除了对象以外的基元相关联的第二类型的术语，并且优化的步骤包括将基元与环境或3D模型相关联的子步骤。现有技术的缺点现有技术解决方案不是完全令人满意的，这是因为它们不允许例如通过操作者的手、机器人手臂或介于摄像装置与对象之间的处理工具来可视化关于真实对象的被掩盖部分的增强现实信息。在现有技术的解决方案中，数字信息以叠加方式出现，不是与对象一起出现，而是与介于摄像装置与对象之间的元件的图像一起出现，这使该信息完全无用。
技术实现思路
本专利技术旨在克服这些缺点。为此，根据本专利技术的第一方面，提出了一种用于使图像可视化的方法，所述图像将来自视频捕获系统的真实对象的图像与源自设备的三维模型的数字信息相结合，该方法包括：·对所述三维模型的参考系与视频捕获系统的参考系、真实对象的对象参考系进行实时校准处理；以及·显示所述数字信息中的嵌入由所述视频捕获系统捕获的图像中的至少一些信息。根据本专利技术的方法还包括记录真实对象的参考的纹理的初始步骤。根据本专利技术的方法还包括分析由视频捕获系统发送的图像的步骤。三维模型可以被记录在任何记录介质上，既可以是本地的记录介质，例如，便携式装置例如电话或平板电脑、也可以是远程的记录介质例如数字服务器。根据本专利技术，分析步骤包括：·根据捕获图像以及基于所记录的纹理的纹理化设备的三维模型，生成合成图像；·通过将合成图像与捕获图像混合来计算复合图像的步骤。合成图像可以包括附加数字信息，例如标签。在通过混合来计算复合图像的步骤期间，可以将合成图像以大于预定阈值的透明度施加在捕获图像之上。预定阈值可以例如为50％。根据本专利技术的第二方面，提出了一种系统，该系统包括：·视频捕获系统；·包括虚拟模型的记录介质；-与数字模型相关联的真实设备；-可视化模块，该可视化模块被配置成实现根据本专利技术的第一方面或其改进中的一个或更多个的初始步骤和分析步骤。根据本专利技术的第三方面，提出了一种计算机程序产品，其可以直接加载至计算机的内存中，该计算机程序产品包括用于当在计算机上执行所述程序时执行根据本专利技术的第一方面或其改进中的一个或更多个的可视化方法的步骤的软件代码部分。附图说明参照附图，通过阅读对非限制性实现和实施方式的描述，本专利技术的其他数据、特征和优点将显现，在附图中：-图1示出了根据本专利技术的系统，-图2示出了使用根据现有技术的方法部分掩蔽的图像，-图3示出了使用根据本专利技术的方法获得的图像。具体实施方式由于以下描述的实施方式绝不是限制性的，因此，特别地有可能设想本专利技术的变型，如果以下描述的特征的这种选择足以提供技术优点或将本专利技术与现有技术区分开，则这些变型仅包括所述特征的选择，所述特征与所描述的其他特征分离。这种选择包括至少一个特征，所述至少一个特征优选地是功能性的并且没有结构细节，或者如果该部分单独足以提供技术优点或将本专利技术与现有技术区分开，则所述至少一个特征具有一些结构细节。现在将一起描述根据本专利技术的系统和根据本专利技术的方法的实施方式。图1示出了根据本专利技术的系统100的实施方式。示意性地示出了真实对象200。视频捕获系统300可以捕获真实对象200的一个或更多个图像并且产生捕获图像Ic。在图1中示意性地示出了数字信息服务器400。数字信息服务器包括真实对象200的三维模型的记录。数字信息服务器400被配置成生成数字信息In。应理解，三维模型可以被记录在除了数字服务器以外的记录介质上，例如记录在诸如电话或平板电脑的便携式装置上。图1中示意性地示出了计算机500。计算机500被配置成：接收由视频捕获系统300捕获的图像Ic；接收与真实对象200有关并由数字信息服务器400生成的数字信息In；以及将所接收到的图像与所接收到的信息相结合。本文档来自技高网...

【技术保护点】
1.一种用于使图像可视化的方法，所述图像将源自视频捕获系统(300)的真实对象(200)的捕获的图像(Ic)与源自真实对象的三维模型的数字信息(In)相组合，所述方法包括：/n-对所述三维模型的参考系(402)与所述视频捕获系统的参考系(302)和所述真实对象的参考系(202)进行实时校准处理，以及/n-根据所述实时校准处理，显示所述数字信息中的嵌入由所述视频捕获系统捕获的图像中的至少一些信息，/n其特征在于，所述方法还包括：/n-记录所述真实对象的参考的纹理(T200)的初始步骤(Ei)，以及/n-分析由视频捕获系统发送的图像的分析步骤(Ea)，/n所述分析步骤包括：/n-根据嵌入所捕获的图像中的显示并且根据基于所记录的纹理的纹理化设备的三维模型，通过基于纹理化的三维模型替换被掩蔽区域，生成合成图像，/n-通过将所述合成图像与所捕获的图像混合来计算复合图像的步骤。/n

【技术特征摘要】
【国外来华专利技术】20180921 FR 18585761.一种用于使图像可视化的方法，所述图像将源自视频捕获系统(300)的真实对象(200)的捕获的图像(Ic)与源自真实对象的三维模型的数字信息(In)相组合，所述方法包括：
-对所述三维模型的参考系(402)与所述视频捕获系统的参考系(302)和所述真实对象的参考系(202)进行实时校准处理，以及
-根据所述实时校准处理，显示所述数字信息中的嵌入由所述视频捕获系统捕获的图像中的至少一些信息，
其特征在于，所述方法还包括：
-记录所述真实对象的参考的纹理(T200)的初始步骤(Ei)，以及
-分析由视频捕获系统发送的图像的分析步骤(Ea)，
所述分析步骤包括：
-根据嵌入所捕获的图像中的显示并且根据基于所记录的纹理的纹理化设备的三维模型，通过基于纹理化的三维模型替换被掩蔽区域，生成合成...

【专利技术属性】
技术研发人员：克里斯托夫·蒙唐东，让巴蒂斯特·德洛莫，
申请(专利权)人：迪奥塔索夫特公司，
类型：发明
国别省市：法国;FR