图像处理方法、显示设备和检查系统技术方案

确定将三维网格变换为二维全景坐标的系数，该三维网格近似三维模型的至少一部分，该三维模型包括目标对象的至少一部分并且从多个二维图像生成。根据第一图像，指定从与二维全景坐标的一部分对应的多个二维图像确定的第一图像上的第一位置、以及要投影到二维全景坐标上的注释。确定与该注释到二维全景坐标上的投影对应的第二位置。将注释叠加在通过将第一图像投影到二维全景坐标上而获得的第二图像上。确定与第一位置到第三图像上的投影对应的第三位置，并且将注释投影并叠加在第三图像上的第三位置处。

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法、显示设备和检查系统
本专利技术涉及图像处理方法、显示设备和检查系统。
技术介绍
当检查比人类大得多的三维对象(诸如建筑物结构)时，需要使用遥控机器人等拍摄检查对象的特写照片，并且需要由地面上的检查员使用拍摄到的、已对其执行了定位的图像进行检查工作。相应地，已知一种技术，该技术使用多个拍摄到的图像来创建三维模型，并且与三维模型和拍摄到的图像相关联地存储并显示用户输入的注释。在专利文献1中，公开了一种技术，其中，用户在二维图像上选择的对象(例如，边界框)和用户输入的内容(例如，注释)被投影在三维模型上，并且这些对象和内容被反映在通过拍摄相同的三维位置而获得的其他二维图像中并被显示在其上。根据专利文献1，用户在观看二维图像时能够在从多个图像创建的三维模型中创建三维对象的注释。
技术实现思路
[技术问题]然而，在传统技术中使用三维模型创建注释的方法中，需要从各个方向浏览三维模型以便理解整个图像，因此存在一个问题在于一览性(perspicuity)低。即使专利文献1也没有消除一览性低的问题。本专利技术是有鉴于上述问题而完成的，并且其目的在于能够容易地观看与三维模型上指定的位置相关联的信息。[问题的解决方案]根据本专利技术的一个方面，一种图像处理方法包括：从多个二维图像生成包含目标对象的至少一部分的三维模型；通过三维网格近似该三维模型的至少一部分；确定将该三维网格变换为二维全景坐标的系数；从与该二维全景坐标的一部分对应的多个二维图像中确定第一图像；根据该第一图像，指定要投影到该二维全景坐标上的内容和该第一图像上的第一位置；确定与该内容到该二维全景坐标上的投影对应的第二位置；将该第二位置和该内容彼此相关联地存储；将该内容作为注释叠加在通过将该第一图像投影到该二维全景坐标上而获得的第二图像上；从多个二维图像确定第三图像；确定与该第一位置到该第三图像上的投影对应的第三位置；以及将该内容投影在该第三图像上的该第三位置处，以叠加该内容作为注释。[专利技术的有益效果]本专利技术的效果在于，可以容易地观看与在三维模型上指定的位置相关联的信息。附图说明图1A是用于示意性地说明由根据第一实施例的图像处理装置执行的图像处理的视图。图1B是用于示意性地说明图像处理的视图。图1C是用于示意性地说明图像处理的视图。图1D是用于示意性地说明图像处理的视图。图2是用于更详细地说明第一实施例中的注释的生成方法的视图。图3是用于更详细地说明第一实施例中的注释的生成方法的视图。图4A是用于更详细地说明第一实施例中的注释的生成方法的视图。图4B是用于说明生成方法的视图。图5是示出可应用于第一实施例的图像处理装置的硬件配置的示例的框图。图6A是用于说明第一实施例中的图像处理装置的功能的一个示例的功能框图。图6B是用于解释一个示例的功能框图。图7是示出第一实施例中的图像处理的一个示例的流程图。图8A是用于说明第一实施例中的图像和注释的显示示例的视图。图8B是用于说明显示示例的视图。图9是用于说明第一实施例中的图像和注释的显示示例的视图。图10A是用于说明第一实施例中的三维网格的位置调整的视图。图10B是用于说明调整的视图。图11A是用于说明在第一实施例中将三维网格变换为二维展开图的处理的视图。图11B是用于说明处理的视图。图12是用于说明根据第二实施例的图像处理装置的功能的一个示例的功能框图。图13是示出第二实施例中的UI屏幕的第一示例的视图。图14A是示出第二实施例中的UI屏幕的第二示例的视图。图14B是示出第二实施例中的UI屏幕的第二示例的视图。图14C是示出第二实施例中的UI屏幕的第二示例的视图。图15是示出第二实施例中的UI屏幕的第三示例的视图。图16是示出第二实施例中的UI屏幕的第四示例的视图。图17是示出第二实施例中的UI屏幕的第五示例的视图。图18是示意性地示出根据第三实施例的成像装置的外观的示例的三面体视图。图19A是示出使用可应用于第三实施例的三轴万向节的成像装置的示例的视图。图19B是示出该示例的视图。图20是示出第三实施例中的成像装置的配置的一个示例的框图。具体实施方式参考附图，以下详细描述图像处理方法、显示设备和检查系统的示例性实施例。第一实施例中的处理的概述图1A至1D是用于示意性地说明根据第一实施例的由图像处理装置执行的图像处理的视图。在图1A中，对象100是建筑物结构，例如桥，并且包括裂缝101。对象100的观察者(例如，桥的检查员)为了观察(检查)作为观察对象的裂缝101的状态，从不同的观察点拍摄裂缝101，并获得作为二维图像的多个捕获图像。图1B示出了基于捕获图像的两个图像110和120，其中，来自不同观察点的裂缝101被成像。图像110和120分别包括对象100的区域102和103的范围的图像。在图像110和120中，作为与裂缝101对应的图像的对象被包含在坐标值111和121的相应位置处。如图1C示意性所示，第一实施例中的图像处理装置基于图像110和120生成三维网格(mesh)150，该三维网格150近似对象100的至少一部分。三维网格150可以例如是平面，该平面近似对象100的一个表面。此外，如图1D所示，第一实施例中的图像处理装置生成二维展开图130，该二维展开图130是通过在二维平面上展开(deploy)三维网格而获得。二维展开图130是通过对三维网格150所包括的每个子平面进行变换以使得子平面被正交投影而获得的图。在图1D中，图像131和132是通过对图像110和120进行坐标变换到二维展开图130而获得的图像。第一实施例中的图像处理装置可以基于坐标值111和121来组合图像131和132，并且形成全景图像140。全景图像140和二维展开图130在坐标值133的位置处包括与坐标值111和121对应的对象，其中使包含于图像110和120中的坐标值111和121与坐标值133匹配。例如，第一实施例中的图像处理装置可以根据用户操作，在用户正在参考图像110(第一图像)(参见图1B)时，输入对象的坐标值111和文本112。文本112是指示对象的注释的内容。文本112不限于字符信息，并且可以是图标图像或手绘图像。此外，第一实施例中的图像处理装置可以确定另一图像中的、与输入的坐标值对应的坐标值。例如，图像处理装置将包含在图像110中的对象的坐标值111变换为作为另一图像的二维展开图130上的坐标值。在另一个第一实施例中，例如，可以在用户正在参考对其相对于二维展开图130(参见图1D)执行了坐标变换的图像131时，输入对象的坐标值133和文本134。例如，相关的图像处理装置将包含在图像131中的对象的坐标值133变换为作为另一图像的捕获图像130上的坐标值。第一实施例中的图像处理装置可以将输入的文本112与另一图像中的、与对象的坐标值111对应的坐标值相关联地存储。例如，图像处理装置可以将文本112与二维展开图130中的对象的坐标值133相关联地存储。例如，存储的注释可以被显示为叠加在作为第二图像的、具有全景坐标的另一图像(图像120、图像132、全景图像140)上。在图1B的示例中，例如，针对图像110中的对象的坐标值111输入的文本112被显示为针对作为另一图像的图像120中的、与坐标值111的对象对应的对象的坐本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：从多个二维图像生成包含目标对象的至少一部分的三维模型；通过三维网格近似所述三维模型的至少一部分；确定将所述三维网格变换为二维全景坐标的系数；从与所述二维全景坐标的一部分对应的多个二维图像中确定第一图像；根据所述第一图像，指定要投影到所述二维全景坐标上的内容和所述第一图像上的第一位置；确定与所述内容到所述二维全景坐标上的投影对应的第二位置；将所述第二位置和所述内容彼此相关联地存储；将所述内容作为注释叠加在通过将所述第一图像投影到所述二维全景坐标上而获得的第二图像上；从所述多个二维图像确定第三图像；确定与所述第一位置到所述第三图像上的投影对应的第三位置；以及将所述内容投影在所述第三图像上的所述第三位置处，以叠加所述内容作为注释。

【技术特征摘要】
【国外来华专利技术】2016.03.09 JP 2016-046322;2016.11.08 JP 2016-217781.一种图像处理方法，包括：从多个二维图像生成包含目标对象的至少一部分的三维模型；通过三维网格近似所述三维模型的至少一部分；确定将所述三维网格变换为二维全景坐标的系数；从与所述二维全景坐标的一部分对应的多个二维图像中确定第一图像；根据所述第一图像，指定要投影到所述二维全景坐标上的内容和所述第一图像上的第一位置；确定与所述内容到所述二维全景坐标上的投影对应的第二位置；将所述第二位置和所述内容彼此相关联地存储；将所述内容作为注释叠加在通过将所述第一图像投影到所述二维全景坐标上而获得的第二图像上；从所述多个二维图像确定第三图像；确定与所述第一位置到所述第三图像上的投影对应的第三位置；以及将所述内容投影在所述第三图像上的所述第三位置处，以叠加所述内容作为注释。2.根据权利要求1所述的图像处理方法，其中，在确定所述第三图像时，基于多个捕获图像的成像顺序来确定所述第三图像，所述多个捕获图像均是所述多个二维图像中的二维图像。3.根据权利要求1所述的图像处理方法，其中，在确定所述第三图像时，基于多个捕获图像的空间位置来确定所述第三图像，所述多个捕获图像均是所述多个二维图像中的二维图像。4.根据权利要求1所述的图像处理方法，其中，在确定所述第三图像时，基于对于用户指定的位置到所述多个二维图像的坐标上的投影的一组投影位置中的至少一个、以及所述多个二维图像上的投影位置的周边的一组分辨率，并且基于所述用户指定的位置来确定所述第三图像，所述用户指定的位置根据用户操作对于所述全景坐标而被指定。5.根据权利要求1所述的图像处理方法，其中，在通过所述三维网格近似时，生成可展开面的三维网格。6.根据权利要求1所述的图像处理方法，其中，在通过所述三维网格近似时，生成平面的三维网格。7.根据权利要求1所述的图像处理方法，其中，在通过所述三维网格近似时，生成圆柱面的三维网格。8.根据权利要求1所述的图像处理方法，其中，在通过所述三维网格近似时，生成二次曲面的三维网格。9.根据权利要求1所述的图像处理方法，其中，在通过所述三维网格近似时，生成球面的三维网格。10.根据权利要求1所述的图像处理方法，其中，在确定所述变换系数时，构成所述三维网格的相应子平面被变换为二维坐标，使得从法线方向观看的子平面的形状和相对面积被保留。11.根据权利要求1所述的图像处理方法，其中，在确定所述变换系数时，使用单应矩阵计算所述变换系数。12.根据权利要求1所述的图像处理方法，其中，确定所述变换系数包括根据用户操作将所述三维网格移动到特定方向。13.根据权利要求12所述的图像处理方法，其中，在确定所述变换系数时，基于所述三维网格的相应子平面的法向矢量的加权求和来确定所述特定方向。14.根据权利要求1所述的图像处理方法，还包括：根据所述第二图像，指定要投影到所述第一图像上的内容和所述二维全景坐标上的第四位置；将所述第四位置和所述内容彼此相关联地存储；确定与所述内容到所述第一图像上的投影对应的投影位置；以及...

【专利技术属性】
技术研发人员：绪方惟高，冈谷贵之，
申请(专利权)人：株式会社理光，国立大学法人东北大学，
类型：发明
国别省市：日本,JP