信息显示系统技术方案

本发明专利技术提供一种信息显示系统，其根据工件的识别性，在现实空间上重叠显示辅助的信息。信息显示系统具有：对工件进行拍摄并制成表示工件的形状的模型数据的变换部；基于工件的3D模型数据至少生成工件的一部分的3D模型图像并利用3D模型图像补充工件的不可视部分的补充部；以及以使3D模型图像与工件的不可视部分重叠的方式进行显示的显示部。

Information display system

The invention provides an information display system which overlaps auxiliary information in real space according to the identification of workpiece. The information display system has the transformation section of the model data that is photographed to the workpiece and made to represent the shape of the workpiece; the 3D model data based on the workpiece generates at least a part of the 3D model image of the workpiece and supplements the invisible part of the workpiece by using the 3D model image to make the 3D model image and the workpiece invisible. A display section displayed in a partially overlapped manner.

【技术实现步骤摘要】
信息显示系统
本专利技术涉及信息显示系统，尤其涉及根据工件的识别性在现实空间上重叠显示辅助的信息的信息显示系统。
技术介绍
已知在现实空间使假想空间的信息重合并显示的、MixedReality(MR)技术、在动画图像中合成其他图像等的匹配移动技术。例如在日本特开2002-269546号公报中记载自动检测动画图像中的人物脸的动作，合成使脸部图像变形为期望的形状的图像的系统。在日本特开2012-019434号公报中记载了利用检测技术合成广告映像和基本映像的系统。另一方面，在利用机床的加工现场，存在切削油、保护门的被污染的玻璃窗等成为遮蔽物且难以利用目视确认加工中的工件的情况的问题(参照图1)。例如，具有尽量利用目视确认工件的加工进行状况、空切(工具的无谓的移动路径)的有无、安装量(在工具进行切削后到实际与工件接触的区间)的大小、工件与切粉的关系、工具的前端位置等的期望，但由于上述问题，现在难以在加工中确认这些。由此，现在通过暂时停止切削油或稍微打开保护门并从间隙观察等方法进行确认。但是，在这些方法中，存在从使切削油停止到视野良好需要时间、安全性不高之类的问题。因此，期望通过上述的MR技术、匹配移动技术等解决这种问题，但日本特开2002-269546号公报及日本特开2012-019434号公报未公开具体的解决方案。
技术实现思路
本专利技术是为了解决这种问题点而进行的，其目的在于提供根据工具的识别性，在现实空间中重叠显示辅助的信息的信息显示系统。本专利技术的一实施方式的信息显示系统的特征在于具有对工件进行拍摄并制成表示上述工件的形状的模型数据的变换部、基于上述工件的3D模型数据至少生成上述工件的一部分的3D模型图像并利用上述3D模型图像补充上述工件的不可视部分的补充部以及以使上述3D模型图像与上述工件的不可视部分重叠的方式进行显示的显示部。在其他实施方式的信息显示系统中，还具有进行上述模型数据与上述3D模型图像的匹配移动处理的匹配移动部。在其他实施方式的信息显示系统中，上述补充部通过对上述模型数据的特征点与上述3D模型的特征点进行对比来进行上述补充。在其他实施方式的信息显示系统中，上述变换部制成上述工件及上述工件的周边环境的模型数据，上述补充部利用上述周边环境的模型数据进行上述补充。根据本专利技术，能提供根据工件的识别性在现实空间中重叠显示辅助的信息的信息显示系统。附图说明本专利技术的上述及其他目的及特征从参照附图的以下的实施例的说明中变得明确。在这些图中：图1是表示现有技术的问题点的图。图2是表示信息显示系统的一实施例的示意图。图3是表示信息显示系统的结构的方框图。图4是表示信息显示系统的动作的流程图。图5是表示信息显示系统的动作例的示意图。图6是表示信息显示系统的动作例的示意图。具体实施方式下面，与附图一起说明本专利技术的实施方式。图3是表示本专利技术的实施方式的信息显示系统100的结构的方框图。信息显示系统100具有变换部110、补充部120、匹配移动部130以及显示部140。信息显示系统100是典型地具备中央处理装置(CPU)、存储装置及摄像装置、显示装置等的输入输出装置等的信息处理装置，通过CPU执行预定的程序而在理论上实现上述各种处理部。例如，信息显示系统100具备作为显示部140进行动作的可视数据终端，可以是内置有CPU、存储装置的智能收送话器、平板终端、头置式显示器(HMD)等。或者，信息显示系统100可以在具备CPU、存储装置的计算机上连接作为显示部140进行动作的可视数据终端、HMD而构成。变换部110对位于现实世界的物体等进行拍摄并获得图像，进行生成表示图像所含的物体的模型数据、即物体的形状的数据的处理。在本实施方式中，拍摄加工中的工件的动画图像，制成动画图像所含的工件的模型数据。动画图像例如使用设于HMD的摄像机进行拍摄。利用图像的模型数据的制成方法是公知的，因此，在此省略详细的说明。所生成的模型数据典型的是线框模型。或者可以仅是从图像提取的特征点的集合。补充部120进行利用工件的3D模型补充变换部110生成的模型数据并显示在显示部140的处理。即，补充部120预先将工件的3D模型数据(典型地为CAD数据、NC数据)保持在未图示的存储区域，将该3D模型数据以在基于现实的工件制成的模型数据上重叠的形式进行透视。在本实施方式中，在切削油、保护门等成为遮蔽物而无法识别工件的一部分的情况下，对无法识别的部分的3D模型进行透视。匹配移动部130进行使变换部110生成的模型数据与补充部120显示的3D模型连动的处理。即，对模型数据进行追踪，调整3D模型的显示位置、方向等。由此，即使捕获工件的摄像机移动，所补充的3D模型也追随工件，因此，能继续观察工件的状态等。另外，处理的具体顺序是公知的，因此在此省略详细的说明。显示部140是能使现实的工件与补充部120生成的3D模型重叠并识别的显示装置。例如，显示部140是具备摄像机的HMD(参照图2)。在非透过型HMD的情况下，将由摄像机捕捉的图像显示在投影面上。在透过型HMD的情况下，能通过透明的投影面识别与由摄像机捕捉的图像相当的视野。变换部110基于由摄像机捕捉的图像制成模型数据，但该模型数据不需要显示在显示部140上，保持于预定的存储区域并用于补充处理、匹配移动处理。另一方面，显示部140将补充部120进行透视的3D模型显示在投影面上。由此，用户能使在投影面上投影或透过投影面识别的现实的工件与在投影面上投影的3D数据重叠并识别。图4是表示信息显示系统100的动作的流程图。S1：变换处理(初期状态)首先，变换部110使用摄像机等摄像机构获得加工前的工件的图像。此时，优选获得工件整体的图像。通过预先获得工件的多个部分的特征点，能精致地执行后级的补充处理及匹配移动处理。更优选不仅获得工件，还获得工件的周边环境、例如载置工件的工作台、机床的机箱等的图像。由此，即使工件完全无法识别，只要能识别工件的周边环境，便能执行后级的补充处理及匹配移动处理。一般地，上述工作台、机床的机箱等由于在加工中与工件的相对的位置关系不变化，因此优选作为进行拍摄的周边环境。或者，即使与工件的相对的位置关系变化的周边环境，只要是能特定该相对的位置关系周边环境，则优选作为进行拍摄的周边环境。例如，工具在加工中位置变动，但某时点的工具的位置能基于加工程序等特定。变换部110识别所拍摄的图像中的工件，制成工件的模型数据。典型地，变换部110从预先保持的工件的3D模型、所拍摄的图像分别提取三次元特征点，对两者进行对比。并且，仅提取图像所含的特征点中的与3D模型的特征点对应的数据并保存。优选变换部110从工件的周边环境提取特征点。并且，保存包括工件的特征点和周边环境的特征点的数据组。S2：匹配移动处理(加工时)接着，变换部110使用摄像机等摄像机构获得加工中的工件的图像，与步骤S1相同地提取加工中的工件的特征点。优选变换部110也从工件的周边环境提取特征点。S3：补充处理补充部120对在步骤S2中获得的工件的特征点与预先保持的工件的3D模型的特征点进行比较。比较的结果，如果在步骤S2中获得的工件的特征点存在欠缺的部分，则该部分可以说是由于遮蔽物而不可视的部分。因此，补充部120只对3D模型中的与不可视部分相当的部本文档来自技高网...

【技术保护点】
1.一种信息显示系统，其特征在于，具有：变换部，其对工件进行拍摄并制成表示上述工件的形状的模型数据；补充部，其基于上述工件的3D模型数据至少生成上述工件的一部分的3D模型图像，并利用上述3D模型图像补充上述工件的不可视部分；以及显示部，其以使上述3D模型图像与上述工件的不可视部分重叠的方式进行显示。

【技术特征摘要】
2017.01.23 JP 2017-0091931.一种信息显示系统，其特征在于，具有：变换部，其对工件进行拍摄并制成表示上述工件的形状的模型数据；补充部，其基于上述工件的3D模型数据至少生成上述工件的一部分的3D模型图像，并利用上述3D模型图像补充上述工件的不可视部分；以及显示部，其以使上述3D模型图像与上述工件的不可视部分重叠的方式进行显示。2...

【专利技术属性】
技术研发人员：栗原孝平，清水健二，佐藤和生，前田英朗，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：日本,JP