维护辅助系统、维护辅助方法、程序、加工图像的生成方法以及加工图像技术方案

提供一种能够防止除维护对象以外的机密信息等泄露且摄像条件的制约少的维护辅助系统等。维护辅助系统(100)具备：可穿戴式终端(1)，其具有摄像单元(12)；第一确定单元(31)，其以规定的基准点(M)为基准，确定包含维护对象(T)的第一三维区域(TA)；第二确定单元(32)，其针对在可穿戴式终端进行了移动的移动后状态下的由摄像单元获取到的摄像图像，确定除与第一三维区域对应的有效像素区域以外的掩模像素区域；加工图像生成单元(33)，其生成将掩模像素区域设为不可见所得到的加工图像；以及通信单元(34)，其将加工图像发送到维护辅助人员侧终端(2)。员侧终端(2)。员侧终端(2)。

【技术实现步骤摘要】
【国外来华专利技术】维护辅助系统、维护辅助方法、程序、加工图像的生成方法以及加工图像


[0001]本专利技术涉及一种用于辅助作为维护对象的工业用设备的维护作业的维护辅助系统、维护辅助方法、程序、加工图像的生成方法以及加工图像。特别是，本专利技术涉及一种能够防止除作为维护对象的工业用设备以外的机密信息等泄露并且摄像条件的制约少的维护辅助系统、维护辅助方法、程序、加工图像的生成方法以及加工图像。

技术介绍

[0002]以往，一般在基板处理装置等工业用设备发生了故障的情况下进行以下应对：位于作为维护对象的工业用设备的设置现场的维护作业人员在确认了故障的状况之后，用电话向维护对象的制造工厂侧的维护辅助人员传达故障的状况，维护辅助人员利用电话向维护作业人员发出各种指示。
[0003]在尽管进行上述电话应对但解决不了故障的情况下进行以下应对：在制造工厂侧的熟练作业人员的预定有空闲的定时，向维护对象的设置现场派遣熟练作业人员。
[0004]在上述电话应对的情况下，由于是口头交流，因此存在以下情况：无法很好地将故障的状况传达给维护辅助人员，或者维护辅助人员的指示无法很好地传达给维护作业人员，从而无法解决故障。根据需要，有时维护作业人员将获取到的维护对象的摄像图像通过电子邮件等向维护辅助人员发送，维护辅助人员通过确认摄像图像来掌握故障的状况，但是存在在状况掌握上花费时间这样的问题。
[0005]另外，在上述的派遣熟练作业人员的应对的情况下，存在难以即时应对这样的问题。
[0006]为了解决如上所述的问题，提出了以下的维护辅助系统：维护作业人员佩戴具备摄像单元和显示器的可穿戴式终端(头戴式显示器)，使用该可穿戴式终端来拍摄维护对象，通过因特网等电气通信线路向维护辅助人员侧终端发送该摄像图像(运动图像)。
[0007]然而，在上述的维护辅助系统中，当将摄像图像直接向维护辅助人员侧终端发送时，有可能摄像图像包含设置现场的机密信息。当包含机密信息的摄像图像被发送到维护辅助人员侧时，使得维护辅助人员可知晓机密信息，成为问题。
[0008]因此，例如提出了专利文献1所记载的维护辅助系统(在专利文献1中是图像处理系统)，来作为能够防止机密信息泄露的维护辅助系统。
[0009]专利文献1所记载的系统是一种图像处理系统，具有：获取部，其获取捕捉到原始区域的原始图像；识别部，其识别所述原始图像中的1个以上的标识符；确定部，其基于由所述识别部识别出的所述1个以上的标识符，来确定捕捉到所述原始区域中的第一区域的第一图像部分以及捕捉到从所述原始区域除去所述第一区域后的第二区域的第二图像部分中的至少一方；以及生成部，其根据所述确定部的确定结果来生成包含所述第一图像部分的已处理图像(专利文献1的权利要求1)。
[0010]根据专利文献1所记载的系统，认为通过将第一区域作为维护对象并将第二区域
设为除维护对象以外的机密信息等，能够防止机密信息等泄露。
[0011]然而，在专利文献1所记载的系统中，存在原始图像中必须包含标识符这样的制约。具体地说，在专利文献1中，举出将印刷装置300的内部区域(被4个标识符30包围的矩形区域)设为维护对象的例子，记载了以下内容：与佩戴了具备摄像机170的可穿戴式工具100的作业人员10的运动相应地，原始区域发生变动，获取捕捉到不同的原始区域的原始图像171a～173a，但任一个原始图像171a～173a都需要包含标识符30(专利文献1的第0063～0065段、图6、图7等)。
[0012]因而，例如，当想要接近维护对象地拍摄维护对象的细节部分时，产生只能在原始图像中包含标识符的范围内进行接近这样的制约。
[0013]另外，在专利文献1所记载的系统中，是以标识符为基准来二维地确定第一图像部分(与维护对象对应的部分)的结构，因此产生必须从与标识符相向的特定的一个方向拍摄粘贴了标识符的维护对象这样的制约。
[0014]现有技术文献
[0015]专利文献
[0016]专利文献1：日本特开2017
‑
211766号公报

技术实现思路

[0017]专利技术要解决的问题
[0018]本专利技术是为了解决上述现有技术的问题点而完成的，其课题在于提供一种能够防止除作为维护对象的工业用设备以外的机密信息等泄露、并且摄像条件的制约少的维护辅助系统、维护辅助方法、程序、加工图像的生成方法以及加工图像。
[0019]用于解决问题的方案
[0020]为了解决所述问题，本专利技术提供一种维护辅助系统，具备：可穿戴式终端，其由维护作业人员佩戴，具备摄像单元；第一确定单元，其以由处于初始状态的所述摄像单元获取到的摄像图像中的规定的基准点为基准，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除所述作为维护对象的工业用设备以外的规定的第二三维区域；第二确定单元，其在所述可穿戴式终端进行了移动的移动后状态下由所述摄像单元获取到的摄像图像中，确定除与所述第一三维区域对应的有效像素区域以外的掩模像素区域，和/或确定与所述第二三维区域对应的掩模像素区域；加工图像生成单元，其针对所述移动后状态下的由所述摄像单元获取到的摄像图像，生成将由所述第二确定单元确定出的所述掩模像素区域设为不可见所得到的加工图像；以及通信单元，其将由所述加工图像生成单元生成的所述加工图像发送到由维护辅助人员进行操作的维护辅助人员侧终端。
[0021]根据本专利技术，利用第一确定单元以由处于初始状态的摄像单元获取到的摄像图像中的规定的基准点为基准，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除作为维护对象的工业用设备以外的规定的第二三维区域。本专利技术的“处于初始状态的摄像单元”是指处于规定的基准点位于摄像图像中的状态的摄像单元。
[0022]具体地说，例如，使用AR光标来指定摄像图像的任意的点，在以该指定的位置为基准点的情况下，处于初始状态的摄像单元是指处于能够拍摄使用AR光标来指定的点的位置的摄像单元。
[0023]另外，例如，通过第一确定单元对摄像图像实施规定的图像处理，来提取摄像图像中的与特征部位(例如，维护对象的角部等)对应的像素区域，在以该像素区域的中心等为基准点的情况下，处于初始状态的摄像单元是指处于能够拍摄特征部位的位置的摄像单元。
[0024]并且，例如，在基准点由附加于维护对象等的标记规定的情况下，处于初始状态的摄像单元是指处于能够拍摄该标记的位置的摄像单元。
[0025]另外，例如，在第一三维区域以及第二三维区域为长方体形状的三维区域的情况下，第一三维区域以及第二三维区域是通过用以基准点为基准的三维坐标系表示的三维区域的8个顶点各自的坐标来规定的。
[0026]在上述的情况下，例如，使以基准点为基准的各顶点的坐标预先存储到第一确定单元中或者使用AR光标来指定各顶点，并且使用公知的SLAM(Simultaneous Localization and Mapping：即时定位与地图构建)技术来作为构建在未知的环境中的传感器的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种维护辅助系统，其特征在于，具备：可穿戴式终端，其由维护作业人员佩戴，具备摄像单元；第一确定单元，其以由处于初始状态的所述摄像单元获取到的摄像图像中的规定的基准点为基准，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除所述作为维护对象的工业用设备以外的规定的第二三维区域；第二确定单元，其在所述可穿戴式终端进行了移动的移动后状态下由所述摄像单元获取到的摄像图像中，确定除与所述第一三维区域对应的有效像素区域以外的掩模像素区域，和/或确定与所述第二三维区域对应的掩模像素区域；加工图像生成单元，其针对所述移动后状态下的由所述摄像单元获取到的摄像图像，生成将由所述第二确定单元确定出的所述掩模像素区域设为不可见所得到的加工图像；以及通信单元，其将由所述加工图像生成单元生成的所述加工图像发送到由维护辅助人员进行操作的维护辅助人员侧终端。2.根据权利要求1所述的维护辅助系统，其特征在于，在所述移动后状态下的由所述摄像单元获取到的摄像图像中不需要包含所述基准点。3.根据权利要求1或2所述的维护辅助系统，其特征在于，所述基准点由标记规定。4.根据权利要求1至3中的任一项所述的维护辅助系统，其特征在于，所述第二确定单元具备摄像方向互不相同的多个第二摄像单元，基于由所述多个第二摄像单元获取到的摄像图像来确定所述掩模像素区域。5.根据权利要求1至4中的任一项所述的维护辅助系统，其特征在于，所述可穿戴式终端是具备显示器的头戴式显示器，所述头戴式显示器构成为能够在所述显示器中显示所述摄像图像的状态与所述显示器中以能够识别的方式显示所述加工图像的状态之间进行切换。6.根据权利要求1至5中的任一项所述的维护辅助系统，其特征在于，所述第一确定单元、所述第二确定单元、所述加工图像生成单元以及所述通信单元安装于所述可穿戴式终端。7.根据权利要求1至6中的任一项所述的维护辅助系统，其特征在于，还具备所述维护辅助人员侧终端，所述维护辅助人员侧终端构成为能够与所述通信单元双向地进行数据通信。8.根据权利要求7所述的维护辅助系统，其特征在于，还具备服务器，该服务器与所述通信单元及所述维护辅助人员侧终端电连接，存储有作为所述维护作业人员的识别信息的第一识别信息以及作为所述维护辅助人员的识别信息的第二识别信息，所述服务器判定从所述通信单元发送到所述服务器的识别信息与所述服务器中存储的所述第一识别信息是否匹配，并且判定从所述维护辅助人员侧终端发送到所述服务器的识别信息与所述服务器中存储的所述第二识别信息是否匹配，在从所述通信单元发送到所述服务器的所述识别信息与所述第一识别信息匹配、并且从所述维护辅助人员侧终端发送到所述服务器的识别信息与所述第二识别信息匹配的情况下，能够经由所述服务器进行所
述通信单元与所述维护辅助人员侧终端之间的双向的数据通信。9.一种维护辅助方法，使用由维护作业人员佩戴的具备摄像单元的可穿戴式终端，所述维护辅助方法的特征在于，包括：第一确定步骤，利用第一确定单元以由处于初始状态的所述摄...

【专利技术属性】
技术研发人员：波部刚士，辻冈典洋，
申请(专利权)人：SPP科技股份有限公司，
类型：发明
国别省市：