用于焊接的传感器辅助头戴式显示器制造技术

公开了用于焊接的传感器辅助头戴式显示器。所公开的示例性头戴式装置包括光学传感器、增强现实控制器、图形处理单元和半透明显示器。光学传感器收集焊接环境的图像。增强现实控制器确定要在视野中展示的模拟对象、在视野中的位置，以及所述模拟对象在视野中的视角。图形处理单元基于所述视角呈现所述模拟对象，以表示在视野中和在焊接环境中存在的模拟对象。显示器基于所述位置展示在视野内所呈现的模拟对象。当所述显示器展示所呈现的模拟对象时，可以通过显示器和透镜观察到焊接环境的至少一部分。

【技术实现步骤摘要】
【国外来华专利技术】用于焊接的传感器辅助头戴式显示器相关申请本专利要求于2015年3月6日提交的美国临时专利申请序列号62/129,149和2015年3月9日提交的美国临时专利申请序列号62/130,316的优先权。美国临时专利申请序列号62/129,149和美国临时专利申请序列号62/130,316的全部内容通过引用并入本文。
技术介绍
焊接操作者在恶劣的电弧焊接环境中视线模糊。焊弧和周围环境的鲜明的光线强度对比使得难以看到焊缝、焊缝内的电极放置、焊炬和行进角度、液体焊接熔池形状和位置，以及具有良好清晰度的完工焊接大小和位置。对于某些焊丝、气体和焊接过程的过量的烟雾和飞溅情况，问题变得更复杂。另外，焊接行业缺乏技术熟练的操作者，并且需要有效的操作者动作技能训练，无论是在模拟环境中还是在具有真实生产焊件的工作中。还希望提供所需工具运动行为和焊接结果的实时信息、指令、过程反馈和动画，以帮助焊接操作者进行焊接生产。希望使技术和/或经验不足的焊接操作者能够生产通过质量检验的焊接。通过这些方法与参照附图的本公开的剩余部分中提出的本专利技术方法和系统的一些方面的比较，对于本领域技术人员而言，常规焊接方法的其它限制和缺点将变得显而易见。
技术实现思路
提供了用于介导现实焊接用户接口的方法和系统，其基本上如至少一个附图所示和/或结合至少一个附图所描述的，如在权利要求书中更全面阐述的。关于增强现实或混合现实描述了具有可透视的或透明的显示器的方法和系统，所述显示器将计算机生成的图形与人眼直接观察到的真实焊接场景相混合。附图说明图1示出了可操作以在焊接操作之前、期间和之后呈现3D增强现实图像的用于焊接的光学头戴式显示器(OHMD)的示例性操作。图2A、图2B和图2C示出了用于焊接的图1的OHMD的示例性电路。图3是表示可由一个或多个处理器执行以实现用于焊接的图1、图2A和/或图2B的OHMD的示例性机器可读指令的流程图。图4A描绘了在焊接操作期间通过增强现实焊接用户接口的示例性视图。图4B描绘了在焊接操作期间通过增强现实焊接用户接口的另一个示例性视图。图4C示出了其中注视跟踪装置确定场景中正在注视的物理对象或注视位置并且使用所确定的位置或对象在显示器中提供所注视的区域的缩放视图的另一个示例性用户接口。图4D示出了其中模拟对象(例如，在焊接和/或切割操作中使用的一束或多束激光)显示在图2A、图2B和/或图2C的头戴式显示器上的另一个示例性用户接口。图5描绘了通过增强现实焊接用户接口的示例性焊接顺序控制视图。图6描绘了使用增强现实焊接用户接口的分开定位的焊接操作者之间的协作。图7示出了使用增强现实用户接口用于改善在试样上练习时的焊接情况的真实性。图8示出了使用增强现实用户接口控制焊接机器人。图9是表示可由一个或多个处理器执行以实现图1、图2A、图2B和/或图2C的OHMD来增强焊接环境的视图的示例性机器可读指令的流程图。图10是表示可由一个或多个处理器执行以实现图1、图2A、图2B和/或图2C的头戴式装置来利用虚拟对象增强焊接训练的示例性机器可读指令的流程图。图11A和图11B示出了根据本公开的方面的示例性接口，其显示覆盖在与所述接口相对应的视野内的真实场景上的模拟对象。图12A示出了根据本公开的方面的示例性头戴式系统，其包括常规焊接头盔和可由操作者佩戴在焊接头盔下方的单独的头戴式显示器。图12B示出了包括示例性焊接头盔的另一个示例性头戴式系统，所述示例性焊接头盔具有尺寸被设计成将操作者佩戴的头戴式显示器装配在焊接头盔下方的观看口。具体实施方式本公开的某些实施例的方面增强了人类焊工在改进的视线方面对现实的感知。本公开的某些实施例的方面提供了对自动变暗透镜系统的替代和/或改进，尽管所述自动变暗透镜系统保护眼睛免受强烈的电弧，但是它们也使周围(周围环境等)变暗，使得操作者难以看到工件。本公开的某些实施例的方面改善了焊接操作者的视线，而没有完全用虚拟现实(VR)技术来将其替代，相对于生物学上直接观看，这可引起VR病症(诸如模拟病症和运动病症)，以及其它图像数字化效应(诸如空间分辨率、2D显示、实时事件的时间延迟、颜色深度、视差和混叠)的失真。本公开的某些实施例的方面注释了利用空间上锚定到真实对象而不是简单的2D数据覆盖的虚拟/全息3D对象所看到的物理/真实对象。如本文所使用的，术语全息图和/或全息是指具有3D成像效果(诸如具有全息干涉图案的计算机生成的图像内容)，并且不一定需要使用衍射和/或干涉进行激光投影的立体显示。例如，3D全息图像可以由双投影仪系统产生，其中两个堆叠的投影仪以佩戴者的可调节的瞳孔间距设置。本公开的某些实施例的方面利用全息图像处理和显示系统以专门使用图像处理和显示系统的应用程序接口来增强焊接操作者用户接口。本公开的某些实施例的方面提供更好的训练、服务、指令甚至远程焊接。本公开的某些实施例的方面提供了包括增强现实用户接口的用户接口，所述增强现实用户接口可操作以呈现包括物理/真实对象和全息图的混合的场景，其中全息图在存在运动、障碍物等等的情况下跟踪真实对象。本公开的某些实施例的方面提供了一种包括以下各项中的一个或多个的人类焊工用户接口：全息近眼显示器(例如，微透镜阵列的光场显示器等)，以及能量效率高的FOV深度相机、头部跟踪传感器、注视跟踪传感器，以及用于处理来自相机和各种传感器的数据的一个或多个处理器(例如，中央处理单元、图形处理单元和全息处理单元)以执行例如空间映射、姿势识别、可佩戴用户接口以及语音和话音识别。本公开的某些实施例的方面包括可操作以在几何形状和尺寸上绘制3D焊接场景的渡越时间(ToF)深度相机、近眼显示器，以及可操作以向焊接操作者呈现混合的物理和虚拟视图的相关光学器件和电路。本公开的某些实施例的方面包括增强现实计算装置，其从ToF深度相机或激光扫描仪或结构光或物理对象的立体视觉映射获取输入并且将虚拟3D对象、全息图和/或注释固定到真实对象的物理位置上，尽管佩戴者(头部或眼睛)和/或物理对象的运动。如下所述，所公开的实例包括向焊接操作者生成并且显示虚拟对象。虚拟对象可被生成并且显示在头戴式装置上，以便特别是：1)增强焊接场景中真实对象的清晰度(例如，通过显示实际对象的清晰虚拟轮廓、虚拟障碍物移除、透过烟雾观看等)；2)提供关于所需的焊接工具方位和/或焊接工具运动的指令作为实时指导和/或辅导工具；3)在使用要制造的真实焊件的练习焊接期间和/或在操作者训练期间模拟焊弧、焊接熔池和/或焊道；4)在实际的现场焊接期间，将所需的虚拟焊池、虚拟焊丝、虚拟非消耗电极和/或焊池标记叠加或投影在真实焊接场景中，以指导操作者调节焊炬位置、焊丝位置和/或行进速度；5)叠加基本上不透明的电弧对象来调暗或降低所选物理对象(诸如电弧)的亮度；6)跟踪学生操作者目光以达到训练目的并且注释焊接场景以吸引学生的注意力；7)测量并且显示物理对象的关键尺寸(例如熔池大小、触头到焊接点的距离(CTWD)、电弧长度)；8)实际上将部件装配到正在焊接的焊件上以进行几何尺寸标注和公差标注(GD&T)；9)在实践环境中在测试试样上焊接练习期间利用虚拟制造部件模拟焊接；和/或10)模拟焊接场景以便操作者经由焊接场景处的远程焊接装置进行焊接。尽管下面公开了虚拟对本文档来自技高网...

【技术保护点】
一种焊接接口装置，包括：光学传感器，用于收集焊接环境的图像；增强现实控制器，用于基于所述焊接环境的图像和与所述焊接环境中的焊接操作相对应的第一指令确定要在视野中展示的模拟对象、所述模拟对象在所述视野中的位置，以及所述模拟对象在所述视野中的视角；图形处理单元，用于基于所述视角呈现所述模拟对象，以表示在所述视野中和在所述焊接环境中存在的所述模拟对象；以及半透明显示器，用于基于由所述增强现实控制器确定的位置展示在所述视野内的所呈现的模拟对象，当所述显示器展示所呈现的模拟对象时，可以通过所述半透明显示器观察到所述焊接环境的至少一部分。

【技术特征摘要】
【国外来华专利技术】2015.03.06 US 62/129,149;2015.03.09 US 62/130,3161.一种焊接接口装置，包括：光学传感器，用于收集焊接环境的图像；增强现实控制器，用于基于所述焊接环境的图像和与所述焊接环境中的焊接操作相对应的第一指令确定要在视野中展示的模拟对象、所述模拟对象在所述视野中的位置，以及所述模拟对象在所述视野中的视角；图形处理单元，用于基于所述视角呈现所述模拟对象，以表示在所述视野中和在所述焊接环境中存在的所述模拟对象；以及半透明显示器，用于基于由所述增强现实控制器确定的位置展示在所述视野内的所呈现的模拟对象，当所述显示器展示所呈现的模拟对象时，可以通过所述半透明显示器观察到所述焊接环境的至少一部分。2.根据权利要求1所述的焊接用户接口装置，还包括用于容纳所述光学传感器和所述显示器的主体。3.根据权利要求2所述的焊接用户接口装置，还包括附接到所述主体的透镜，所述透镜用于降低在所述焊接环境中出现的光的强度，所述透镜被布置成当所述焊接用户接口装置由佩戴者佩戴时向所述焊接用户接口装置的佩戴者提供所述视野，所述显示器是当被所述佩戴者佩戴时被定位在所述透镜与所述焊接用户接口装置的佩戴者之间的近眼显示器。4.根据权利要求2所述的焊接用户接口装置，其中，所述主体包括焊接操作者个人防护设备、安全帽、护眼罩或防护面罩中的至少一个。5.根据权利要求1所述的焊接用户接口装置，还包括主体，所述光学传感器、所述图形处理单元以及所述显示器附接到所述主体，所述主体的尺寸被设计成当由佩戴者佩戴时使所述佩戴者能够进一步佩戴焊接头盔。6.根据权利要求1所述的焊接用户接口装置，其中，所述增强现实控制器用于在观看所述焊接环境中存在的第二对象的视野模糊时呈现所述模拟对象的视图。7.根据权利要求1所述的焊接用户接口装置，其中，所述增强现实控制器用于基于正在执行的当前焊接和指定的焊接顺序生成所述模拟对象以识别要执行的下一次焊接。8.根据权利要求1所述的焊接用户接口装置，其中，所述光学传感器包括被配置为减轻电弧辐射波长的辐射的滤波器。9.根据权利要求8所述的焊接用户接口装置，还包括用于输出在电弧辐射光谱之外的第二波长的第二辐射的照明器，所述光学传感器包括用于收集所述第二波长的第三信号以生成所述图像的渡越时间传感器，所述滤波器包括用于减轻除了所述第二波长之外的波长的光的带通滤波器。10.根据权利要求1所述的焊接用户接口装置，其中，所述图形处理单元包括全息处理单元。11.根据权利要求1所述的焊接用户接口装置，其中，所述模拟对象包括焊池、完工焊道、电极、电弧、激光路径、保护气体路径、粉末路径、焊接工具、焊道、焊接头、焊接夹具、焊件或焊接后待装配或组装到焊件上的零件中的至少一个。12.根据权利要求1所述的焊接用户接口装置，其中，所述模拟对象包括电弧，所述图形处理单元用于呈现至少部分不透明并且位置与其中在所述焊接环境中存在实际电弧的视野的一部分相对应的所述模拟对象，所述显示器用于显示所呈现的模拟对象以降低来自所述焊接用户接口装置的佩戴者可观察到的所述实际电弧的光的强度。13.根据权利要求1所述的焊接用户接口装置，其中，所述图形处理单元用于呈现所述视野的一部分的缩放视图，所述增强现实控制器用于基于来自注视跟踪器的图像或输入中的至少一个确定所述视野的一部分。14.根据权利要求13所述的焊接用户接口装置，其中，所述增强现实控制器将所述视野的一部分的缩放视图的位置确定为所述视野的一角。15.根据权利要求1所述的焊接用户接口装置，其中，所述光学传感器用于收集所述焊接环境的第三图像，所述增强现实控制器用于基于所述焊接环境的第三图像更新所述模拟对象的位置和视角，所述图形处理单元用于基于所述增强现实控制器对位置和视角的更新呈现所述模拟对象。16.根据权利要求1所述的焊接用户接口装置，还包括通信控制器，用于响应于识别与所述第一指令的偏差传送禁用命令，所述禁用命令用于使焊炬、焊接电源或焊丝进给机中的至少一个被禁用。17.根据权利要求1所述的焊接用户接口装置，其中，所述增强现实控制器用于确定正在执行的焊接的状态并且将所述状态与所述第一指令进行比较，所述增强现实控制器用于基于所述比较确定所述模拟对象的位置和视角。18.根据权利要求1所述的焊接用户接口装置，其中，所述...

【专利技术属性】
技术研发人员：克里斯托弗·徐，
申请(专利权)人：伊利诺斯工具制品有限公司，
类型：发明
国别省市：美国,US