利用增强现实在制造期间进行实时质量控制制造技术

本文说明利用增强现实在制造期间提供实时质量控制的各种技术。尤其，在一个实施例中，本文中的技术将三维(3D)虚拟形状/模型投射到现实世界中的在制品部件上，以实时看到缺陷，从而允许在制造中校正。本文中的实施例通常由以下步骤组成：首先将“虚拟世界”校准至现实世界，接着将物理产品校准至该虚拟世界，以及最后在物理产品上投射信息，例如各种设计信息及/或质量控制信息。

【技术实现步骤摘要】
【国外来华专利技术】利用增强现实在制造期间进行实时质量控制相关申请本申请要求Borke等人于2018年3月9日提交的名称为“REAL-TIMEQUALITYCONTROLDURINGMANUFACTURINGUSINGAUGMENTEDREALITY”的美国临时专利申请号62/640,877的优先权，其内容整体通过参考包括于此。
本揭露通常涉及增强现实，尤其涉及利用增强现实在制造期间进行的实时质量控制。
技术介绍
质量控制(qualitycontrol；QC)是一个过程，实体通过该过程审查生产中所涉及的特定(例如，全部)因素的质量。一般来说，尽管质量可基于“较软”的要素(例如，工作管理、绩效、能力、诚信等)，但检查是质量控制的主要组成部分，其中，对物理产品进行目视检查。因此，例如，产品检查员通常可以得到不可接受的产品缺陷(例如裂缝或表面瑕疵)的清单和说明。质量控制的早期形式例如为所需物品的绘图，其中，若物品与绘图不匹配，则拒收该物品。然而，更复杂的制造产品难以使部件与其说明完全相同，从而导致引入容限，其中，应当理解，只要产品的部件经测量在该容限内，该产品就能够充分发挥作用。基于此理解，许多制造产品的“质量”可通过使用例如塞规(pluggauge)及环规(ringgauge)等装置来确定。然而，随着制程变得更加复杂，量级变得较大，且常常具有较低的容限，执行质量控制的传统方法效率低下。例如，传统的质量控制技术常常在产品已被完全制造后才检测到缺陷，从而导致浪费时间及材料。
技术实现思路
依据本文中的实施例，各种技术利用增强现实在制造期间提供实时质量控制。尤其，在一个实施例中，本文中的技术将三维(3D)虚拟形状/模型投射到现实世界中的在制品部件上，以实时看到缺陷，从而允许在制造中校正。本文中的实施例通常由以下步骤组成：首先将“虚拟世界”校准至现实世界，接着将物理产品校准至该虚拟世界，以及最后在物理产品上投射信息，例如各种设计信息及/或质量控制信息。具体地说，在本文中的一个实施例中，本文中的技术将虚拟世界校准至现实世界，该现实世界具有一个或多个投影仪以及一个或多个传感器；基于该一个或多个传感器将该现实世界中的物理对象校准至该虚拟世界中的虚拟对象；基于该一个或多个传感器比较该物理对象与该虚拟对象；基于该比较确定关于该物理对象的信息；以及利用该一个或多个投影仪在该物理对象上投射关于该物理对象的该信息。下面还说明其它具体实施例、扩展或实施细节。附图说明通过结合附图参照下面的说明可更好地理解本文中的实施例，该些附图中类似的附图标记表示相同或功能类似的元件，其中：图1A-1B显示利用增强现实在制造期间进行实时质量控制的校准的例子；图2A-2C显示利用增强现实在制造期间进行实时质量控制的校准的另一个例子；图3显示利用增强现实在制造期间进行实时质量控制的例子；图4显示示例计算装置的示意方块图；以及图5显示利用增强现实在制造期间进行实时质量控制的示例简化程序。具体实施方式如上所述，用于复杂制程的质量控制可能是困难的及/或通常效率低下的。例如，对于增材制造，例如材料层(例如，玻璃纤维、碳纤维，或其它复合材料)的3D打印或手动施加，该制程可能需要花费几天或甚至几周。若在该制程结束时确定产品制造不当(例如形状错误，在特定或全部区域中的材料过多或过少等)，则必须校正或完全丢弃该制成品。若需要移除多余的材料(例如，修整以匹配所需深度/尺寸/形状等)，则就浪费的材料及时间而言，校正缺陷(即使可能)可能是浪费的，此外，若添加额外材料，其中，引发的成本可能包括需要粘合剂、预处理等。而且，当修整多余材料时，校正还必须确保不会移除过多的材料。因此，依据本文中的实施例，提供了用以将三维(3D)虚拟形状/模型(例如，计算机辅助设计或“CAD”文件)投射到现实世界中的在制品部件上的技术，以实时看到缺陷，从而允许在制造中校正。如下所述，本文中的实施例通常由以下步骤组成：首先将“虚拟世界”校准至现实世界，接着将物理产品校准至该虚拟世界，以及最后在物理产品上投射信息，例如各种设计信息及/或质量控制信息。操作上，本揭露首先提供一种校准技术，以将虚拟模拟空间映射至现实世界空间。例如，大体参照图1A-1B的系统100，可设置一个或多个投影仪110，以投射于给定区域上(例如，洁净室、制造车间，或其它地方)。此外，可将一个或多个传感器120例如示例红外(IR)相机(或激光、光雷达、相机等)设置于已知位置(例如，锁固的/静止的，要不然可例如通过“内向外追踪(inside-outtracking)”确定位置，本领域的技术人员将理解)，并布置成可看到该投射区域的某部分。(要注意，在校准期间，通常可相对于该投影仪“锁固”该些传感器，以相对该投影仪确定传感器位置)。不过，通过使用随时追踪传感器的位置(相对于投影仪)的技术，传感器位置相应地可为可移动的。依据本文中的技术，接着，至少一个投影仪在已知的投影仪相关地标处投射彩色点115，例如，在该投射的中心线上从上至下的五个等间距点。还可将参考对象130(例如方块)设置于该投射之下，以使该些彩色投射点的其中之一与对象130的特定位置(例如该块体的顶部的中心)对齐。通过使用Blob检测(一种图像处理技术，在给定一组参数的情况下，在图像中定义“blobs”或分组的像素集，如本领域的技术人员所了解的那样)，传感器120检测该块体并储存其相对于该传感器的虚拟参考点(例如，中心点)以及相对于该投影仪的彩色点位置作为锚点。多次重复此步骤(例如，四次-在两个不同的彩色投射点上两次)，以获得多个(例如，四个)锚点。一般来说，应当测量最少要四个锚点。例如，这四个点用以绘制两条线；一条线连接共用一个彩色点的每对虚拟点。所形成的线的交点将产生该投影仪相对于该传感器的虚拟位置。通过使用这些线，计算并使用现实世界投射区域的虚拟边界值(顶部、底部、左侧、右侧、近平面及远平面)以利用下面的公式创建透视投射变换矩阵：这里，假设相对于投影仪的虚拟位置及旋转的坐标系统，n对应于投射体积的“近”边界平面，f对应于投射体积的“远”边界平面，l对应于投射体积的左侧边界平面，r对应于投射体积的右侧边界平面，t对应于投射体积的顶部边界平面，以及b对应于投射体积的底部边界平面。其次，在本文中定义取向技术，以将3D虚拟对象(例如，CAD文件)与具有未知的取向、比例/尺寸及位置的现实世界对象匹配。(例如，除旋转取向外，对象可位于其侧面上，而相应CAD文件处于垂直位置)。一种示例取向技术如下，大体参考图2A-2B的例子200，具有虚拟对象210以及物理对象220：1.在现实世界对象220上放置三个点(实际标记225)。2.在该3D虚拟对象上，设置与现实世界点225的位置完全匹配的虚拟标记215(在虚拟世界中取光标，并在该CAD文件上标记与该现实世界对象上标记的点相同的点，例如，容易识别的特征，如角落或实际标记)。3.测量现实世界点本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n通过过程将虚拟世界校准至现实世界，该现实世界具有一个或多个投影仪以及一个或多个传感器；/n通过该过程，基于该一个或多个传感器将该现实世界中的物理对象校准至该虚拟世界中的虚拟对象；/n通过该过程，基于该一个或多个传感器比较该物理对象与该虚拟对象；/n通过该过程，基于该比较确定关于该物理对象的信息；以及/n通过该过程，利用该一个或多个投影仪在该物理对象上投射关于该物理对象的该信息。/n

【技术特征摘要】
【国外来华专利技术】20180309 US 62/640,8771.一种方法，包括：
通过过程将虚拟世界校准至现实世界，该现实世界具有一个或多个投影仪以及一个或多个传感器；
通过该过程，基于该一个或多个传感器将该现实世界中的物理对象校准至该虚拟世界中的虚拟对象；
通过该过程，基于该一个或多个传感器比较该物理对象与该虚拟对象；
通过该过程，基于该比较确定关于该物理对象的信息；以及
通过该过程，利用该一个或多个投影仪在该物理对象上投射关于该物理对象的该信息。


2.如权利要求1所述的方法，其中，该信息包括设计信息。


3.如权利要求1所述的方法，其中，该信息包括质量控制信息。


4.如权利要求3所述的方法，还包括：
基于该比较，依据该虚拟对象与该物理对象之间的差异确定该质量控制信息。


5.如权利要求3所述的方法，其中，该质量控制信息包括质量的颜色编码标示。


6.如权利要求3所述的方法，其中，该质量控制信息包括材料过少或过多的其中一种或两种的标示。


7.如权利要求1所述的方法，其中，该信息包括制造说明标示。


8.如权利要求1所述的方法，其中，该一个或多个传感器选自由红外(IR)传感器；光雷达(LIDAR)传感器；激光；以及相机组成的群组。


9.如权利要求1所述的方法，其中，将该一个或多个传感器锁固于该现实世界中已知的位置。


10.如权利要求1所述的方法，其中，该一个或多个传感器在该现实世界中可移动，该方法还包括：
确定该现实世界中各该一个或多个传感器的位置。


11.如权利要求10所述的方法，其中，确定该位置包括内向外追踪。


12.如权利要求1所述的方法，其中，将该虚拟世界校准至该现实世界包括：
将该虚拟世界内映射的多个点投射至...

【专利技术属性】
技术研发人员：M·J·博尔克，H·贝齐尔甘扬，阿什利·克劳德，本杰明·康韦，
申请(专利权)人：文塔纳三D有限责任公司，
类型：发明
国别省市：美国;US