对象扫描能力的实时检测制造技术

公开了用于确定和警告用户关于在扫描数据的后处理之前对象将是否成功扫描的系统和方法。在各实施例中，在扫描数据的后处理开始之前，扫描数据由机器学习算法处理，该算法能够确定扫描数据是否和/或有多大可能返回所扫描对象的准确扫描再现。机器学习算法还可建议在扫描更有可能成功的环境中对象的新位置。

【技术实现步骤摘要】
【国外来华专利技术】对象扫描能力的实时检测背景三维(3D)扫描技术使用图像采集设备对真实世界的对象进行扫描，并在显示器上再现该对象或利用3D打印技术将该对象再现为真实世界的对象副本。对象扫描广泛采用的一个关键障碍是，在通过当前技术扫描时，仍有许多对象不能产生准确的再现。特定对象在被扫描时可能无法准确再现存在各种各样的原因，例如，包括高光、反射率、表面纹理、表面凹凸等。使这个问题更加复杂的事实是，当目标对象无法被扫描时，常规扫描仪不会警告用户。由于不知道某个对象是否“可扫描”，用户通常在扫描过程中投入大量时间，最终将会失败。扫描数据的后处理可花费多达一到两个小时才能返回所扫描的副本，直到后处理步骤完成，用户才被告知它将不会成功。概述本技术的各实施例涉及确定和警告用户关于在扫描数据的后处理之前对象将是否成功扫描的方法。在各实施例中，在扫描数据的后处理开始之前，扫描数据由机器学习算法(此处称为扫描能力算法)处理，该算法能够确定扫描数据是否和/或有多大可能返回所扫描对象的准确扫描再现。扫描能力算法也可建议在扫描更有可能成功的环境中对象的新位置。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。附图简述图1是根据本技术的各实施例的解说扫描能力算法的学习模式的流程图。图2是用户从第一视角扫描对象的透视图。图3是用户从第二视角扫描图2的对象的透视图。图4是用户从第一视角扫描对象的透视图。图5是用户从第二视角扫描图4的对象的透视图。图6是根据本技术的一实施例在机器学习神经网络中实现的扫描能力模型的图解。图7是提供用于训练扫描能力模型的步骤208的进一步细节的流程图。图8是用于预测所扫描设备的成功或失败的本技术的扫描能力模型的操作框图。图9是用于预测所扫描对象的成功或失败的本技术的操作流程图。图10是示出图9的步骤232的附加细节的流程图。图11-14是包括弹出菜单的头戴式显示器的图解，该弹出菜单具有关于该扫描将成功还是不成功的预测。图15是用于实现本技术的各个方面的解说性计算系统的框图。详细描述现在将参照这些附图来描述本技术的各实施例，这些附图一般涉及实时确定给定对象在所扫描数据的后处理之前是否将会在给定环境中成功扫描的方法。在各实施例中，在所扫描数据的后处理开始之前，所扫描数据由机器学习扫描能力模型处理，该模型能够确定扫描数据是否和/或有多大可能返回所扫描对象的准确扫描再现。在各实施例中，扫描能力模型是从机器学习算法中发展出来的，该模型可以被训练来识别可能导致成功扫描比对不成功扫描的扫描数据。在对象被一个或多个图像传感器扫描的情况下，可以执行大量的学习试验，并且扫描数据流被输入到机器学习算法中。将给定试验中的机器学习算法的输出与来自扫描数据的后处理的实际输出进行比对，并由此，机器学习算法可以基于与各自相应的输出的任何偏离来被更新或完善。一般来说，扫描能力算法可以通过执行大量的学习试验来发展模型以提高其预测的准确性，通过这些学习试验来训练扫描能力模型以做出准确的预测。在各实施例中，对于扫描能力模型而言可以有一千到十万的学习试验，但是在进一步的各实施例中，学习试验的数目可少于一千和超过十万。此后，扫描能力算法可以被终端用户用于执行扫描。使用经完善的扫描能力模型，扫描能力算法可以在扫描数据的后处理之前向用户告知对象扫描的可能结果。在各实施例中，除了向用户通知扫描将很有可能不成功外，扫描能力算法还可以建议在扫描更有可能成功的环境中对象的新位置。在各实施例中，新示例数据可以从由扫描能力算法生成的现有捕捉中合成，以生成替代位置的建议。例如，在对象的扫描期间，可以定义在扫描发生的位置处的体积。该体积(例如在深度数据中示出)可以随后被合成地重新注入到其他表面上，以尝试并确定它是否可能在环境的其他部分扫描得更好。此外，如下文所解释，当由预测成功或不成功扫描的实际实例的终端用户使用时，由扫描能力算法建立的扫描能力模型可以持续学习并基于关于模型的准确性的反馈进行更新。图1的流程图示出了本技术的机器学习扫描能力算法可如何生成扫描能力模型的实施例。在步骤200中，扫描能力算法接收来自第一学习试验的扫描数据。扫描数据可以包括通过一个或多个图像传感器从不同视角捕捉对象和周围环境的图像而生成的数据流。在各实施例中，图像传感器可以包括生成深度数据流的深度相机、生成RGB数据流的RGB相机和/或生成红外(IR)数据流的IR相机。在任何给定试验中，扫描数据可以由来自这些数据流中的一个或多个的图像数据组成。其他图像传感器也可以或者替换地可以被使用。如下所解释的那样，姿态数据可以被用作扫描将成功还是不成功的指示符。在下面描述的各实施例中，扫描数据是从用于呈现增强现实体验的头戴式显示设备的一个或多个图像传感器生成的3D扫描数据。头戴式显示设备的图像传感器的操作的细节对于本技术是不重要的，除了它们能够使用例如深度相机、RGB相机和/或IR相机从不同的视角捕捉对象的图像的事实。然而，例如在2013年12月5日公布的题为“位置相对全息相互作用”的美国专利公开No.2013/0326364提供了对头戴式显示设备及其图像传感器的描述。可理解，本技术并不限于头戴式显示设备，也不限于从特定图像传感器接收扫描数据。本技术可以使用各式各样不同的图像传感器从各式各样的扫描设备接收扫描数据。可能发生的是，扫描设备使用深度相机、RGB相机和IR传感器中的每一者，在这种情况下，这些数据流的每一个可被提供给扫描能力算法用于进行分析。然而，扫描设备也可采用少于所有这三个图像传感器。本技术的一特征在于，扫描能力算法和经完善的模型可以与来自一个或多个图像传感器的数据流一起操作，而无需具有关于哪些图像传感器在提供数据流的信息。具体而言，如下所述，接收到的数据流被输入到人工神经网络机器学习算法。该算法在一个或多个数据流(例如由深度数据、RGB数据、IR数据和/或姿态数据组成)被接收时执行学习试验。该算法接受训练以标识在给定实例中一个或多个输入数据流将很有可能产生成功扫描还是不成功扫描。步骤200中接收的数据流是基于扫描设备从各种不同视角捕捉真实世界3D对象。例如，图2和3解说了佩戴头戴式显示设备100的用户的示例，该头戴式显示设备100用于从环境104内的不同视角扫描对象102，环境104具有对象102位于其上的表面106。在各实施例中，被扫描的环境104可以是直接附属于对象的区域。因此，在图2和3中，环境104可以完全由表面106组成。头戴式显示设备100可以包括一个或多个图像传感器，例如包括深度传感器、RGB相机和/或IR传感器，这些图像传感器从对象102和环境104捕捉图像数据。然后，扫描数据可以由与头戴式显示设备100相关联的处理单元108内执行的扫描能力算法处理。在替换实施例中，还可能将扫描数据上传到云中的一个或多个远程服务器，并且随后在云中运行扫描能力算法。这例如在扫描设备没有足够的计算能力或特殊计算硬件来高效运行该算法时可能有用。图2和3示出了用户从两个不同的视角捕捉对象102，但可以理解，用户可以在对象周围移动并从几个更多的视角捕捉对象。图4和5解说了用户使用包括一个或本文档来自技高网...

【技术保护点】
1.一种方法，包括：(a)接收来自在多个试验中对一个或多个对象的多个扫描中的扫描数据；(b)以下操作之一：确定或接收所述多个试验中关于所述扫描数据导致所述多个试验中一个或多个对象的成功还是失败的扫描的目标输出；(c)关于所述扫描数据导致所述多个试验中所述一个或多个对象的成功还是失败的扫描来使用算法处理所述多个试验中的所述扫描数据以确定所述多个试验中计算出的输出；以及(d)在所述计算出的输出与同一扫描数据的目标输出不同的情况下在所述多个试验上完善所述算法，以改善所述计算出的输出与所述目标输出之间的对应关系，所述算法能操作用于预测在所述多个试验完成之际执行的对象扫描的成功或失败。

【技术特征摘要】
【国外来华专利技术】2016.02.18 US 15/047,0301.一种方法，包括：(a)接收来自在多个试验中对一个或多个对象的多个扫描中的扫描数据；(b)以下操作之一：确定或接收所述多个试验中关于所述扫描数据导致所述多个试验中一个或多个对象的成功还是失败的扫描的目标输出；(c)关于所述扫描数据导致所述多个试验中所述一个或多个对象的成功还是失败的扫描来使用算法处理所述多个试验中的所述扫描数据以确定所述多个试验中计算出的输出；以及(d)在所述计算出的输出与同一扫描数据的目标输出不同的情况下在所述多个试验上完善所述算法，以改善所述计算出的输出与所述目标输出之间的对应关系，所述算法能操作用于预测在所述多个试验完成之际执行的对象扫描的成功或失败。2.如权利要求1所述的方法，其特征在于，进一步包括以下步骤：所述算法建议关于在所述多个试验完成之际执行的所述对象的扫描中未成功扫描的对象的重新放置的选项。3.如权利要求1所述的方法，其特征在于，进一步包括以下步骤：接收关于在所述多个试验完成之际执行的所述对象的扫描成功的预测的反馈，以及基于所述反馈来更新所述算法。4.如权利要求1所述的方法，其特征在于，所述在所述多个试验上完善所述算法的步骤包括以下步骤：完善所述算法所使用的数字权重以改善所述计算出的输出与所述目标输出之间的对应关系。5.如权利要求1所述的方法，其特征在于，所述算法能操作用于实时预测在所述多个试验完成之际执行的对象扫描的成功或失败。6.一种计算设备，包括：包括一个或多个图像传感器的一个或多个扫描仪，所述一个或多个图像传感器能操作用于在数个试验中扫描来自多个对象的图像数据；以及处理器，所述处理器能操作用于：在所述数个试验的每一试验中，从所述一个或多个图像传感器接收扫描数据，以及生成使得能够实时预测在所述数个试验完成之际执行的对象扫描的成功或失败的模型，所述模型使用所述数个试验中来自所述一个或多个图像传感器的所述扫描数据来训练。7.如权利要求6所述的计算设备，其特征在于，所述处理器进一步能操作用于：...

【专利技术属性】
技术研发人员：M·A·西马瑞，V·白亚，L·梁，S·斯塔取涅克，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US