用于成像系统的深度学习推理系统和方法技术方案

用于成像系统的深度学习推理包括成像设备，该成像设备包括图像捕获部件和视觉处理单元，该视觉处理单元被配置为通过第一经训练的推理网络处理图像以确定第一推理结果。主机系统训练用于图像分类的神经网络并生成第一经训练的推理网络，并将该第一经训练的推理网络传送到成像设备的视觉处理单元。第一经训练的推理网络向成像设备提供独立的图像分类、对象检测和/或置信度得分。视觉处理单元还可以包括两个或更多个经训练的推理网络，其被配置为接收作为输入的推理结果并输出第二推理结果。立体相机系统使用来自一个或多个推理网络的特征和/或结果来控制对检测到的对象的三维数据的处理。

【技术实现步骤摘要】
【国外来华专利技术】用于成像系统的深度学习推理系统和方法相关申请的交叉应用本专利申请要求2018年10月15日提交的题为“DEEPLEARNINGINTERFACESYSTEMSANDMETHODSFORIMAGINGSYSTEMS”的美国临时专利申请No.62/745,948的优先权和权益，通过引用的方式将其整体并入本文中。
本公开的一个或多个实施例总体上涉及成像系统，并且更具体地，例如，涉及用于成像系统的深度学习推理系统和方法。
技术介绍
在图像处理领域中，一直需要一种有效且可靠的方式来对成像设备的视场(例如，场景)内的感兴趣对象进行检测和分类。传统的“智能相机”结合了机器视觉成像部件和运行基于规则的图像处理软件的单板计算机。智能相机能够解决诸如条形码读取之类的简单问题或者是解答诸如“该零件应该在其应有的位置上有孔吗？”之类的问题。推理相机擅长解决更复杂或更主观的问题，例如“这是苹果出口等级吗？”。当对已知的良好图像进行训练时，推理相机可以轻松地识别出意外的缺陷，而基于规则的检查系统将无法识别出这些缺陷，从而使推理机对可变性的容忍度更高。在一种方法中，将感兴趣的对象的各种图像收集到训练数据集中，以训练神经网络对对象进行分类。可以使用相机以各种角度和各种设置捕获对象的图像来生成训练图像。对于每个对象分类，训练数据集通常都包括数千个图像，并且生成和更新训练数据集可能很耗时、昂贵且繁重。可以将经过训练的神经网络加载到服务器系统上，该服务器系统从网络上的成像设备接收图像并对其进行分类。简化的机器视觉和图像分类系统可用于某些成像设备，但是这样的系统不能运行鲁棒的经过训练的神经网络，并且很难适应各种用户场景。鉴于以上所述，仍然需要一种改进的对象检测和分类方案，其易于适应新的用例并提供优于常规系统的性能或其他优势。
技术实现思路
提供了利用成像系统来实现经过训练的神经网络的各种系统和方法。推理相机使用户能够利用快速加速的深度学习技术、框架和工具。该相机将使工程师能够花费更少的时间来开发复杂的算法，同时提供更能容忍意外缺陷的系统。在各种实施例中，一种系统包括成像设备，所述成像设备具有：被配置为捕获图像的图像捕获部件，以及被配置为通过第一经训练的推理网络来处理图像以确定第一推理结果(例如，图像分类、对象检测、感兴趣区域、异常检测和/或置信度得分)的视觉处理单元。主机系统被配置为训练用于图像分类的神经网络并生成所述第一经训练的推理网络，并将所述第一经训练的推理网络传输到所述成像设备的视觉处理单元。可以经由通信网络将所述第一经训练的推理网络从主机系统上传到成像设备的视觉处理单元，并且第一经训练的推理网络可以被配置为向成像设备提供独立的图像分类。在一些实施例中，可以将第一推理结果传送到主机系统。在一些实施例中，第一推理结果是感兴趣区域，并且视觉处理单元还包括多个经训练的推理网络，其被配置为接收作为输入的所述第一推理结果并输出第二推理结果。所述成像设备还可包括图像处理部件，其被配置为接收所述图像捕获部件捕获的图像并修改所述图像以输入到所述第一经训练的推理网络。所述成像设备还可包括处理部件，其被配置为控制所述成像设备的操作，包括处理所述第一推理结果和/或确定要对所述图像采取的相关动作。在一些实施例中，所述相关动作可以包括：将所述图像串流传输到主机系统，将图像存储到所述成像设备上，和/或执行第二推理网络。在一些实施例中，对所述第一经训练的推理网络进行加密并将其存储到第一存储器中，并且其中，对所述第一经训练的推理网络进行解密并加载到随机存取存储器中以进行推理。在一些实施例中，所述图像捕获部件被配置为捕获可见光谱图像、红外图像、彩色图像、高光谱图像、灰度图像和/或单色图像。在各种实施例中，一种方法包括：将第一经训练的推理网络加载到成像设备的视觉处理单元上；使用所述成像设备的成像部件捕获图像；以及通过所述第一经训练的推理网络处理所述图像以确定第一推理结果。所述方法可以进一步包括由主机系统训练用于图像分类的神经网络以生成所述第一经训练的推理网络，其中加载到所述视觉处理单元上还包括将所述第一经训练的推理网络从主机系统上传到成像设备。在一些实施例中，所述第一经训练的推理网络被配置为向成像设备提供独立的图像分类。所述方法可以进一步包括：通过通信网络将第一推理结果发送到主机系统；通过第二经训练的推理网络处理第一推断结果，以确定第二推理结果；和/或基于第一推理结果，确定针对所述图像的相关动作。在各种实施例中，所述相关动作可以包括：将所述图像串流传输到主机系统，将图像存储到所述成像设备上，和/或执行第二推理网络。在一些实施例中，所述方法包括通过图像处理部件处理图像。所述方法还可以包括：对所述第一经训练的推理网络进行加密并将其存储到第一存储器中，以及对所述第一经训练的推理网络进行解密并加载到随机存取存储器中以进行推理。在各种实施例中，一种系统包括立体成像设备，所述立体成像设备包括：两个或更多个图像捕获部件，其被配置为捕获场景的一对图像；视觉处理单元，其被配置为通过第一经训练的推理网络处理所述图像对以确定第一推理结果；以及处理部件，其被配置为处理所述第一推理结果并基于所述第一结果确定针对图像对进行的动作。所述视觉处理单元还被配置为对图像对中的一个或多个对象进行检测和/或分类，并确定由所述第一经训练的推理网络检测到的对象的二维和/或三维位置。所述两个或更多个图像捕获部件包括双目立体相机系统；并且对所述两个或更多个图像捕获部件进行校准以生成校正后的图像对，以输入到所述第一经训练的推理网络。在一些实施例中，所述经训练的推理网络检测所述图像对中的感兴趣对象，并在所述图像对中的至少一个图像中生成对应的二维位置的边界框，在深度学习推理期间计算出的图像特征用作进行立体匹配的特征，并且三维数据用于控制机器人系统以与检测到的对象进行交互。视觉处理单元还可以被配置为基于所述边界框对所述图像对中的感兴趣区域执行立体匹配，以生成所述感兴趣对象的空间位置信息，其中，当检测到感兴趣的对象时执行立体匹配，并且所述立体匹配既可以是基于相关的方法来生成密集的三维点云，和/或可以是基于特征的方法来生成稀疏的三维点云。本专利技术的范围由权利要求书限定，通过引用的方式将权利要求书的内容并入到本部分。通过考虑下面对一个或多个实施例的详细描述，将向本领域技术人员提供对本专利技术实施例及其额外优点的实现的更完整理解。将参考首先将简要描述的附图。附图说明图1A示出了根据本公开的各种实施例的用于推理成像系统的示例性的训练过程。图1B示出了根据本公开的各种实施例的推理成像系统的示例性的分类操作。图2示出了根据本公开的各种实施例的用于推理成像系统的示例性的工作流程。图3示出了根据本公开的各种实施例的示例性的推理成像系统。图4示出了根据本公开的实施例的与推理成像设备一起使用的示例性的主机图像分类系统。图5A示出了根据本公开的各种实施例的示例性的神经网络训练过程。图5B示出了根据本本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n成像设备，包括：/n图像捕获部件，所述图像捕获部件被配置为捕获图像；/n视觉处理单元，所述视觉处理单元被配置为通过第一经训练的推理网络处理所述图像，以确定第一推理结果；和/n处理部件，所述处理部件被配置为处理所述第一推理结果并基于第一结果确定针对图像进行的动作。/n

【技术特征摘要】
【国外来华专利技术】20181015 US 62/7459481.一种系统，包括：
成像设备，包括：
图像捕获部件，所述图像捕获部件被配置为捕获图像；
视觉处理单元，所述视觉处理单元被配置为通过第一经训练的推理网络处理所述图像，以确定第一推理结果；和
处理部件，所述处理部件被配置为处理所述第一推理结果并基于第一结果确定针对图像进行的动作。


2.根据权利要求1所述的系统，还包括：
主机系统，所述主机系统被配置为训练用于图像分类的神经网络并生成所述第一经训练的推理网络，并将所述第一经训练的推理网络传输到所述成像设备的视觉处理单元。


3.根据权利要求2所述的系统，其中，所述主机系统还被配置为针对图像分类应用优化所述第一经训练的推理网络，对所优化的第一经训练的推理网络进行转换以在所述成像设备的视觉处理单元上操作，并将转换后的第一经训练的推理网络从所述主机系统上传到所述成像设备的视觉处理单元。


4.根据权利要求1所述的系统，其中，所述第一经训练的推理网络被配置为向所述成像设备提供独立的图像分类；并且其中，所述第一推理结果包括图像分类、对象检测、感兴趣区域、异常检测和/或置信度得分。


5.根据权利要求1所述的系统，其中，所述第一推理结果是感兴趣区域，其中，将所述第一推理结果传送到主机系统，并且其中，所述视觉处理单元还包括第二经训练的推理网络，所述第二经训练的推理网络被配置为接收作为输入的所述第一推理结果并输出第二推理结果。


6.根据权利要求1所述的系统，其中，所述视觉处理单元被配置为通过所述第一经训练的推理网络来处理所述图像的感兴趣区域。


7.根据权利要求1所述的系统，其中，所述成像设备还包括图像处理部件，所述图像处理部件被配置为接收所述图像捕获部件捕获的图像并修改所述图像以输入到所述第一经训练的推理网络。


8.根据权利要求1所述的系统，其中，所述处理部件被配置为对所述图像执行所述动作；并且其中，所述动作包括：将所述图像串流传输到主机系统；将图像存储到所述成像设备上；通过GPIO将所述推理结果传送到外围设备；和/或执行第二推理网络。


9.根据权利要求1所述的系统，其中，所述成像设备被配置为执行机器视觉应用。


10.根据权利要求1所述的系统，其中，对所述第一经训练的推理网络进行加密并将所述第一经训练的推理网络存储到第一存储器中，并且其中，对所述第一经训练的推理网络进行解密并加载到随机存取存储器中以进行推理。


11.根据权利要求1所述的系统，其中，所述图像捕获部件被配置为捕获可见光谱图像、红外图像、彩色图像、高光谱图像、灰度图像、单色图像和/或飞行时间图像。


12.一种方法，包括：
将第一经训练的推理网络加载到成像设备的视觉处理单元上；
使用所述成像设备的成像部件捕获图像；
通过所述第一经训练的推理网络处理所述图像，以确定第一推理结果；以及
基于所述第一推理结果，确定针对所述图像的动作。


13.根据权利要求12所述的方法，还包括：
由主机系统训练用于图像分类的神经网络，以生成所述第一经训练的推理网络；以及
针对图像分类应用优化所述第一经训练的推理网络。


14.根据权利要求13所述的方...

【专利技术属性】
技术研发人员：S·Y·S·赛，D·M·P·奈斯比特，I·K·斯塔德勒，
申请(专利权)人：菲力尔商业系统公司，
类型：发明
国别省市：美国;US