计算系统可以被配置用于低光子计数视觉对象分类。该计算系统可以包括光子检测系统，该光子检测系统包括一个或多个单元。一个或多个单元中的每一个都可以包括一个或多个光子检测器。一个或多个光子检测器中的每一个可以被配置成响应于光子入射到一个或多个光子检测器上而输出光子签名。该计算系统可以包括一个或多个处理器和一个或多个存储计算机可读数据的存储设备。该数据可以包括低光子计数分类模型和一个或多个指令，当实施所述一个或多个指令时，使得一个或多个处理器执行用于低光子计数视觉对象辨识的操作。这些操作可以包括从光子检测系统获得光子签名。这些操作可以包括向低光子计数分类模型提供光子签名。这些操作可以包括由低光子计数分类模型至少部分地基于光子签名来确定在光子检测系统的视野中放置的视觉对象的分类。这些操作可以包括提供所述分类作为低光子计数分类模型的输出。所述分类作为低光子计数分类模型的输出。所述分类作为低光子计数分类模型的输出。
【技术实现步骤摘要】
【国外来华专利技术】用于低光子计数视觉对象检测和分类的系统
[0001]本公开总体上涉及对象检测和/或分类。更具体地，本公开总体上涉及用于低光子计数视觉对象检测和/或分类的系统和方法。
技术介绍
[0002]对象检测和/或分类是指使用诸如机器学习模型之类的计算系统来辨识诸如图像之类的视觉数据中的一个或多个对象的存在和/或生成其分类。
技术实现思路
[0003]本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获知，或者可以通过实施例的实践而获知。
[0004]本公开的一个示例方面针对一种被配置用于低光子计数视觉对象分类的计算系统。该计算系统可以包括光子检测系统，该光子检测系统包括一个或多个单元。一个或多个单元中的每一个可以包括一个或多个光子检测器。一个或多个光子检测器中的每一个可以被配置成响应于光子入射到一个或多个光子检测器上而输出光子签名。该计算系统可以包括一个或多个处理器和一个或多个存储计算机可读数据的存储设备。该数据可以包括低光子计数分类模型和一个或多个指令，当所述一个或多个被实施时，使得一个或多个处理器执行用于低光子计数视觉对象辨识的操作。这些操作可以包括从光子检测系统获得光子签名。这些操作可以包括向低光子计数分类模型提供光子签名。这些操作可以包括由低光子计数分类模型至少部分地基于光子签名来确定在光子检测系统的视野中放置的视觉对象的分类。这些操作可以包括提供该分类作为低光子计数分类模型的输出。
[0005]本公开的另一个示例方面针对一种低光子计数视觉对象分类的计算机实现的方法。该计算机实现的方法可以包括由包括一个或多个计算设备的计算系统从光子检测系统获得光子签名。该计算机实现的方法可以包括由计算系统向低光子计数分类模型提供光子签名。该计算机实现的方法可以包括由计算系统和低光子计数分类模型至少部分地基于光子签名来确定在光子检测系统的视野中放置的视觉对象的分类。该计算机实现的方法可以包括由计算系统提供该分类作为低光子计数分类模型的输出。
[0006]本公开的另一个示例方面涉及一种训练被配置用于低光子计数视觉对象辨识的低光子计数分类模型的计算机实现的方法。该计算机实现的方法可以包括由包括一个或多个计算设备的计算系统获得包括一个或多个图像的训练数据集。该计算机实现的方法可以包括由计算系统从一个或多个图像生成训练示例的时间序列。训练示例的时间序列可以包括从一个或多个图像导出的多个示例光子签名。该计算机实现的方法可以包括由计算系统向低光子计数分类模型提供训练示例的时间序列。在向低光子计数分类模型提供训练实例的时间序列的子集之后，该计算机实现的方法可以包括由计算系统反向传播来自训练实例的时间序列的子集的损失以训练低光子计数分类模型。
[0007]本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户接口和电
子设备。
[0008]参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书并构成其一部分的附图图示出了本公开的示例实施例，并与描述一起用于解释相关原理。
附图说明
[0009]针对本领域普通技术人员的实施例的详细讨论在参考附图的说明书中阐述，其中:
[0010]图1描绘了根据本公开的示例实现方式的示例低光子计数视觉对象分类系统的框图；
[0011]图2描绘了根据本公开的示例实现方式的示例低光子计数视觉对象分类系统的框图；
[0012]图3描绘了根据本公开的示例实现方式的示例低光子计数视觉对象分类系统的框图；
[0013]图4描绘了根据本公开的示例实现方式的示例低光子计数视觉对象分类系统的框图；
[0014]图5A
‑
5C描绘了根据本公开的示例实现方式的示例计算系统的框图；
[0015]图6描绘了根据本公开的示例实现方式的示例低光子计数分类模型的框图；
[0016]图7描绘了根据本公开的示例实现方式的用于低光子计数视觉对象分类的示例计算机实现方法的流程图；和
[0017]图8描绘了根据本公开的示例实现方式的用于训练被配置用于低光子计数视觉对象辨识的低光子计数分类模型的示例计算机实现方法的流程图。
[0018]在多个附图中重复的附图标记旨在标识各种实现方式中的相同签名。
具体实施方式
[0019]概述
[0020]总体上，本公开涉及用于低光子计数(例如，超快和/或低光照)视觉对象检测和/或分类的系统和方法。根据本公开的示例方面，光子检测系统可以被配置成向低光子计数分类模型提供输入。光子检测系统可以包括一个或多个光子检测器的单元(例如，组)，其响应于入射到光子检测器上的光子而输出光子签名(例如，指示光子已经被光子检测器接收的信号，诸如电签名，诸如信号中的电尖峰)。可以将光子签名提供给低光子计数分类模型(例如，作为时间序列，诸如在产生光子签名的几乎瞬间)。可以基于光子签名来训练低光子计数分类模型来检测、辨识和/或分类产生光子的视觉对象。视觉对象可以是例如文本和/或数字对象，诸如文本或数字符号，以及其他合适的对象。视觉对象不应被理解为必然是三维对象，尽管它可以是三维对象。例如，视觉对象可以是被放置在光子检测系统视野内的视觉对象。本公开的示例方面可以有利地提供用于提高计算速度和/或减少提供分类所需的光子数量的方面，使得低光子计数视觉对象分类可以在超快定时(例如，亚毫秒定时)和/或低光照条件下操作。作为一个示例，与用于视觉对象分类的一些现有系统相比，根据本公开的示例方面的一些示例实现方式可以提供快100倍和/或减少10,000倍光照的准确分类。如
本文进一步描述的，这可以有助于各种速度、隐私性、功率使用和/或其他益处。
[0021]对象检测和/或分类是指使用计算系统来分类存在于计算机可读数据(例如，图像、视频等)中和/或视觉传感器(例如，相机)视野内的视觉对象(例如，形状、实体、文本等)。例如，一些现有的视觉对象检测和/或分类系统可以向辨识图像数据中描绘的视觉对象(例如，图像的主题)的分类模型(例如，机器学习模型)提供图像数据。例如，分类模型可以输出指示视觉对象落入多个预定类别之一的数据。
[0022]虽然这种方法在某些情况下可能是有用的，但是这些现有系统可能存在一些挑战，尤其是在次优条件下。作为一个示例，低光照条件会阻止一些现有系统捕获足够的图像数据来执行视觉对象检测和/或分类，尤其是在合理的持续时间内。作为一个示例，根据一些现有系统，暗室和/或夜景中的相机可能无法捕获足够的数据来产生用于视觉对象检测和/或分类的可解释图像(例如，人类可解释图像和/或计算机可解释图像)。例如，生成图像(例如，RGB图像)，诸如适于由一些传统图像分类系统用来分类视觉对象的图像，可能需要捕获与超过十亿个光子相关联的数据。
[0023]作为另一个示例，与一些现有系统相关联的计算可能非常慢。例如，对图像数据执行视觉对象检测和/或分类可能需要对图像数据进行各种层的操纵，这会减慢处理速度。虽然这在许多情况下可能不会本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种被配置用于低光子计数视觉对象分类的计算系统，该计算系统包括：光子检测系统，包括一个或多个单元，所述一个或多个单元中的每一个包括一个或多个光子检测器，所述一个或多个光子检测器中的每一个被配置为响应于光子入射到所述一个或多个光子检测器上而输出光子签名；一个或多个处理器；和存储计算机可读数据的一个或多个存储器设备，该数据包括：低光子计数分类模型；和一个或多个指令，当所述一个或多个指令被实施时，使所述一个或多个处理器执行用于低光子计数视觉对象辨识的操作，所述操作包括：从所述光子检测系统获得光子签名；向所述低光子计数分类模型提供所述光子签名；由所述低光子计数分类模型至少部分地基于所述光子签名来确定在所述光子检测系统的视野中放置的视觉对象的分类；和提供所述分类作为所述低光子计数分类模型的输出。2.根据任一前述权利要求所述的计算系统(例如，权利要求1)，其中所述低光子计数分类模型包括分类痕迹向量，所述分类至少部分基于所述分类痕迹向量，并且其中确定所述分类包括至少部分基于所述光子签名更新所述分类痕迹向量。3.根据任一前述权利要求所述的计算系统(例如，权利要求2)，其中，所述分类痕迹向量包括所述视觉对象属于多个候选类别中的一个类别的罗吉特似然性。4.根据任一前述权利要求所述的计算系统(例如，权利要求3)，其中所述低光子计数分类模型包括累计器，其中所述累计器被配置为在接收到所述光子签名之后在多个光子签名上累计所述分类痕迹向量，并且当所述分类痕迹向量在所述多个光子签名上已经稳定时输出所述分类。5.根据任一前述权利要求所述的计算系统(例如，权利要求3)，其中所述低光子计数分类模型包括与所述一个或多个单元相关的一个或多个单元痕迹向量，其中所述分类痕迹向量包括所述一个或多个单元痕迹向量的组合。6.根据任一前述权利要求所述的计算系统(例如，权利要求3)，其中，所述低光子计数分类模型包括线性痕迹模型，所述线性痕迹模型包括一个或多个线性层，所述线性痕迹模型被配置为将所述光子签名映射到所述分类痕迹向量。7.根据任一前述权利要求所述的计算系统(例如，权利要求3)，其中，所述低光子计数分类模型进一步包括：包括一个或多个线性层的线性嵌入空间模型，该线性嵌入空间模型被配置成将所述光子签名映射到嵌入空间映射；特征交叉模型，被配置为获得所述嵌入空间映射的多个特征交叉；和包括一个或多个线性层的线性特征交叉痕迹模型，该线性特征交叉痕迹模型被配置成将所述多个特征交叉映射到多个特征交叉痕迹向量；其中所述指令进一步包括：向所述线性嵌入空间模型提供所述光子签名作为输入，并且响应于向所述线性嵌入空间模型提供所述光子签名，接收作为来自所述线性嵌入空间模型的输出的所述嵌入空间映
射；向所述特征交叉模型提供所述嵌入空间映射作为输入，并且响应于向所述特征交叉模型提供所述嵌入空间映射，接收作为来自所述特征交叉模型的输出的所述多个特征交叉；向所述线性特征交叉痕迹模型提供所述多个特征交叉作为输入，并且响应于向所述线性特征交叉痕迹模型提供所述多个特征交叉，接收作为来自所述线性特征交叉痕迹模型的输出的所述多个特征交叉痕迹向量；和将聚合痕迹向量确定为所述分类痕迹向量和所述多个特征交叉痕迹向量的组合，其中所述分类至少部分基于所述聚合痕迹向量。8.根据任一前述权利要求所述的计算系统(例如，权利要求7)，其中所述指令进一步包括通过softmax函数将所述聚合痕迹向量映射到概率向量。9.根据任一前述权利要求所述的计算系统(例如，权利要求1)，其中，所述低光子计数分类模型包括机器学习的逻辑回归模型。10.根据任一前述权利要求所述的计算系统(例如，权利要求1)，其中所述光子签名包括电签名和所...
【专利技术属性】
技术研发人员：T菲施巴赫尔，L斯拜兹，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。