包括机器学习对象检测模型的隐私保护传感器制造技术

总体上，本公开涉及能够对图像数据中存在的对象或相关信息进行隐私保护检测的轻型传感器。本公开的一个方面包括在确定对象检测时不需要诸如运动或热的信息的检测方法。相反，实施方式能够利用机器学习模型来确定图像中是否存在某种类型的对象。为了考虑到隐私数据的可能生成，示例实施方式能够包括被配置为仅保持或传输至少部分地基于机器学习模型的输出而生成的传感器信号的硬件和/或计算架构。出而生成的传感器信号的硬件和/或计算架构。出而生成的传感器信号的硬件和/或计算架构。

【技术实现步骤摘要】
【国外来华专利技术】包括机器学习对象检测模型的隐私保护传感器


[0001]本公开总体上涉及用于准确检测人、对象、对象参数或其他任务的传感器。更具体地，本公开涉及一种轻型和/或单封装传感器，其包括经过训练以通过处理来自图像或其他传感器的输入来执行检测任务的机器学习模型，并且可以通过将模型输出转换为模拟传感器输出(例如，电压)来提供更有效的隐私保护。

技术介绍

[0002]存在基于从由传感器评估的区域获得的信息来执行存在检测的各种类型的传感器。作为示例，传感器能够包括基于红外光操作的运动检测器、噪声检测器、SSID嗅探器(例如，手机ping)和/或微波干扰传感器。虽然从这些传感器获得的信息能够有帮助，但此类传感器经常具有低的精度或精确度，无法标识特定对象，能够被类似的对象(宠物相对于人)混淆，并且在基于红外或噪声的传感器的情况下，无法对该区域内存在的对象的数量计数。
[0003]使用可见光或近可见光来检测诸如人的对象的基于计算机视觉的系统为该缺陷提供了一种解决方案。然而，这些系统经常将所有图像数据流式传输到一个中心位置，从而捕获和传输大量与运动或存在检测任务不直接相关的外部或环境信息。附加信息的一些能够包括对隐私敏感的数据，并且该数据的安全实践不是标准化的、可验证的或可证明的。因此，来自这些设备的视频流的连续捕获和存储会使它们容易受到攻击并导致数据隐私降低。此外，这些传感器未提供了解传感器的功能、隐私和安全特性的方法。
[0004]因此，本领域需要能够在还提供改善的隐私和/或数据安全性的同时减轻现有运动或存在检测传感器的准确性问题，并且使这些质量对被观察者可见的传感器。

技术实现思路

[0005]通常，本公开涉及轻型传感器，其能够对能够从图像数据导出的对象或相关信息进行隐私保护检测。本公开的一个方面包括在确定对象检测时不需要诸如运动或热的信息的检测方法。相反，实施方式能够利用机器学习模型来确定图像中是否存在某种类型的对象。为了考虑隐私数据的可能生成，示例实施方式能够包括被配置为仅保持或传输至少部分地基于机器学习模型的输出而生成的传感器信号的硬件和/或计算架构。
[0006]本公开的另一示例方面能够包括传感器设计。由于能够定制本公开的示例传感器以执行特定任务，因此能够优化计算架构以在保持高质量的性能的同时减少存储器需求。由于减少了存储器需求，所以这些特征能够允许更小的传感器占用空间。此外，一些传感器能够是完全封闭的，并且不包括用于访问和/或修改计算架构(例如，机器学习模型)的接口。
[0007]本公开的一个附加方面能够包括一个或多个隐私保护特征。例如，一些传感器可以包括具有静态参数的机器学习模型或缺少用于改变机器学习模型的参数的接口。此外，某些传感器能够被配置为仅将图像数据存储在瞬态存储器中和/或直接将图像数据、机器学习模型输出或两者都转换为传感器信号(例如，电信号)。以这种方式，一些传感器能够被
配置为直接处理图像数据以生成去除个人标识信息的输出(例如，传感器信号)。
附图说明
[0008]在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，在附图中：
[0009]图1A图示了根据本公开的示例实施方式的包括一个或多个机器学习模型的用于隐私保护传感器的示例计算系统。
[0010]图1B图示了根据本公开的示例实施方式的包括一个或多个机器学习模型的示例计算设备。
[0011]图1C图示了根据本公开的示例实施方式的包括一个或多个机器学习模型的另一示例计算设备。
[0012]图2A图示了根据本公开的示例实施方式的示例传感器设计。
[0013]图2B图示了根据本公开的示例实施方式的包括容纳在传感器内的组件的示例传感器设计。
[0014]图3图示了描绘根据本公开的示例实施方式的用于执行对象检测的示例方法的流程图。
[0015]图4图示了根据根据本公开的示例实施方式的从(多个)输入到(多个)输出的示例过程流以及从(多个)输出中导出的可能设备响应。
[0016]跨多个附图重复的附图标记旨在标识在各种实施方式中的相同特征。
具体实施方式
[0017]概述
[0018]通常，本公开涉及一种单封装的、轻型传感器，其能够对对象(例如，人)和/或与图像数据中存在的对象相关的信息进行隐私保护检测。本公开的示例方面包括在评估对象的检测时不需要诸如运动、SSID、热和/或其他类似方法的信息的检测方法。相反，根据本公开的示例系统和方法利用机器学习模型，该机器学习模型经过训练以确定特定对象类型的一个或多个对象是否存在于图像中。以这种方式，对象检测基于对对象唯一的特征的标识，而不是基于容易产生假阳的代理触发器。虽然以这种方式使用机器学习能够提供优于其他技术的优势，但使用机器学习模型进行图像分析通常能够生成个人数据，而旧技术会使这些数据变得模棱两可或无法收集。考虑到这一点，根据本公开的示例实施方式的另一方面能够包括硬件和/或计算架构，该硬件和/或计算架构被配置为在无需保持或提供底层图像数据本身的情况下维持或仅提供至少部分地基于机器学习模型所生成的输出而生成的传感器信号或从传感器信号导出的数字信息(例如对象计数)。例如，在一些实施方式中，传感器能够被配置为生成描述图像中对象的计数的传感器信号，而不以任何非临时方式存储图像本身或在传感器边界之外传输该图像(例如，没有图像存储在非易失性存储器中)。因此，某些示例实施方式可以包括基本上实时处理，使得图像数据能够被直接转换成传感器信号(例如，电信号)，而不需要由机器学习模型所生成的输出和/或中间值(例如，隐藏层)的长期或非临时存储。
[0019]作为一个示例，使用热量或运动检测的传统传感器可以通过移动通过由传感器评
估的区域的动物(例如，宠物)触发。相反，根据本公开的实施方式能够利用机器学习模型来处理图像数据以生成输出(例如，具有某个置信度值)：图像包括特定对象类型和/或类别的至少一个对象。此外，机器学习模型的输出能够被直接用于生成传感器信号，以减少和/或完全消除可能与图像数据、机器学习模型的中间输出或机器学习模型的输出相关联的标识或个人信息的任何痕迹。该信号随后能够被用于触发其他动作，诸如打开/关闭(多个)灯或HVAC系统、联系安全公司和/或发送通知。作为一个示例，传感器能够仅包括有限数量和/或形式的通信接口或互连，诸如例如仅用于使用电信号输出传感器输出的单个模拟电接口。
[0020]本公开的一个示例实施方式能够包括具有一个或多个相机的单封装传感器，该相机耦合到包括(多个)处理器和存储器的轻型计算系统。该计算系统能够由提供至少围绕计算系统的屏障的外壳保护。此外，轻型传感器能够包括一个或多个通信接口，尽管在一些实施方式中，这些通信接口通常可以被限制为仅提供和/或传输诸如电信号的模拟信号。存储器的各方面能够包括用于存储瞬态信息的临时数据缓冲器以及存储机器学习对象检测模型的非易失性存储器，该机器学习对象检测模型被配置为确定图像的特定对象类型的一个或多个对象的存在、一个或多个对象的属本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对象的隐私保护检测的轻型传感器，所述传感器包括：外壳；与所述外壳一体地连接的一个或多个相机；一个或多个通信接口；包含在所述外壳内的一个或多个处理器；以及包含在所述外壳内的存储器，其中，所述存储器包括临时数据缓冲器和非易失性存储器，其中，所述非易失性存储器存储：机器学习对象检测模型，所述机器学习对象检测模型本地存储在所述传感器上，所述机器学习对象检测模型被配置为确定输入图像内特定对象类型的一个或多个对象的存在、所述一个或多个对象的属性或所述一个或多个对象的所述存在和所述属性两者；以及指令，所述指令当由所述一个或多个处理器执行时使所述传感器执行操作，所述操作包括：在所述临时数据缓冲器中存储包括由所述一个或多个相机捕获的一个或多个图像帧的序列的数据流；通过向所述机器学习对象检测模型提供所述数据流来生成模型输出，其中，所述模型输出指示在输入图像内特定对象类型的一个或多个对象的所述存在、所述一个或多个对象的所述属性或所述一个或多个对象的所述存在和所述属性两者；在从所述临时数据缓冲器访问所述数据流以生成所述模型输出后，从所述临时数据缓冲器中删除所述数据流，使得所述模型输出被生成，而不将所述一个或多个图像帧之一存储在所述非易失性存储器中；以及在所述一个或多个通信接口中的一个或多个处提供至少部分基于所述模型输出的传感器输出。2.根据任一前述权利要求所述的传感器，其中，所述特定对象类型包括人；以及对于所述一个或多个图像帧中的每一个，所述模型输出包括描述在所述图像帧中存在的人的数量的计数整数。3.根据任一前述权利要求所述的传感器，其中，所述机器学习对象检测模型是具有静态参数的神经网络。4.根据任一前述权利要求所述的传感器，其中，所述传感器输出包括模拟电信号。5.根据权利要求4所述的传感器，其中，所述模拟电信号的电压对应于包括在所述一个或多个图像帧中的对象的数量的计数。6.根据任一前述权利要求所述的传感器，其中，所述操作被基本上实时地执行。7.根据任一前述权利要求所述的传感器，其中，所述操作还包括存储所述传感器输出、从所述传感器输出导出的信息或两者。8.根据任一前述权利要求所述的传感器，其中，所述外壳具有大约100
‑
2000mm3的尺寸。9.根据任一前述权利要求所述的传感器，其中，所述外壳包括防篡改屏障，所述防篡改屏障用于防止访问所述处理器、所述存储器或两者。10.根据任一前述权利要求所述的传感器，其中，所述外壳包括篡改明显屏障，所述篡改明显屏障被配置为在通过所述外壳物理访问所述处理器、所述存储器或两者时显示在外
观上的变化。11.根据任一前述权利要求所述的传感器，其中，所述传感器不包括用于访问所述机器学习对象检测模型、所述模型输出、任何中间模型输出或其组合的接口。12.根据任一前述权利要求所述的传感器，其中，所述特定对象类型包括车辆许可证标记。13.根据任一前述权利要求所述的传感器，其中，所述机器学习对象检测模型、第二机器学习模型或两者被配置为执行OCR。14.根据任一前述权利要求所述的传感器，其中，所述传感器的用于确定所述特定对象类型的假阳率小于约1.0％。15.根据任一前述权利要求所述的传感器，其中，当所述机器学习对象检测模型检测到一个或多个人的存在时，所述模型输出分配第一值，并且当所述机器学习对象检测模型未检测到一个或多个人的存在时，所述模型输出分配不同于所述第一值的第二值。16.根据任一前述权利要求所...

【专利技术属性】
技术研发人员：维克拉姆，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：