响应于来自多个客户端的机器学习请求制造技术

一种方法包括用计算设备从第一客户端接收标识机器学习模型和传感器的第一客户端请求。该方法包括响应于第一客户端请求，用计算设备向服务器发送调用以将标识的机器学习模型应用于来自标识的传感器的数据集。该方法包括用计算设备从第二客户端接收标识与第一客户端请求相同的机器学习模型和传感器的第二客户端请求。该方法包括用计算设备向第一客户端和第二客户端二者发送来自标识的机器学习模型的响应数据，而不响应于第二客户端请求而向服务器发送附加调用。向服务器发送附加调用。向服务器发送附加调用。

【技术实现步骤摘要】
【国外来华专利技术】响应于来自多个客户端的机器学习请求

技术介绍

[0001]深度学习是机器学习和人工智能的专门领域，其可以用在诸如计算机视觉、语音识别和文本翻译之类的不同领域中。在计算机视觉中，计算机学习如何解释图像来检测人并标识对象或场景。
附图说明
[0002]图1是图示根据一个示例的包括深度学习服务器的机器学习系统的框图。
[0003]图2是图示根据一个示例的图1中所示出的深度学习服务器的元件的框图。
[0004]图3是图示图1中所示出的机器学习系统的示例系统实现的框图。
[0005]图4是图示根据一个示例的预处理流水线的图解。
[0006]图5是图示根据一个示例的预处理流水线的图解，该预处理流水线接收单个视频流并为两个不同的机器学习模型预处理该视频流。
[0007]图6是图示根据一个示例的耦合到机器学习模型服务器的深度学习服务器的元件的框图。
[0008]图7是图示根据一个示例的响应于来自多个客户端的机器学习请求的方法的流程图。
具体实施方式
[0009]在以下详细描述中，对附图进行参考，附图形成了本专利技术的一部分，并且其中通过图示的方式示出了其中可以实践本公开的特定示例。将理解，在不脱离本公开的范围的情况下，可以利用其它示例，并且可以进行结构或逻辑改变。因此，以下详细描述不应被理解为限制性意义，并且本公开的范围由所附权利要求限定。将理解，除非以其它方式具体指出，否则本文中描述的各种示例的特征可以部分或全部彼此组合。
[0010]深度学习是机器学习和人工智能的专门领域，其可以用在诸如计算机视觉、语音识别和文本翻译之类的不同领域中。在计算机视觉中，计算机学习如何解释图像来检测人并标识对象或场景。深度学习模型通常使用广泛的资源，比如存储器和CPU能力。使更简单的客户端（诸如智能电话、数字助理、机器人或甚至具有低端图形的PC）来运行那些模型可能限制用户可以同时运行的模型的大小、准确度和数量。如果用户想要从若干视频源进行逐帧分析，则这可能超出了设备的能力。
[0011]尽管机器学习/深度学习应用可能部署在云中，但是某些应用具有激发本地部署的特定问题，诸如隐私、安全性、数据带宽和实时低时延决策。就隐私和安全性而言，有时存在信息是否离开家庭（例如，家庭的视频或语音）或办公室（例如，敏感信息的视频或语音）的本地网络的担心。关于数据带宽和时延，对于涉及处理视频流的情况，将数据从高分辨率帧持续发送到云涉及大的带宽，并且使其难以具有实时（或接近实时）的结果。对外部网络条件的依赖性可能导致无法实时进行推断（以及因此进行决策）。
[0012]一些边缘设备可能能够在边缘处理机器学习。然而，如果要施行多个任务，则这样
的设备可能是不足够的。例如，如果用户想要在房屋的多个相机流中执行对象检测、面部识别和语义分割，则边缘设备可能能够执行这些任务中的一个，但是可能不能够执行所有这些任务。无限地复制它们可能变得低效且繁琐。
[0013]本公开的一些示例针对称为深度学习服务器（DLS）的本地服务器以提供对机器学习的若干实例的访问，并且针对更多实例可扩展。深度学习服务器系统可以包括多个计算机。深度学习服务器提供了接口，通过该接口，许多客户端可以基于来自多个不同传感器的传感器数据请求来自多个不同机器学习模型的推断，而无需向本地网络之外发送数据并且无需依赖于外部网络服务的带宽和时延。深度学习服务器可以具有可定制的物理和逻辑架构。深度学习服务器可以监视本地网络上的若干视频源，并当对视频源的预测或推断发生时通知客户端。深度学习服务器可以连接到分布式或在相同的服务器上运行的若干机器学习模型，并提供稳健且灵活的视频预处理流水线，从而为若干不同的客户端优化资源。客户端可能涉及许多不同类型的设备，包括机器人、打印机、移动电话、助手/信息亭等。
[0014]深度学习服务器的一些示例本质上组合了客户端对相同机器学习模型和相同传感器的请求以改进效率。当多个客户端对相同的数据源请求相同的机器学习模型时，深度学习服务器标识该情形，并对模型服务器进行单次调用。深度学习服务器的一些示例使用配置文件（例如，JavaScript对象符号（JSON）配置文件）来创建与模型服务器通信的流水线，并在数据被提供给机器学习模型之前对传感器数据施行预处理。深度学习服务器的一些示例运行在具有gRPC协议的快速HTTP/2上，其中二进制数据传送用于在预测和推断中实现高帧率。gRPC协议是使用HTTP/2进行传输并使用协议缓冲区作为接口描述语言的开源远程过程调用（RPC）协议。
[0015]图1是图示根据一个示例的包括深度学习服务器104的机器学习系统100的框图。系统100包括客户端计算设备102（1）和102（2）（统称为客户端102）、深度学习服务器104、模型服务器106（1）和106（2）（统称为模型服务器106）以及传感器110（1）和110（2）（统称为传感器110）。
[0016]传感器110向深度学习服务器104提供传感器数据。传感器数据可以提供事件发生的明确指示（例如，门传感器提供门已经被打开的指示），或者传感器数据可以是可以被提供给机器学习模型的数据，该机器学习模型被训练来进行关于数据（例如，被分析以施行面部检测的视频流）的推断。如本文中使用的术语“机器学习模型”一般指代先前已经经历过训练过程并且被配置为从接收到的数据进行推断的训练机器学习模型。每个模型服务器106包括至少一个机器学习模型108。客户端102可以向深度学习服务器104发送请求以监视传感器110中的某些传感器，并当那些传感器110检测到事件时向客户端102提供事件通知。客户端102还可以向深度学习服务器104发送请求以将机器学习模型108中的特定一个应用于来自传感器110中的特定一个的传感器数据，并将结果返回到客户端102。
[0017]图2是图示根据一个示例的图1中所示出的深度学习服务器104的元件的框图。深度学习服务器104包括至少一个处理器202、存储器204、输入设备230、输出设备232和显示器234。在图示的示例中，处理器202、存储器204、输入设备230、输出设备232和显示器234通过通信链路228彼此通信耦合。
[0018]输入设备230包括键盘、鼠标、数据端口和/或用于将信息输入到服务器104中的其它合适的设备。输出设备232包括扬声器、数据端口和/或用于从服务器104输出信息的其它
合适的设备。显示器234可以是向服务器104的用户显示信息的任何类型的显示设备。
[0019]处理器202包括中央处理单元（CPU）或另一个合适的处理器。在一个示例中，存储器204存储由处理器202执行的用于操作服务器104的机器可读指令。存储器204包括易失性和/或非易失性存储器的任何合适的组合，诸如随机存取存储器（RAM）、只读存储器（ROM）、闪速存储器和/或其它合适的存储器的组合。这些是非暂时性计算机可读存储介质的示例。存储器204在如下意义上是非暂时性的：其不涵盖暂时性信号，而是代替地由存储用于施行本本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：用计算设备从第一客户端接收标识机器学习模型和传感器的第一客户端请求；响应于第一客户端请求，用计算设备向模型服务器发送调用以将标识的机器学习模型应用于来自标识的传感器的数据集；用计算设备从第二客户端接收标识与第一客户端请求相同的机器学习模型和传感器的第二客户端请求；以及用计算设备向第一客户端和第二客户端二者发送来自标识的机器学习模型的响应数据，而不响应于第二客户端请求而向模型服务器发送附加调用。2.根据权利要求1所述的方法，并且进一步包括：用计算设备从标识的传感器接收数据集；和用计算设备对数据集施行预处理以生成预处理数据。3.根据权利要求2所述的方法，并且进一步包括：用计算设备向模型服务器发送预处理数据以将标识的机器学习模型应用于预处理数据。4.根据权利要求2所述的方法，其中对数据集的预处理由计算设备中的预处理流水线施行，并且其中所述预处理流水线包括以由配置文件定义的方式链接在一起的多个处理单元。5.根据权利要求4所述的方法，其中每个处理单元接收输入向量，处理输入向量，并且输出输出向量。6.根据权利要求4所述的方法，其中在预处理流水线开始处的处理单元中的第一个处理单元从标识的传感器接收数据集，并且在预处理流水线结束处的处理单元中的最后一个处理单元与模型服务器通信。7.根据权利要求6所述的方法，其中所述处理单元中的最后一个处理单元向模型服务器发送预处理数据并接收响应数据。8.根据权利要求1所述的方法，其中所述计算设备、第一客户端和第二客户端全部是相同本地网络的一部分。9.根据权利要求8所述的方法，其中所述模型服务器是相同本地网络的一部分。10.根据权利要求8所述的方法，其中所述模型服务器不是相同本地网络的一部分。11.根据权利要求1所述的方法，其中...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：惠普发展公司，有限责任合伙企业，
类型：发明
国别省市：