机器学习存储库服务制造技术

本申请公开了机器学习存储库服务。描述了用于提供和服务于诸如算法、数据、模型、流水线和/或笔记本的所列存储库项目的技术。在一些示例中，web服务提供商：接收来自请求者的对于所列存储库项目的请求，所述请求至少指示所述存储库项目的类别，并且存储库项目的每个列表包括对所列存储库项目所属的类别的指示以及所列存储库项目的存储位置；基于所述请求确定对至少一个所列存储库项目的建议；以及向所述请求者提供对所述至少一个所列存储库项目的所述建议。所述建议。所述建议。

【技术实现步骤摘要】
机器学习存储库服务
[0001]本申请是PCT国际申请号为PCT/US2019/021645、国际申请日为2019年3月11日、进入中国国家阶段的申请号为201980016827.2，题为“机器学习存储库服务”的专利技术专利申请的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求于2018年3月12日提交的美国非临时申请号15/919,178的权益，所述美国非临时申请特此以引用的方式并入。

技术介绍

[0004]机器学习和数据分析算法可应用于很多领域，从医学图像分析到保险、财务数据(例如，欺诈检测)和社交网络(例如，图像和文本理解、曲线图分析)。随着人工智能和相关应用的进步，越来越多的用户开始使用这些系统。
附图说明
[0005]将参考附图描述根据本公开的各种实施方案，在附图中：
[0006]图1示出了支持建议和/或组合算法/模型/数据的实施方案的示例。
[0007]图2示出了发布/列出代理的部件以及它们如何与经训练的模型进行交互的实施方案。
[0008]图3示出了列表格式的实施方案。
[0009]图4示出了web服务ML模型开发者服务和web服务模型存储库服务之间的相互作用的实施方案。
[0010]图5示出了用于将代码发布到源控制服务(source control service)的方法的实施方案。
[0011]图6示出了用于将代码发布到模型/算法容器注册表的方法的实施方案。
[0012]图7示出了用于在发布/列出代理中列出生产者代码的方法的实施方案。
[0013]图8示出了用于处理查询并且执行针对查询返回的模型/算法的方法的实施方案。
[0014]图9示出了示例性流水线(训练前和训练后两者)的实施方案。
[0015]图10示出了根据一些实施方案的使用IP隧道技术在网络底层上实现覆盖网络的示例性数据中心。
[0016]图11是根据一些实施方案的向客户提供存储虚拟化服务和硬件虚拟化服务的示例性提供商网络的框图。
[0017]图12是示出了可在一些实施方案中使用的示例性计算机系统的框图。
[0018]图13示出了根据各种实施方案的可利用的示例性计算装置的一组通用部件的逻辑布置。
[0019]图14示出了用于实现根据各种实施方案的各方面的环境的示例。
具体实施方式
[0020]描述了用于机器学习内容存储库服务的方法、设备、系统和非暂时性计算机可读存储介质的各种实施方案。本文详细说明了使算法、模型、流水线、笔记本和/或数据(以下称为“内容”)的生产者能够将它们的内容提供给用户的实施方案。
[0021]令人遗憾的是，虽然对使用机器学习模型/算法的期望很高，但并非所有程序设计员和/或系统管理员都具有时间或必要的知识来产生此内容或将其集成到动作流水线中。在本文详细说明的实施方案中，产生数据、算法和/或模型的生产者经由基于注册表的系统来将它们提供给第三方。请求者搜索此注册表来查找算法、模型和/或数据，以达到他们自己的目的。在一些实施方案中，一种或多种方案用于使用经由基于注册表的系统提供的算法、模型和/或数据中的一者或多者来构建机器学习流水线。所述方案使得请求者能够构建机器流水线，而无需执行以下各项中的一者或多者：生成算法、训练算法、生成或管理用于训练的数据等。
[0022]图1示出了支持建议和/或组合算法/模型/数据的实施方案的示例。如图所示，web服务提供商119包括许多不同的服务以支持向请求者提供第三方内容。web服务提供商的每个部件(存储装置除外)都是存储在存储器中并在硬件上执行的软件。
[0023](集成)开发环境101允许生产者生成或以其他方式提供内容(算法、数据、模型、流水线、笔记本等)，以便由web服务提供商119的web服务模型存储库服务121提供。虽然在web服务提供商119的外部显示，但在一些实施方案中，(集成)开发环境101是(集成)开发环境101的服务。在一些实施方案中，向(集成)开发环境101提供解释性编程语言支持。
[0024]在一些实施方案中，经由(集成)开发环境101为生产者提供用于解释性语言诸如Ruby/Perl/R/Python的多个编程接口以开发代码，然后将所述代码输入到源控制服务107中。源控制服务117以冗余方式存储代码、二进制文件和/或元数据。源控制服务117允许与本地团队和远程团队协作，以编辑、比较、同步和/或修改所存储的代码并且跟踪这些动作。在一些实施方案中，源控制服务117托管第三方的代码存储库。源控制服务117对它存储的代码、二进制文件和/或元数据进行加密，并且在一些实施方案中，所述源控制服务耦合到权限系统或包括权限系统以指定对所存储的代码、二进制文件和/或元数据的访问。在一些实施方案中，生产者提供了几个用于验证和测试的单元测试用例(输入和输出)。在一些实施方案中，生产者使用模型/算法容器注册表105向web服务模型存储库服务121提供容器。此容器作为图像共享。在一些实施方案中，模型/算法容器注册表105为完全管理容器注册表，其允许存储、管理和部署容器图像。
[0025]web服务模型存储库服务121允许生产者与他人共享生成的内容。共享的内容可作为列表进行搜索。具体地，请求者与模型/算法/数据应用程序编程接口(API)前端109对接，以通过发布/列出代理125所服务的请求来查找并选择共享的内容。在一些实施方案中，API前端109跟踪哪些请求没有获得令人满意的结果(没有做出选择或者没有生成结果)。在一些实施方案中，不令人满意的结果被用来提示生产者提供内容。
[0026]发布/列出代理125发布所接收的代码或容器、列出容器并响应查询。以下详细说明这些动作中的每一个。已发布的算法、模型和数据被存储在算法/模型/数据存储区123中(当然，此存储装置可散布在多个物理装置上)。存储区123还可存储流水线和/或笔记本。
[0027]此外，在一些实施方案中，请求者使用发布/列出代理125来构建流水线和/或经由
执行服务111使用执行资源113(硬件计算资源117和存储器115)来执行或训练所选择的模型或算法。在一些实施方案中，执行资源113使用虚拟化，如下所详细说明的。在一些实施方案中，容器图像包括一个或多个层，其中每个层表示可执行指令。可执行指令中的一些或全部一起表示定义了机器学习模型的算法。可执行指令(例如，算法)可以任何编程语言(例如，Python、Ruby、C++、Java等)进行编写。在一些实施方案中，虚拟机实例用于执行容器。在一些实施方案中，每个虚拟机实例包括操作系统(OS)、语言运行时以及一个或多个机器学习(ML)训练容器130。
[0028]每个生产者和请求者的用户帐户133存储已共享的内容和正使用的内容的信息。此外，在一些实施方案中，流水线存储在用户帐户133中。通过前端109访问用户帐户133。
[0029]在一些实施方案中，web服务模型存储库服务121作为运行一个或多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：由web服务提供商将多个机器学习项目发布到托管的机器学习存储库，其中，每个被发布的机器学习项目可用于第三方请求者，其中，每个被发布的机器学习项目包括所述被发布的机器学习项目的名称、所述被发布的机器学习项目所属的类别的指示、以及用于所述被发布的机器学习项目的输入格式，其中，所述多个机器学习项目包括以下一项或多项：机器学习流水线；机器学习算法；机器学习模型；容器图像；或笔记本；从所述第三方请求者接收使用所述多个被发布的机器学习项目中的一个被发布的机器学习项目的请求；以及由所述web服务提供商提供对所述多个被发布的机器学习项目中的被请求的一个被发布的机器学习项目的访问权。2.如权利要求1所述的计算机实现的方法，进一步包括：由所述web服务提供商从生产者接收用于与具有对所述托管的机器学习存储库的访问权的其他用户共享的附加的机器学习项目；以及将所述附加的机器学习项目发布到所述托管的机器学习存储库。3.如权利要求1所述的计算机实现的方法，其中，所述多个被发布的机器学习项目中的所述被请求的一个被发布的机器学习项目用于作为机器学习模型的流水线的部分被执行。4.如权利要求1所述的计算机实现的方法，其中，所述托管的机器学习存储库由所述web服务提供商托管。5.如权利要求1所述的计算机实现的方法，其中，提供对所述多个被发布的机器学习项目中的所述被请求的一个被发布的机器学习项目的访问权进一步包括：从与所述第三方请求者相关联的用户账户获得访问权信息；以及基于所述访问权信息确定所述第三方请求者的访问权。6.如权利要求1所述的计算机实现的方法，进一步包括：接收分配用于由所述多个机器学习项目中的所述所请求的一个机器学习项目使用的资源的请求；以及利用所分配的资源，以使用所述多个机器学习项目中的所述被请求的一个机器学习项目来执行任务。7.如权利要求6所述的计算机实现的方法，其中，所述任务是训练和推理中的一个。8.如权利要求1所述的计算机实现的方法，其中，所述被发布的机器学习项目中的每一个都是容器。9.如权利要求1所述的计算机实现的方法，其中，所述被发布的机器学习项目中的至少一个被发布的机器学习项目通过被提供给所述web服务提供商的代码来生成。10.如权利要求9所述的计算机实现的方法，其中，所述被发布的机器学习项目中的至少一个被发布的机器学习项目被容器化。11.如权利要求1所述的计算机实现的方法，进一步包括：
将所述被发布的机器学习项目中的一个被发布的机器学习项目添加为流水线的部分。12.如权利要求1所述的计算机实现的方法，其中，使用所述多个被发布的机器学习项目中的一个被发布的机器学习项目的请求...

【专利技术属性】
技术研发人员：V，
申请(专利权)人：亚马逊技术股份有限公司，
类型：发明
国别省市：