一种数据获取方法、数据提供方法及装置制造方法及图纸

本发明专利技术实施例公开一种数据获取方法、数据提供方法及装置，涉及计算机技术领域，能够有效提高模型训练中训练数据的获取速度。所述数据获取方法包括：向层级目录服务器发送文件的目录信息挂载请求，所述挂载请求携带对象存储服务器中所述文件所在的桶的桶名；将所述层级目录服务器返回的、包含所述桶名的目录信息加载到内存，所述目录信息指示所述文件在所述对象存储服务器中的存储路径；根据所述目录信息，从所述对象存储服务器中获取所述文件。本发明专利技术可应用于机器学习中。

A data acquisition method, data providing method and device

【技术实现步骤摘要】
一种数据获取方法、数据提供方法及装置
本专利技术涉及计算机
，尤其涉及一种数据获取方法、数据提供方法及装置。
技术介绍
近年来，人工智能技术在产业和生活中得到了越来越广泛的应用。机器学习作为人工智能领域的一个重要分支，能够通过大量数据的训练，得到较为理想的数学模型，从而模拟人的思维。然而，由于模型训练所需的数据量巨大，常常是千万级的文件数量，训练数据的读取速度就成为影响模型训练效率的重要因素。对于模型训练中，训练数据的读取速度较慢的问题，相关领域尚无有效的解决方案。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据获取方法、数据提供方法及装置，能够有效提高模型训练中训练数据的获取速度。第一方面，本专利技术实施例提供一种数据获取方法，包括：向层级目录服务器发送文件的目录信息挂载请求，所述挂载请求携带对象存储服务器中所述文件所在的桶的桶名；将所述层级目录服务器返回的、包含所述桶名的目录信息加载到内存，所述目录信息指示所述文件在所述对象存储服务器中的存储路径；根据所述目录信息，从所述对象存储服务器中获取所述文件。可选的，所述向层级目录服务器发送文件的目录信息挂载请求之前，所述方法还包括：向所述对象存储服务器发送鉴权请求；所述向层级目录服务器发送文件的目录信息挂载请求包括：在接收到所述对象存储服务器发送的鉴权成功的消息后，向层级目录服务器发送文件的目录信息挂载请求。可选的，所述根据所述目录信息，从对象存储服务器中获取所述文件之前，所述方法还包括：获取文件筛选规则信息；所述根据所述目录信息，从对象存储服务器中获取所述文件包括：根据所述文件筛选规则信息，从所述目录信息中选择需要读取的目标文件；根据所述目标文件的目录信息，从所述对象存储服务器中获取所述目标文件。可选的，所述文件筛选规则信息包括需要读取的所述目标文件的数量、分布、大小中的至少一种。可选的，所述挂载请求还携带所述对象存储服务器对应的负载均衡服务器的地址，以通过所述负载均衡服务器访问所述对象存储服务器，其中，所述负载均衡服务器用于按照负载均衡算法将网络访问请求均衡分配到所述对象存储服务器。第二方面，本专利技术的实施例还提供一种数据提供方法，包括：接收模型训练服务器发送的、文件的目录信息挂载请求，所述挂载请求携带对象存储服务器中所述文件所在的桶的桶名；向所述模型训练服务器发送包含所述桶名的目录信息，所述目录信息指示所述文件在所述对象存储服务器中的存储路径。可选的，在所述向所述模型训练服务器发送包含所述桶名的目录信息之前，所述方法还包括：根据所述桶中存储对象的对象名称，生成所述存储对象对应的文件系统的所述目录信息。可选的，所述根据桶中存储对象的对象名称，生成所述存储对象对应的文件系统的目录信息包括：扫描所述桶中存储对象的对象名称，拆分所述对象名称形成所述目录信息；和/或接收所述桶中存储对象的注册信息，根据所述注册信息形成所述目录信息。第三方面，本专利技术的实施例还提供一种数据获取装置，包括：请求发送单元，用于向层级目录服务器发送文件的目录信息挂载请求，所述挂载请求携带对象存储服务器中所述文件所在的桶的桶名；目录加载单元，用于将所述层级目录服务器返回的、包含所述桶名的目录信息加载到内存，所述目录信息指示所述文件在所述对象存储服务器中的存储路径；文件获取单元，用于根据所述目录信息，从所述对象存储服务器中获取所述文件。可选的，所述请求发送单元，还用于：在向层级目录服务器发送文件的目录信息挂载请求之前，向所述对象存储服务器发送鉴权请求；在接收到所述对象存储服务器发送的鉴权成功的消息后，向层级目录服务器发送文件的目录信息挂载请求。可选的，所述数据获取装置还包括：规则获取单元，用于在根据所述目录信息，从对象存储服务器中获取所述文件之前，获取文件筛选规则信息；所述文件获取单元包括：选择模块，用于根据所述文件筛选规则信息，从所述目录信息中选择需要读取的目标文件；获取模块，用于根据所述目标文件的目录信息，从所述对象存储服务器中获取所述目标文件。可选的，所述文件筛选规则信息包括需要读取的所述目标文件的数量、分布、大小中的至少一种。可选的，所述挂载请求还携带所述对象存储服务器对应的负载均衡服务器的地址，以通过所述负载均衡服务器访问所述对象存储服务器，其中，所述负载均衡服务器用于按照负载均衡算法将网络访问请求均衡分配到所述对象存储服务器。第四方面，本专利技术的实施例还提供一种数据提供装置，包括：请求接收单元，用于接收模型训练服务器发送的、文件的目录信息挂载请求，所述挂载请求携带对象存储服务器中所述文件所在的桶的桶名；目录发送单元，用于向所述模型训练服务器发送包含所述桶名的目录信息，所述目录信息指示所述文件在所述对象存储服务器中的存储路径。可选的，所述数据提供装置还包括：目录生成单元，用于在向所述模型训练服务器发送包含所述桶名的目录信息之前，根据所述桶中存储对象的对象名称，生成所述存储对象对应的文件系统的所述目录信息。可选的，所述目录生成单元包括：第一生成模块，用于扫描所述桶中存储对象的对象名称，拆分所述对象名称形成所述目录信息；和/或第二生成模块，用于接收所述桶中存储对象的注册信息，根据所述注册信息形成所述目录信息。：第五方面，本专利技术的实施例还提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行本专利技术的实施例提供的任一种数据获取装置或数据提供装置。第六方面，本专利技术的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本专利技术的实施例提供的任一种数据获取装置或数据提供装置。本专利技术的实施例提供的数据获取方法、数据提供方法、装置、电子设备及存储介质，当模型训练服务器需要读取训练数据时，可以先从层级目录服务器获取训练数据中各文件的目录信息，并根据目录信息获取文件在对象存储服务器中的存储路径，从而快速通过该存储路径获取到文件，避免了直接在对象存储服务器的海量数据中进行搜索，因此能够有效提高数据的获取速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术的本文档来自技高网...

【技术保护点】
1.一种数据获取方法，其特征在于，包括：/n向层级目录服务器发送文件的目录信息挂载请求，所述挂载请求携带对象存储服务器中所述文件所在的桶的桶名；/n将所述层级目录服务器返回的、包含所述桶名的目录信息加载到内存，所述目录信息指示所述文件在所述对象存储服务器中的存储路径；/n根据所述目录信息，从所述对象存储服务器中获取所述文件。/n

【技术特征摘要】
1.一种数据获取方法，其特征在于，包括：
向层级目录服务器发送文件的目录信息挂载请求，所述挂载请求携带对象存储服务器中所述文件所在的桶的桶名；
将所述层级目录服务器返回的、包含所述桶名的目录信息加载到内存，所述目录信息指示所述文件在所述对象存储服务器中的存储路径；
根据所述目录信息，从所述对象存储服务器中获取所述文件。


2.根据权利要求1所述的方法，其特征在于，所述向层级目录服务器发送文件的目录信息挂载请求之前，所述方法还包括：
向所述对象存储服务器发送鉴权请求；
所述向层级目录服务器发送文件的目录信息挂载请求包括：
在接收到所述对象存储服务器发送的鉴权成功的消息后，向层级目录服务器发送文件的目录信息挂载请求。


3.根据权利要求1所述的方法，其特征在于，所述根据所述目录信息，从对象存储服务器中获取所述文件之前，所述方法还包括：
获取文件筛选规则信息；
所述根据所述目录信息，从对象存储服务器中获取所述文件包括：
根据所述文件筛选规则信息，从所述目录信息中选择需要读取的目标文件；
根据所述目标文件的目录信息，从所述对象存储服务器中获取所述目标文件。


4.根据权利要求3所述的方法，其特征在于，所述文件筛选规则信息包括需要读取的所述目标文件的数量、分布、大小中的至少一种。


5.根据权利要求1至4中任一项所述的方法，其特征在于，所述挂载请求还携带所述对象存储服务器对应的负载均衡服务器的地址，以通过所述负载均衡服务器访问所述对象存储服务器，其中，所述负载均衡服务器用于按照负载均衡算法将网络访问请求均衡分配到所述对象存储服务器。

【专利技术属性】
技术研发人员：余虹建，李锦丰，
申请(专利权)人：北京猎豹移动科技有限公司，
类型：发明
国别省市：北京;11