一种AI数据集存储方法及系统技术方案

本发明专利技术属于数据存储技术领域，公开了一种AI数据集存储方法及系统。本发明专利技术通过在上传模块将数据集中数量庞大的训练数据打包成tar压缩文件一次上传，相比原来的重复上传单个文件方式，节省了用户操作次数和时间，很好的提高用户体验。通过上传模块、服务器模块和存储模块的相互协同，将压缩数据分片上传和解压，从而提高了数据上传和存储效率，也可以减少用户误操作带来的重复上传问题，上传过程更稳定、可靠。同时能够充分发挥Minio服务的吞吐能力和处理能力，比原有上传方式性能更优，上传耗时更短。

【技术实现步骤摘要】

本专利技术涉及数据存储，尤其涉及一种ai数据集存储方法及系统。

技术介绍

1、本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、随着人工智能技术的飞速进步，训练数据的存储已成为ai基础设施的关键组成部分。现有技术通常是将原始数据集(jpg格式图片和xml文件)中的文件单个上传到对象存储服务。即，用户首先在上传模块界面选择单个图片或xml文件，然后点击上传，将上传请求发送到服务器模块的对象管理服务，对象管理服务记录文件信息保存到数据库，对象管理服务再将图片或xml文件文件存储到minio服务。客户端需要逐个上传数据集中的文件到minio服务，这种操作既重复又缺乏良好的用户体验，而且还需要耗费大量的人力成本。另外，当前的数据存储方法同时还面临着一些其他挑战，例如处理速度缓慢、存储空间不足，以及数据安全性和可靠性的问题。因此，我们迫切需要一种高效、安全且可靠的数据存储方法和系统来应对这些挑战。

技术实现思路

1、本专利技术的目的在于，针本文档来自技高网...

【技术保护点】

1.一种AI数据集存储方法，其特征在于，包括：

2.根据权利要求1所述的一种AI数据集存储方法，其特征在于，所述方法还包括，定期扫描状态为“正在上传”的压缩文件，在获取到所述状态为“正在上传”的压缩文件中文件个数的同时，也查询一次存储模块中已解压出的文件个数；判断所述压缩文件在Minio中解压完成的文件个数和数据库中对应的文件个数是否相等，如果相等，则认为存储模块已经上传解压完毕；反之，则认为还在上传解压中。

3.根据权利要求2所述的一种AI数据集存储方法，其特征在于，所述方法还包括以下步骤：根据预设规则对需要上传的AI数据集压缩文件进行分片计算和压缩包文件数量计...

【技术特征摘要】

1.一种ai数据集存储方法，其特征在于，包括：

2.根据权利要求1所述的一种ai数据集存储方法，其特征在于，所述方法还包括，定期扫描状态为“正在上传”的压缩文件，在获取到所述状态为“正在上传”的压缩文件中文件个数的同时，也查询一次存储模块中已解压出的文件个数；判断所述压缩文件在minio中解压完成的文件个数和数据库中对应的文件个数是否相等，如果相等，则认为存储模块已经上传解压完毕；反之，则认为还在上传解压中。

3.根据权利要求2所述的一种ai数据集存储方法，其特征在于，所述方法还包括以下步骤：根据预设规则对需要上传的ai数据集压缩文件进行分片计算和压缩包文件数量计算，并按照所述分片计算结果分片提交上传请求；分片文件上传完成后，上传模块向服务器模块发起分片文件合并请求；服务器模块接收分片文件合并请求，调用存储模块合并api，将分片文件合并成一个完整的压缩文件。

4.根据权利要求3所述的一种ai数据集存储方法，其特征在于，所述方法还包括：服务器模块将压缩文件信息和压缩包内文件数量保存到数据库，同时在存储模块中创建一个存放分片文件的存储桶a和存放解压文件的存储桶b。

5.根据权利要求4所述的一种a...

【专利技术属性】
技术研发人员：周乐，
申请(专利权)人：深圳市铁越电气有限公司，
类型：发明
国别省市：