【技术实现步骤摘要】
一种自动驾驶数据存储系统、方法、设备和存储介质
[0001]本申请涉及数据存储
，尤其涉及一种自动驾驶数据存储系统、方法、设备和存储介质。
技术介绍
[0002]自动驾驶领域每天都要处理大量的自动驾驶数据，如路测数据、地图数据等，容器计算平台需要从对象存储系统下载大量的自动驾驶数据到容器本地进行仿真、训练等处理，处理完的结果数据先存储在本地，然后再上传到对象存储系统，客户端通过访问对象存储系统操作所需数据，如果处理后的结果数据都上传到对象存储系统，需要消耗容器平台和对象存储系统的大量资源，包括本地IO操作、本地网络传输带宽以及对象存储系统IO操作、对象存储系统网络传输带宽以及对象存储系统存储空间等，造成资源浪费。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
[0004]本申请提供了一种自动驾驶数据存储系统、方法、设备和存储介质，用于改善自动驾驶数据在缓存过程中所造成的容器平台和对象存储系统的资源消耗的技术问题。
[0005]有鉴...
【技术保护点】
【技术特征摘要】
1.一种自动驾驶数据存储系统，其特征在于，包括：对象存储系统、容器计算平台和网关服务，所述容器计算平台包括容器节点；所述对象存储系统，用于存储自动驾驶数据；所述容器计算平台，用于从所述对象存储系统中下载自动驾驶数据进行处理，并将处理得到的数据文件存储到容器节点中；所述网关服务，用于接收客户端访问目标文件的访问请求，根据所述访问请求确定路由信息，若所述路由信息指向容器节点，则将所述访问请求转发至对应的容器节点进行操作，并返回操作结果给客户端，若所述路由信息指向对象存储系统，则将所述访问请求转发至所述对象存储系统进行操作，并返回操作结果给客户端。2.根据权利要求1所述的自动驾驶数据存储系统，其特征在于，所述容器计算平台还包括元数据服务；所述容器节点，用于监听本地数据文件的变换状态，并上传新增数据文件的第一元数据信息到所述元数据服务，所述第一元数据信息包括数据文件所在容器节点的标识、存储桶名称、文件名、文件大小和文件修改时间；所述元数据服务，用于存储所述容器节点中数据文件的第一元数据信息，并初始化数据文件的第二元数据信息，所述第二元数据信息包括创建时间、读取时间、删除时间、读取次数和持久化类型。3.根据权利要求2所述的自动驾驶数据存储系统，其特征在于，所述容器节点，还用于：上报自身状态信息到所述元数据服务，由所述元数据服务保存容器节点的状态信息，所述状态信息包括容器节点的标识、已使用空间大小和剩余空间大小。4.根据权利要求2所述的自动驾驶数据存储系统，其特征在于，所述容器计算平台，还用于按照存储桶/文件路径的格式将数据文件输出到容器节点的数据目录中；所述容器节点，具体用于监听本地数据目录中数据文件的变换状态，并上传新增数据文件的第一元数据信息到所述元数据服务。5.根据权利要求2所述的自动驾驶数据存储系统，其特征在于，所述网关服务，具体用于执行以下步骤：S1、接收客户端访问目标文件的访问请求；S2、根据所述访问请求中的路径信息获取目标文件的目标存储桶和目标文件路径；S3、查询所述目标文件的目标存储桶是否命中所述元数据服务中的存储桶，若未命中，则执行步骤S5；若命中，则查询所述元数据服务是否存在所述目标文件路径对应的目标文件以及所述目标文件的持久化类型是否为容器计算平台；S4、若查询到所述元数据服务存在所述目标文件路径对应的目标文件且所述目标文件的持久化类型为容器计算平台，则获取指向所述目标文件关联的容器节点的路由信息，根据该路由信息将所述访问请求转发至对应的容器节点进行操作，并返回操作结果给客户端，若查询到所述元数据服务不存在所述目标文件路径对应的目标文件或所述目标文件的持久化类型不为容器计算平台，则执行步骤S5；S5、确定路由信息指向对象存储系统，根据该路由信息将所述访问请求转发至所述对象存储系统进行操作，并返回操作结果给客户端。6.根据权利要求5所述的自动驾驶数据存储系统，其特征在于，所述网关服务，还用于
执...
【专利技术属性】
技术研发人员：刘镇砚，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。