一种基于云存储的数据管理系统及方法技术方案

本发明专利技术提供了一种基于云存储的数据管理系统及方法，系统包括前端卡口，用于将所采集的过车信息发送给过车信息服务器；过车信息服务器，用于接收并解析过车信息，得到过车时间和过车图像数据，选择过车时间所属时间段所对应的目标Bucket标识；若接收到Bucket可用消息，选择目标Bucket标识对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将过车图像数据写入当前打包写对象所作用的文件，生成存储请求并发送存储请求至云存储中心；云存储中心，用于若目标Bucket存在且可用，则向过车信息服务器返回Bucket可用消息；缓存存储请求中的文件，若当前缓存总容量达到预设缓存值，将缓存的所有文件写入目标Bucket。应用本发明专利技术实施例，提高了数据存储效率。

【技术实现步骤摘要】
一种基于云存储的数据管理系统及方法
本专利技术涉及数据处理
，尤其涉及一种基于云存储的数据管理系统及方法。
技术介绍
随着数据的爆发式增长，为了更好的满足用户需求，需要对各类数据进行管理，例如对数据进行存储、查询、搜索等等。目前，数据管理方法在对数据进行存储时，采用通用文件系统进行图片文件存储，并且需要手动划定图片存储位置。专利技术人在实现本专利技术的过程中发现，采用现有的方式，存储位置需要手动分配，存储空间容易循环覆盖，导致管理复杂且存储效率不高。
技术实现思路
本专利技术的目的在于克服现有技术之缺陷，提供了一种基于云存储的数据管理系统及方法，以实现提高存储效率。本专利技术是这样实现的：第一方面，本专利技术提供一种基于云存储的数据管理系统，所述系统包括前端卡口、过车信息服务器和云存储中心，其中，所述前端卡口，用于采集过车信息，并将所采集的过车信息发送给过车信息服务器；所述过车信息服务器，用于接收并解析所述过车信息，得到过车时间和过车图像数据，从所有的预设Bucket标识中选择所述过车时间所属时间段所对应的目标Bucket标识；向所述云存储中心发送查询请求，若接收到Bucket可用消息，则选择所述目标Bucket标识对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将所述过车图像数据写入所述当前打包写对象所作用的文件，并基于写入图像数据后的文件生成存储请求，将所述存储请求发送给云存储中心；其中，一个预设Bucket标识对应一个预设时间段；一个预设Bucket标识对应一个打包写对象；所述云存储中心，用于按照所述查询请求，判断具有所述目标Bucket标识的目标Bucket是否存在且可用，若目标Bucket存在且可用，则向过车信息服务器返回Bucket可用消息；在接收到存储请求后，缓存所述存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入所述目标Bucket。可选的，所述系统还包括大数据中心和客户端，所述过车信息服务器，还用于对所述过车信息进行结构化处理，得到结构化的车辆数据，将所述车辆数据发送给大数据中心；所述大数据中心，用于对所接收的车辆数据进行存储，在接收到客户端发送的数据搜索请求后，按照所述数据搜索请求中的数据碰撞条件，对所存储的车辆数据进行数据碰撞，得到满足所述数据碰撞条件的数据碰撞结果，并将所述数据碰撞结果返回给客户端；所述客户端，用于向大数据中心发送数据搜索请求；接收并显示所述数据碰撞结果。可选的，所述云存储中心，还用于接收客户端发送的图像访问请求，按照所述图像访问请求中的访问条件，查找满足所述访问条件的目标图像数据，将所述目标图像数据返回给客户端；所述客户端，还用于向所述云存储中心发送图像访问请求；接收并显示所述目标图像数据。可选的，所述过车信息服务器，还用于获得配置文件；将所述配置文件发送给所述云存储中心；所述配置文件包括待配置Bucket的保留时间；所述云存储中心，还用于按照所接收的配置文件，设置所述待配置Bucket的生命周期为所述保留时间。可选的，所述云存储中心，还用于在成功将缓存的所有文件写入目标Bucket后，将被写入目标Bucket的各文件的文件名及存储位置发送给所述过车信息服务器；所述过车信息服务器，还用于将所述过车信息中图像数据的存储位置加入来自于该过车信息的车辆数据，其中，图像数据的存储位置为该图像数据被写入的文件的存储位置。可选的，所述文件为小文件，过车信息服务器将所述过车图像数据写入所述当前打包写对象所作用的文件，具体为：采用原子操作方式，打开所述当前打包写对象所作用的小文件，并将所述过车图像数据写入所打开的小文件；在写入完成后，关闭小文件并生成文件名。可选的，所述过车信息服务器，还用于若接收到Bucket不可用消息，则向所述云存储中心发送创建Bucket请求，所述创建Bucket请求包括初始Bucket标识；获得所述初始Bucket标识对应的时间段以及所述初始Bucket标识对应的初始打包写对象；其中，所述初始Bucket标识对应的时间段包括所述过车时间；将初始打包写对象作为当前打包写对象，返回执行将所述过车图像数据写入所述当前打包写对象所作用的文件；所述云存储中心，还用于若目标Bucket不存在或不可用，则向过车信息服务器返回Bucket不可用消息；在接收到创建Bucket请求后，创建具有所述初始Bucket标识的初始Bucket。第二方面，本专利技术提供一种基于云存储的数据管理方法，应用于上述任一所述的系统，所述方法应用于所述过车信息服务器，具体包括：接收过车信息，对所述过车信息进行解析，得到过车时间和过车图像数据；从所有的预设Bucket标识中选择所述过车时间所属时间段所对应的目标Bucket标识；其中，一个预设Bucket标识对应一个预设时间段；一个预设Bucket标识对应一个打包写对象；向所述云存储中心发送查询请求；以使所述云存储中心按照所述查询请求，判断目标Bucket是否存在且可用，若目标Bucket存在且可用，则向所述过车信息服务器返回Bucket可用消息；若接收到Bucket可用消息，则选择所述目标Bucket标识对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将所述过车图像数据写入所述当前打包写对象所作用的文件，并基于写入图像数据后的文件生成存储请求，将所述存储请求发送给云存储中心；以使所述云存储中心缓存所述存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入所述目标Bucket。可选的，所述方法还包括：对所述过车信息进行结构化处理，得到结构化的车辆数据，将所述车辆数据发送给大数据中心；以使所述大数据中心对所接收的车辆数据进行存储。可选的，所述方法还包括：若接收到Bucket不可用消息，则向所述云存储中心发送创建Bucket请求，所述创建Bucket请求包括初始Bucket标识；以使所述云存储中心在接收到创建Bucket请求后，创建具有所述初始Bucket标识的初始Bucket；获得所述初始Bucket标识对应的时间段以及所述初始Bucket标识对应的初始打包写对象；其中，所述初始Bucket标识对应的时间段包括所述过车时间；将初始打包写对象作为当前打包写对象，返回执行将所述过车图像数据写入所述当前打包写对象所作用的文件。本专利技术具有以下有益效果：应用本专利技术实施例，不同时间段的过车图像数据可以被存储至云存储中心的不同Bucket，故无需用户手动分配存储空间，从而，提高了数据存储效率，简化了数据管理过程。并且时间段和Bucket的关系可以预先设置，从而可以更合理的满足不同业务的存储需求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术实施例提供的基于云存储的数据管理系统的一种结构示意图；图2为本专利技术实施例提供的基于云存储的数据管理系统的另一种结构示意图；图3为本专利技术实施例提供的基于云存储的数据管理方法的一种流程示意图。具体实施方式下面将结合本专利技术实本文档来自技高网...

【技术保护点】
1.一种基于云存储的数据管理系统，其特征在于，所述系统包括前端卡口、过车信息服务器和云存储中心，其中，所述前端卡口，用于采集过车信息，并将所采集的过车信息发送给过车信息服务器；所述过车信息服务器，用于接收并解析所述过车信息，得到过车时间和过车图像数据，从所有的预设Bucket标识中选择所述过车时间所属时间段所对应的目标Bucket标识；向所述云存储中心发送查询请求，若接收到Bucket可用消息，则选择所述目标Bucket标识对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将所述过车图像数据写入所述当前打包写对象所作用的文件，并基于写入图像数据后的文件生成存储请求，将所述存储请求发送给云存储中心；其中，一个预设Bucket标识对应一个预设时间段；一个预设Bucket标识对应一个打包写对象；所述云存储中心，用于按照所述查询请求，判断具有所述目标Bucket标识的目标Bucket是否存在且可用，若目标Bucket存在且可用，则向过车信息服务器返回Bucket可用消息；在接收到存储请求后，缓存所述存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入所述目标Bucket。...

【技术特征摘要】
1.一种基于云存储的数据管理系统，其特征在于，所述系统包括前端卡口、过车信息服务器和云存储中心，其中，所述前端卡口，用于采集过车信息，并将所采集的过车信息发送给过车信息服务器；所述过车信息服务器，用于接收并解析所述过车信息，得到过车时间和过车图像数据，从所有的预设Bucket标识中选择所述过车时间所属时间段所对应的目标Bucket标识；向所述云存储中心发送查询请求，若接收到Bucket可用消息，则选择所述目标Bucket标识对应的目标打包写对象，将目标打包写对象作为当前打包写对象，将所述过车图像数据写入所述当前打包写对象所作用的文件，并基于写入图像数据后的文件生成存储请求，将所述存储请求发送给云存储中心；其中，一个预设Bucket标识对应一个预设时间段；一个预设Bucket标识对应一个打包写对象；所述云存储中心，用于按照所述查询请求，判断具有所述目标Bucket标识的目标Bucket是否存在且可用，若目标Bucket存在且可用，则向过车信息服务器返回Bucket可用消息；在接收到存储请求后，缓存所述存储请求中的文件，并判断当前缓存总容量是否达到预设缓存值，若达到，则将缓存的所有文件写入所述目标Bucket。2.根据权利要求1所述的系统，其特征在于，所述系统还包括大数据中心和客户端，所述过车信息服务器，还用于对所述过车信息进行结构化处理，得到结构化的车辆数据，将所述车辆数据发送给大数据中心；所述大数据中心，用于对所接收的车辆数据进行存储，在接收到客户端发送的数据搜索请求后，按照所述数据搜索请求中的数据碰撞条件，对所存储的车辆数据进行数据碰撞，得到满足所述数据碰撞条件的数据碰撞结果，并将所述数据碰撞结果返回给客户端；所述客户端，用于向大数据中心发送数据搜索请求；接收并显示所述数据碰撞结果。3.根据权利要求2所述的系统，其特征在于，所述云存储中心，还用于接收客户端发送的图像访问请求，按照所述图像访问请求中的访问条件，查找满足所述访问条件的目标图像数据，将所述目标图像数据返回给客户端；所述客户端，还用于向所述云存储中心发送图像访问请求；接收并显示所述目标图像数据。4.根据权利要求3所述的系统，其特征在于，所述过车信息服务器，还用于获得配置文件；将所述配置文件发送给所述云存储中心；所述配置文件包括待配置Bucket的保留时间；所述云存储中心，还用于按照所接收的配置文件，设置所述待配置Bucket的生命周期为所述保留时间。5.根据权利要求2所述的系统，其特征在于，所述云存储中心，还用于在成功将缓存的所有文件写入目标Bucket后，将被写入目标Bucket的各文件的文件名及存储位置发送给所述过车信息服务器；所述过车信息服务器，还用于将所述过车信息中图像数据的存储位置加入来自于该过车信息的车辆数据，其中，图像数据的存储位置为该图像数据被写入的文件的存储位置。6.根据权利要求1所述的系统，其特征在于，所述文件为小文件，过车信息服务器将所述...

【专利技术属性】
技术研发人员：王敏，王聪，
申请(专利权)人：武汉烽火众智数字技术有限责任公司，
类型：发明
国别省市：湖北,42