一种数据管理方法及系统技术方案

本申请涉及一种数据管理方法及系统，所述方法包括：接收客户端发送的数据写入请求和待写入的第一数据；根据所述数据写入请求将所述第一数据写入DB服务器；从所述DB服务器获取预设时间节点前一个预设时长内的第二数据；将所述第二数据存储到文件服务器，记录所述第二数据与所述文件服务器的对应关系。本申请所述方案，将预设时间节点之后不足一预设时长的数据存储在DB服务器中，将预设时间节点之前的所有数据以预设时长为单位存储在文件服务器中，查询预设时间节点之前的数据都从文件服务器中读取，同时，本方案通过添加文件服务器能够轻松对系统进行扩容操作。

【技术实现步骤摘要】
一种数据管理方法及系统
本申请涉及通信
，具体而言，涉及一种数据管理方法及系统。
技术介绍
现有的物联网中，数据的存储和读取往往是通过集群部署的DB服务器来完成。在使用DB服务器进行数据存储和读取的过程中，由于DB服务器上，需要同时满足写入和读取，因此就会存在读写冲突的问题。为了解决读写冲突的问题，因此会有加锁的过程。由于上述原因，现有的技术中，直接从DB服务器查询数据，存在数据查询效率低的问题。此外，现有技术中，由于所有数据都通过DB服务器存储，当所需存储的数据量过大时，就需要对DB服务器进行扩容。由于分布式数据库结构复杂，不能直接扩容，因此，DB服务器的扩容过程十分复杂。
技术实现思路
为了克服现有技术中的上述不足，本申请的目的在于提供一种数据管理方法，所述方法包括：接收客户端发送的数据写入请求和待写入的第一数据；根据所述数据写入请求将所述第一数据写入DB服务器；从所述DB服务器获取预设时间节点前一个预设时长内的第二数据；将所述第二数据存储到文件服务器，记录所述第二数据与所述文件服务器的对应关系。进一步地，所述的数据管理方法中，所述方法还包括:接收客户端发送的数据查询请求，所述数据查询请求包括待查询数据的写入时间及查询特征；根据所述写入时间和所述查询特征查询数据。进一步地，所述的数据管理方法中，所述根据所述写入时间和所述查询特征查询数据的方法包括：根据所述写入时间确定所述待查询数据的存储位置；根据所述查询特征从所述存储位置查询数据。进一步地，所述的数据管理方法中，所述根据所述写入时间确定所述待查询数据的存储位置的方法包括：判断所述写入时间是否在预设时间节点之后；所述根据所述查询特征从所述存储位置查询数据的方法包括：若所述写入时间在预设时间节点之后，则根据所述查询特征从所述DB服务器查找所述待查询数据发送给所述客户端；若所述写入时间在预设时间节点之前，则根据所述写入时间确定存储所述待查询数据的文件服务器，并根据所述查询特征从存储所述待查询数据的文件服务器中查询数据发送给所述客户端。进一步地，所述的数据管理方法中，所述将第二数据存储到文件服务器的方法包括：获取文件服务器的资源使用率，若所述文件服务器资源使用率未超过预设资源使用阈值，则将第二数据存储至该文件服务器。进一步地，所述的数据管理方法中，所述方法还包括：获取所有文件服务器的资源使用率，若所有文件服务器资源使用率均超过预设资源使用阈值，则发送报警信号。进一步地，所述的数据管理方法中，所述将第二数据存储到文件服务器的方法包括：根据所述第二数据的特征判断所述第二数据是否为常用数据，若第二数据为非常用数据，则将第二数据进行压缩后存储到文件服务器。进一步地，所述的数据管理方法中，判断所述第二数据是否为常用数据的方法包括：判断所述第二数据在预设时间段内的使用频率是否超过预设的常用数据阈值，若所述第二数据的使用频率超过所述常用数据阈值，则确定所述第二数据为常用数据；若所述第二数据的使用频率低于所述常用数据阈值，则确定所述第二数据为非常用数据。进一步地，所述的数据管理方法，所述将第二数据存储到文件服务器的方法中，存储所述第二数据的文件服务器至少为一个。本申请的另一目的在于提供一种数据管理系统，包括：代理服务器、DB服务器、主控制服务器、以及文件服务器；所述代理服务器用于处理客户端发送的写入数据请求和数据查询请求并将根据数据查询请求查询的数据发送给客户端；所述DB服务器与所述代理服务器连接，用于存储客户端上传的数据并实现DB服务器与客户端的通信；所述主控制服务器与所述DB服务器、文件服务器分别连接，以从所述DB服务器中读取数据存储到所述文件服务器中，并建立所读取数据与所述文件服务器之间的映射关系；所述主控制服务器与所述代理服务器连接，用于根据所述数据查询请求从所述文件服务器中查询数据。相对于现有技术而言，本申请具有以下有益效果：本申请通过将客户端的数据保存在DB服务器中，然后将DB服务器中预设时间节点前一个预设时长内的数据存储到文件服务器中并建立该数据与文件服务器之间的对应关系，使得DB服务器里面永远只有预设时间节点后的一个预设时长期间存储的数据。在查询数据时，只有预设时间节点后一个预设时长内的数据才从DB服务器中查询。对于预设时间节点之前的数据，都从文件服务器中查询。从文件服务器直接查询数据，不会存在互斥和加锁的过程，因此，数据查询的效率大大提升。在使用文件服务器部分替代DB服务器保存数据的同时，还降低了对DB服务器容量的要求。在需要对系统进行扩容时，无须再对DB服务器本身进行扩容，而是直接在系统中添加文件服务器即可。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的数据管理系统的系统示意图；图2为本申请实施例提供的数据管理方法的流程示意图之一；图3为本申请实施例提供的数据管理方法的流程示意图之二；图4为本申请实施例提供的数据管理方法的流程示意图之三；图5为本申请实施例提供的数据管理方法的流程示意图之四。图标：1-代理服务器；2-DB服务器；3-主控制服务器；4-文件服务器。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。参见图1，本实施例提供了一种数据管理系统，包括：代理服务器1、DB服务器2、主控制服务器3、以及文件服务器4。所述代理服务器1用于处理客户端发送的写入数据请求和数据查询请求并将根据数据查询请求查询的数据发送给客户端。所述主控制服务器与所述代理服务器连接，用于根据所述数据查询请求从所述文件服务器中查询数据。本实施例中，所述代理服务器1可以是，但不限于，web(网站)服务器、ftp(filetransferprotocol，文件传输协议)服务器、工作本文档来自技高网...

【技术保护点】
1.一种数据管理方法，其特征在于，所述方法包括：接收客户端发送的数据写入请求和待写入的第一数据；根据所述数据写入请求将所述第一数据写入DB服务器；从所述DB服务器获取预设时间节点前一个预设时长内的第二数据；将所述第二数据存储到文件服务器，记录所述第二数据与所述文件服务器的对应关系。

【技术特征摘要】
1.一种数据管理方法，其特征在于，所述方法包括：接收客户端发送的数据写入请求和待写入的第一数据；根据所述数据写入请求将所述第一数据写入DB服务器；从所述DB服务器获取预设时间节点前一个预设时长内的第二数据；将所述第二数据存储到文件服务器，记录所述第二数据与所述文件服务器的对应关系。2.根据权利要求1所述的数据管理方法，其特征在于，所述方法还包括:接收客户端发送的数据查询请求，所述数据查询请求包括待查询数据的写入时间及查询特征；根据所述写入时间和所述查询特征查询数据。3.根据权利要求2所述的数据管理方法，其特征在于，所述根据所述写入时间和所述查询特征查询数据的方法包括：根据所述写入时间确定所述待查询数据的存储位置；根据所述查询特征从所述存储位置查询数据。4.根据权利要求3所述的数据管理方法，其特征在于，所述根据所述写入时间确定所述待查询数据的存储位置的方法包括：判断所述写入时间是否在预设时间节点之后；所述根据所述查询特征从所述存储位置查询数据的方法包括：若所述写入时间在预设时间节点之后，则根据所述查询特征从所述DB服务器查找所述待查询数据发送给所述客户端；若所述写入时间在预设时间节点之前，则根据所述写入时间确定存储所述待查询数据的文件服务器，并根据所述查询特征从存储所述待查询数据的文件服务器中查询数据发送给所述客户端。5.根据权利要求1所述的数据管理方法，其特征在于，所述将第二数据存储到文件服务器的方法包括：获取文件服务器的资源使用率，若所述文件服务器资源使用率未超过预设资源使用阈值，则将第二数据存储至该文件服务器。6.根据权利要求...

【专利技术属性】
技术研发人员：胡山江，张鸿，徐翠屏，余祥鑫，
申请(专利权)人：星络科技有限公司，
类型：发明
国别省市：广东,44