【技术实现步骤摘要】
一种实时数据存储与查询的方法及装置
本专利技术属于信息
，尤其涉及一种实时数据存储与查询的方法及装置。
技术介绍
随着信息技术的发展，海量实时数据上报至云端已成为现状，并且基于海量数据的存储与查询，目前常规的还直接依赖于通用数据库。但是，随着数据量的增长会导致存储碎片化严重，查询性能降低严重，服务器成本剧增，而采用的分布式系统解决海量数据则存在文件系统并发写的缺陷、以及分布式事务序号生成的性能问题。
技术实现思路
鉴于此，本专利技术实施例提供了一种实时数据存储与查询的方法及装置，以解决在海量数据实时上报情况下现有技术导致的存储与查询性能下降、以及服务器成本增加问题。第一方面，提供了一种实时数据存储与查询的方法，所述方法包括：建立本地流水文件；接收客户端实时上报的数据，将所述数据同步缓存到缓存数据库并去重，同时将数据同步追加到本地流水文件，并将所述流水文件异步上传至服务器的文件系统；加载文件系统中的流水文件，按用户将数据排序合并、压缩、并存储生成归档文件，同时建立索引文件，将所述归档文件和索引文件一并同步到服务器的文件系统，并将已归档完成的数据从缓存数据库中删除；...
【技术保护点】
1.一种实时数据存储与查询的方法，其特征在于，所述方法包括：建立本地流水文件；接收客户端实时上报的数据，将所述数据同步缓存到缓存数据库并去重，同时将数据同步追加到本地流水文件，并将所述流水文件异步上传至服务器的文件系统；加载文件系统中的流水文件，按用户将数据排序合并、压缩、并存储生成归档文件，同时建立索引文件，将所述归档文件和索引文件一并同步到服务器的文件系统，并将已归档完成的数据从缓存数据库中删除；从所述缓存数据库及归档文件中查询数据。
【技术特征摘要】
1.一种实时数据存储与查询的方法，其特征在于，所述方法包括：建立本地流水文件；接收客户端实时上报的数据，将所述数据同步缓存到缓存数据库并去重，同时将数据同步追加到本地流水文件，并将所述流水文件异步上传至服务器的文件系统；加载文件系统中的流水文件，按用户将数据排序合并、压缩、并存储生成归档文件，同时建立索引文件，将所述归档文件和索引文件一并同步到服务器的文件系统，并将已归档完成的数据从缓存数据库中删除；从所述缓存数据库及归档文件中查询数据。2.如权利要求1所述的实时数据存储与查询的方法，其特征在于，所述将数据同步追加到本地流水文件，并将所述流水文件异步上传至服务器的文件系统具体包括：预先在本地流水文件中设定按时间段存储的单个文件大小阈值；先将数据按时间段分散到不同的时间单元文件中，并按用户ID将所述时间单元文件分组追加到本地对应的时间单元流水文件中；在单个时间单元的文件大小达到预先设定的阈值后创建新的时间单元文件，用UUID命名已达到阈值的时间单元流水文件，并将该文件同步到服务器的文件系统中。3.如权利要求2所述的实时数据存储与查询的方法，其特征在于，所述将数据同步追加到本地流水文件，并将所述流水文件异步上传至服务器的文件系统还包括：预先指定超时时间；在将已达到阈值的时间单元流水文件同步到服务器的文件系统中时，将指定超时时间之前的所有时间单元文件、以及分组内的所有本地的时间单元流水文件都同步到服务器中。4.如权利要求3所述的实时数据存储与查询的方法，其特征在于，所述加载文件系统中的流水文件，按用户将数据排序合并、压缩、并存储生成归档文件，同时建立索引文件，将所述归档文件和索引文件一并同步到服务器的文件系统具体包括：定时检测所有未归档的时间单元文件、以及分组内的本地的时间单元流水文件；选择一个未归档的时间单元文件的分组，加载该分组内的全部流水文件；将每个用户的数据按时间排序合并、压缩、并存入生成归档文件，同时记录用户ID及偏移量作为索引信息；将索引信息写入索引文件，并同所述归档文件一起同步到服务器的文件系统中；还包括，将各分组的归档文件合并成大文件，同时合并各分组的索引文件作为全局索引文件。5.如权利要求4所述的实时数据存储与查询的方法，其特征在于，所述从所述缓存数据库及归档文件中查询数据具体包括：当检测到目标用户的目标时间段对应的归档文件未生成时，直接从缓存数据库中查询数据；当检测到目标用户的目标时间段对应的归档文件已生成时，先读取对应的索引文件，得到索引信息，再按索引信息从归档文件中得到归档数据，查询从所述归档数据解压得到的数据...
【专利技术属性】
技术研发人员：熊飞，
申请(专利权)人：深圳市同行者科技有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。