当前位置: 首页 > 专利查询>重庆大学专利>正文

基于数据聚合的跨文件数据访问方法、系统及嵌入式设备技术方案

技术编号:43758855 阅读:31 留言:0更新日期:2024-12-24 16:03
本发明专利技术提供了一种基于数据聚合的跨文件数据访问方法、系统及嵌入式设备,所述方法包括采集预设时长的数据访问时序信息,并将所述数据访问时序信息发送至服务器,以使服务器对数据访问时序信息进行聚类分析,生成数据访问模式文件;接收服务器传输的数据访问模式文件,根据数据访问模式文件,在预设存储区内创建对应的数据聚合存储块;响应于上层应用的数据访问请求,判断对应的待读取数据内容是否存在匹配的数据访问模式,若存在,则从对应的数据聚合存储块中读取待读取数据内容,反之,则从对应的源文件中读取待读取数据内容。本发明专利技术通过设计聚合小数据块的存储与索引机制,有效减少磁盘I/O操作次数和读放大问题,提升跨文件数据访问性能。

【技术实现步骤摘要】

本专利技术涉及嵌入式设备数据存储,特别是涉及一种基于数据聚合的跨文件数据访问方法、系统及嵌入式设备


技术介绍

1、随着嵌入式设备的性能提升和功能复杂化,越来越多的传感器被集成使用且各种传感器数据被分散记录在不同文件中,不仅加大了嵌入式文件系统的数据管理难度,而且复杂数据处理需求下传感器数据的读取访问会导致频繁出现图1所示的小数据量跨文件读取请求,而这种数据访问模式会导致严重的读放大问题,显著降低文件系统的吞吐量。

2、然而,现有嵌入式文件系统的研究主要集中于如何在处理能力和存储空间等资源受限环境下高效利用现有资源且降低内存开销,以及如何提升文件系统中小文件的访问性能等层面,并未涉及对文件进行较小数据量读取场景的优化研究,难以真正提升嵌入式设备的数据访问性能。


技术实现思路

1、本专利技术的目的是提供一种基于数据聚合的跨文件数据访问方法,针对内存受限的嵌入式设备场景,基于数据级优化层面设计聚合小数据块的存储与索引机制,能在占用较少内存的情况下快速读取数据,有效减少磁盘i/o操作次数和读放大问题,加本文档来自技高网...

【技术保护点】

1.一种基于数据聚合的跨文件数据访问方法,其特征在于,所述方法包括以下步骤:

2.如权利要求1所述的基于数据聚合的跨文件数据访问方法,其特征在于,所述方法还包括:

3.如权利要求1或2任一所述的基于数据聚合的跨文件数据访问方法,其特征在于,所述数据访问时序信息包括多个文件读取信息;所述文件读取信息包括文件路径、读取偏移量、读取数据量大小和读取文件大小;

4.如权利要求3所述的基于数据聚合的跨文件数据访问方法,其特征在于,所述文件数据信息包括数据所属文件路径、偏移方向、偏移量和数据大小;所述数据聚合存储块包括聚合存储块;

5.如权利要求3所述...

【技术特征摘要】

1.一种基于数据聚合的跨文件数据访问方法,其特征在于,所述方法包括以下步骤:

2.如权利要求1所述的基于数据聚合的跨文件数据访问方法,其特征在于,所述方法还包括:

3.如权利要求1或2任一所述的基于数据聚合的跨文件数据访问方法,其特征在于,所述数据访问时序信息包括多个文件读取信息;所述文件读取信息包括文件路径、读取偏移量、读取数据量大小和读取文件大小;

4.如权利要求3所述的基于数据聚合的跨文件数据访问方法,其特征在于,所述文件数据信息包括数据所属文件路径、偏移方向、偏移量和数据大小;所述数据聚合存储块包括聚合存储块;

5.如权利要求3所述的基于数据聚合的跨文件数据访问方法,其特征在于,所述数据访问模式文件还包括缓存文件数据序列;

6.如权...

【专利技术属性】
技术研发人员:蒋铭峰刘铎陈咸彰谭玉娟任骜钟刊
申请(专利权)人:重庆大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1