【技术实现步骤摘要】
本申请属于分布式文件系统数据读写，具体涉及一种文件读写方法和系统。
技术介绍
1、电池数据存储在分布式系统基础架构hadoop中的分布式文件系统(hadoopdistributed file system，hdfs)中，以在大型布式环境中存储和管理数据。随着业务量的上升，需要存储和管理的数据的不断增加，导致数据读写效率愈发降低。
技术实现思路
1、专利技术目的：本申请开发了一种文件读写方法和系统，旨在解决现有技术中随着数据量的增加，数据的读写效率日渐降低的技术问题。
2、技术方案：第一方面，本申请的实施例提供一种文件读写方法，应用于分布式文件系统，所述文件读写方法包括：
3、确定目标数据，并将处理逻辑相同的所述目标数据按列写入所述分布式文件系统；
4、基于所述目标数据的数据类型的长度和所述目标数据的批处理量，确定行号偏移量；
5、基于所述行号偏移量和行号起始位置确定调用位置；
6、基于所述数据类型将模板函数实例化，获取调用代码；<...
【技术保护点】
1.一种文件读写方法，其特征在于，应用于分布式文件系统，所述文件读写方法包括：
2.根据权利要求1所述的文件读写方法，其特征在于，在将处理逻辑相同的所述目标数据按列写入分布式文件系统之前，所述文件读写方法还包括：
3.根据权利要求1所述的文件读写方法，其特征在于，所述将处理逻辑相同的所述目标数据按列写入分布式文件系统的方法还包括：
4.根据权利要求1所述的文件读写方法，其特征在于，所述基于所述调用代码和所述调用位置，在所述分布式文件系统中按列批量读取处理逻辑相同的所述目标数据的步骤包括：
5.根据权利要求4所述的文件读写...
【技术特征摘要】
1.一种文件读写方法，其特征在于，应用于分布式文件系统，所述文件读写方法包括：
2.根据权利要求1所述的文件读写方法，其特征在于，在将处理逻辑相同的所述目标数据按列写入分布式文件系统之前，所述文件读写方法还包括：
3.根据权利要求1所述的文件读写方法，其特征在于，所述将处理逻辑相同的所述目标数据按列写入分布式文件系统的方法还包括：
4.根据权利要求1所述的文件读写方法，其特征在于，所述基于所述调用代码和所述调用位置，在所述分布式文件系统中按列批量读取处理逻辑相同的所述目标数据的步骤包括：
5.根据权利要求4所述的文件读写方法，其特征在于，在控制所述读取器通过调用代码读取所述调用位置的所述目标数据的步骤之前，所述文件读写方法包括：
【专利技术属性】
技术研发人员：夏帅帅，曾维思，杨拾锋，高攀龙，张建彪，
申请(专利权)人：章鱼博士智能技术上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。