一种数据操作方法及系统技术方案

本发明专利技术涉及一种数据操作方法及系统，属于数据处理技术领域。包括：文件编排步骤，用于按照预设的文件命名格式生成用于存储数据的元数据文件；内容编排步骤，将待存储内容按照预设的内容编排模式编排后按行存储于所述元数据文件中；数据更新步骤，按照文件命名格式和内容编排模式命中待更新的元数据文件中的待更新部分并进行数据更新；数据读取步骤，按照文件命名格式和内容编排模式读取待更新的元数据文件中的目标部分。本发明专利技术能够在确保速度的同时，不引入外部软件，就可以便捷地完成对单用户本地数据的增删改查的功能。并且，由于是Shell上的操作，因此可以通过统一的文本流接口实现向系统内任何软件或工具的信息传递。

【技术实现步骤摘要】
一种数据操作方法及系统
本专利技术涉及一种数据操作方法及系统，属于数据处理

技术介绍
现有技术中的数据存储时，需要安装特定的数据库软件，引入外部程序会一定程度上增加开发周期和门槛，同时也增加了项目整体的不确定性。关系型数据库在存储大量数据时，需要具有一定专业知识才能够妥善使用，否则会导致数据的存储不合理的状况，从而影响查询性能，且这类标准设计不可理导致的问题在项目上线后几乎无从改善。开源软件虽然源码可读，但它的书写语言不一定是谁都能读懂的，再加上数据库的开源产品一般都有足量的代码量，这对于通过底层排查问题带来了困难，增加了维护成本。此外，现有的数据组件之间的互通难以完成，需要再一步引入互通工具(如datax)，并且这也意味着对于新工具的学习成本也要增加，毕竟再简单的命令行工具(甚至很多图形化界面工具)也都需要依靠文档说明书来使用。因此，对现有技术中的存储方法进行改进，以解决上述问题，是当前迫切需要解决的技术问题。
技术实现思路
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。本专利技术主要的目的是解决现有技术中所存在的上述的技术问题，提供了一种数据操作方法。该方法及系统在确保速度的同时，不引入外部软件，就可以便捷地完成对单用户本地数据的增删改查的功能。为解决上述问题，本专利技术的方案是：一种数据操作方法，包括：文件编排步骤，用于按照预设的文件命名格式生成用于存储数据的元数据文件；内容编排步骤，将待存储内容按照预设的内容编排模式编排后按行存储于所述元数据文件中；数据读取步骤，按照文件命名格式和内容编排模式读取待更新的元数据文件中的目标部分。优选的，上述的一种数据操作方法，所述文件命名格式包括：时间字段，用于记录文件内信息的生效时刻；前缀和/或后缀，用于作为文件筛选的依据；序号，根据用户输入信息转换得到，用于表示文件所存储信的属性；文件哈希值，用于验证文件所存数据的可靠性。优选的，上述的一种数据操作方法，所述，所述时间字段通过UNIX系统的AWK工具和UNIX系统的日期格式转换工具获得毫秒时间戳后生成。优选的，上述的一种数据操作方法，所述内容编排步骤，按照内容编排模式规定的分隔符在元数据文件的每行中区分字段，其中，元数据文件中每行的第一个字段是元数据的局部数字ID，第二个字段是元数据的唯一标识。优选的，上述的一种数据操作方法，所述分隔符为逗号。优选的，上述的一种数据操作方法，所述数据读取步骤中通过Linux中统一的信息传递接口，用脚本的方式实现读取数据在各种工具、组件、框架中的传递。优选的，上述的一种数据操作方法，所述数据读取步骤中，通过UNIX系统的AWK工具的正则匹配功能获取元数据文件中特定行的特定列数据。一种数据操作系统，包括：文件编排模块，用于按照预设的文件命名格式生成用于存储数据的元数据文件；内容编排模块，将待存储内容按照预设的内容编排模式编排后按行存储于所述元数据文件中；数据读取模块，按照文件命名格式和内容编排模式读取待更新的元数据文件中的目标部分。优选的，上述的一种数据操作系统，所述数据读取步骤中通过Linux中统一的信息传递接口，用脚本的方式实现读取数据在各种工具、组件、框架中的传递；其中，所述信息传递接口是文件或者句柄。根据权利要求1所述的一种数据操作方法，所述数据读取步骤中，通过UNIX系统的AWK工具的正则匹配功能获取元数据文件中特定行的特定列数据。因此，相对于现有技术，本专利技术具备以下优点：本专利技术能够在确保速度的同时，不引入外部软件，就可以便捷地完成对单用户本地数据的增删改查的功能。并且，由于是Shell上的操作，因此可以通过统一的文本流接口实现向系统内任何软件或工具的信息传递。附图说明并入本文并形成说明书的一部分的附图例示了本专利技术的实施例，并且附图与说明书一起进一步用于解释本专利技术的原理以及使得所属领域技术人员能够制作和使用本公开。图1例示了本专利技术实施例中的文件名格式示例；图2例示了本专利技术实施例中的文件内容格式；图3例示了本专利技术实施例中的整体逻辑流程图；将参照附图描述本专利技术的实施例。具体实施方式实施例本实施例，首先提供了一种数据操作方法。该方法包括：文件编排步骤，用于按照预设的文件命名格式生成用于存储数据的元数据文件；内容编排步骤，将待存储内容按照预设的内容编排模式编排后按行存储于所述元数据文件中；数据更新步骤，按照文件命名格式和内容编排模式命中待更新的元数据文件中的待更新部分并进行数据更新；数据读取步骤，按照文件命名格式和内容编排模式读取待更新的元数据文件中的目标部分。作为一种优选实施方式，文件命名格式包括：时间字段，用于记录文件最后的更新时间；前缀和/或后缀，用于作为文件筛选的依据；序号，根据用户输入信息转换得到，用于表示文件所存储信的属性；文件哈希值，用于验证文件所存数据的可靠性。本实施例所针对的场景是数据来源的表几乎不更新、但一有更新就会大批变化的场景；这个数据来源表不保存历史信息，但现在需要保存，却又不能改变原有架构。本方案用于在不改变原有表结构的前提下，进行「可记录历史」的功能的扩充。本实施例中，文件是如同历史快照，其名中时间字段的作用就是，对本文件内信息的生效时刻予以记录。失效时刻通过相同前缀与序号的更晚时间的文件的文件名中时间字段表示，不需要记录在文件本身。如图2所示，为依据上述实施例的一种文件命名格式。文件名格式：<统一的前缀>_<表的序号>_<统一的后缀>_<表示时间的字段>_<文件哈希>。其中，序号和时间的表示是必选项，一个文件就相当于数据库中的一张表，时间是新变更生成的时间，此处精确到了毫秒。作为一种优选方式，时间字段通过UNIX系统的AWK工具和UNIX系统的日期格式转换工具获得毫秒时间戳后生成。通过AWK(UNIX工具)和系统自带的日期格式转换工具可以转换成标准的毫秒时间戳，在转换后去除所有比指定时间更大的，并将其作为排序依据，便可取得距离所选指定日期最近的前一次更新，其中内容便是从更新日期到当前时刻都正确生效的元数据信息。作为一种优选方式，所述内容编排步骤，按照内容编排模式规定的分隔符在元数据文件的每行中区分字段，其中，元数据文件中每行的第一个字段是元数据的局部数字ID，第二个字段是元数据的唯一标识。以下为本实施例给出的示例文件名：yishusheng_mingdan_c本文档来自技高网...

【技术保护点】
1.一种数据操作方法，其特征在于，包括：/n文件编排步骤，用于按照预设的文件命名格式生成用于存储数据的元数据文件；/n内容编排步骤，将待存储内容按照预设的内容编排模式编排后按行存储于所述元数据文件中；/n数据读取步骤，按照文件命名格式和内容编排模式读取待更新的元数据文件中的目标部分。/n

【技术特征摘要】
1.一种数据操作方法，其特征在于，包括：
文件编排步骤，用于按照预设的文件命名格式生成用于存储数据的元数据文件；
内容编排步骤，将待存储内容按照预设的内容编排模式编排后按行存储于所述元数据文件中；
数据读取步骤，按照文件命名格式和内容编排模式读取待更新的元数据文件中的目标部分。


2.根据权利要求1所述的一种数据操作方法，其特征在于，所述文件命名格式包括：
时间字段，用于记录文件内信息的生效时刻；
前缀和/或后缀，用于作为文件筛选的依据；
序号，根据用户输入信息转换得到，用于表示文件所存储信息的属性；
文件哈希值，用于验证文件所存数据的可靠性。


3.根据权利要求2所述的一种数据操作方法，其特征在于，所述，所述时间字段通过UNIX系统的AWK工具和UNIX系统的日期格式转换工具获得毫秒时间戳后生成。


4.根据权利要求2所述的一种数据操作方法，其特征在于，所述内容编排步骤，按照内容编排模式规定的分隔符在元数据文件的每行中区分字段，其中，元数据文件中每行的第一个字段是元数据的局部数字ID，第二个字段是元数据的唯一标识。


5.根据权利要求4所述的一种数据操作方法，其特征在于...

【专利技术属性】
技术研发人员：吴正中，王一涵，汪永刚，孙静，
申请(专利权)人：北京城建智控科技有限公司，
类型：发明
国别省市：北京;11