一种数据文件的处理方法及系统技术方案

本发明专利技术公开了一种数据文件的处理方法及系统，其处理方法包括以下步骤：A、创建文件夹，并将需要存储的数据文件存储于文件夹中；B、获取磁盘上的数据文件，其中数据文件以共享内存的数据结构进行存放；C、与本地数据库进行连接并解压得到需要进行处理的数据文件；D、将原始数据文件进行格式转换并采用第一参数进行筛选。本发明专利技术将磁盘上明文数据结构的数据文件以共享内存的数据结构进行存放，并将其加载到共享内存中，提高了加载效率，且其支持一处加载、多处使用，大大降低了额外的内存占用，同时其可对数据进行自动提取，并对测试结果进行自动判定并自动输出测试报告，可靠性高，为人们的使用带来极大的便利。

【技术实现步骤摘要】
一种数据文件的处理方法及系统
本专利技术涉及数据文件处理
，具体为一种数据文件的处理方法及系统。
技术介绍
数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理，数据经过解释并赋予一定的意义之后，便成为信息，数据处理是对数据的采集、存储、检索、加工、变换和传输，数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据，数据处理是系统工程和自动控制的基本环节，数据处理贯穿于社会生产和社会生活的各个领域，数据处理技术的发展及其应用的广度和深度，极大地影响着人类社会发展的进程，现有技术内存数据只能在单个进程中使用，如果多个进程需要使用相同数据，则需要分别加载、分别更新，从而导致额外的内存占用，且不同人员人工输入测试结果，存在测试结果不统一问题，为人们的使用带来不便。
技术实现思路
本专利技术的目的在于提供一种数据文件的处理方法及系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种数据文件的处理方法及系统，其处理方法包括以下步骤：A、创建文件夹，并将需要存储的数据文件存储于文件夹中；B、获取磁盘上的数据文件，其中数据文件以共享内存的数据结构进行存放；C、与本地数据库进行连接并解压得到需要进行处理的数据文件；D、将原始数据文件进行格式转换并采用第一参数进行筛选，并将筛选出的数据作为直接测试数据；E、将直接测试数据采用第二参数转换为间接测试数据，并将直接测试数据和间接测试数据分别与对应的标准评测数据进行对比；F、采用内存映射的方式将数据文件加载到共享内存中，并对共享内存进行初始化；G、基于该加载过程记录数据更新信息，数据更新信息包括数据文件的文件名以及第一时间信息；H、根据数据更新信息对数据文件进行读取处理。优选的，所述步骤A中包括：创建文件夹为可供多用户访问的共享文件夹，并将需存储的数据文件存储于文件夹中。优选的，所述在进行步骤B之前，还包括：以共享内侧的数据结构将数据文件保存在磁盘中，且共享内侧的数据结构包括数组、散列表、双数组和单词查找树。优选的，所述步骤C中包括：获取解压后的数据文件所对应的控制文件；并在获取失败的情况下，根据数据库预先规定的控制文件的内容和格式，为解压后的数据文件生成其所对应的控制文件。优选的，所述第一参数包括标准高电平值、标准低电平值、频率、占空比、上升斜率、最大值和最小值，第二参数包括上冲、下冲、正冲和负冲，且第二参数由第一参数获得。优选的，所述在步骤F之后，还包括：①、对磁盘上的数据文件进行更新检测；②、当确定出存在有需要更新的数据文件时，将需要更新的数据文件复制到更新目录下；③、将更新目录下的数据文件加载到共享内存中，并将共享内存进行初始化；④、将数据目录下的数据文件移动到备份目录；⑤、将更新目录下的数据文件移动到数据目录下，其中，更新目录、数据目录以及备份目录均在同一文件系统中；⑥、删除数据文件更新前的数据文件映射。优选的，所述第一时间信息为加载过程加载时的时间。优选的，所述步骤H之后，还包括：①、若读取的数据更新信息中所指示的第一时间信息中的时间晚于第二时间信息中的时间，则确定数据文件有更新；②、将数据目录下已更新的数据文件映射到共享内存并进行等待；③、当等待时间超过预设时间阈值时，删除数据文件更新钱的数据文件映射。与现有技术相比，本专利技术的有益效果如下：本专利技术将磁盘上明文数据结构的数据文件以共享内存的数据结构进行存放，并将其加载到共享内存中，提高了加载效率，且其支持一处加载、多处使用，大大降低了额外的内存占用，同时其可对数据进行自动提取，并对测试结果进行自动判定并自动输出测试报告，可靠性高，为人们的使用带来极大的便利。附图说明图1为本专利技术流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，一种数据文件的处理方法及系统，其处理方法包括以下步骤：A、创建文件夹，并将需要存储的数据文件存储于文件夹中；B、获取磁盘上的数据文件，其中数据文件以共享内存的数据结构进行存放；C、与本地数据库进行连接并解压得到需要进行处理的数据文件；D、将原始数据文件进行格式转换并采用第一参数进行筛选，并将筛选出的数据作为直接测试数据；E、将直接测试数据采用第二参数转换为间接测试数据，并将直接测试数据和间接测试数据分别与对应的标准评测数据进行对比；F、采用内存映射的方式将数据文件加载到共享内存中，并对共享内存进行初始化；G、基于该加载过程记录数据更新信息，数据更新信息包括数据文件的文件名以及第一时间信息；H、根据数据更新信息对数据文件进行读取处理。步骤A中包括：创建文件夹为可供多用户访问的共享文件夹，并将需存储的数据文件存储于文件夹中。在进行步骤B之前，还包括：以共享内侧的数据结构将数据文件保存在磁盘中，且共享内侧的数据结构包括数组、散列表、双数组和单词查找树。步骤C中包括：获取解压后的数据文件所对应的控制文件；并在获取失败的情况下，根据数据库预先规定的控制文件的内容和格式，为解压后的数据文件生成其所对应的控制文件。第一参数包括标准高电平值、标准低电平值、频率、占空比、上升斜率、最大值和最小值，第二参数包括上冲、下冲、正冲和负冲，且第二参数由第一参数获得。在步骤F之后，还包括：①、对磁盘上的数据文件进行更新检测；②、当确定出存在有需要更新的数据文件时，将需要更新的数据文件复制到更新目录下；③、将更新目录下的数据文件加载到共享内存中，并将共享内存进行初始化；④、将数据目录下的数据文件移动到备份目录；⑤、将更新目录下的数据文件移动到数据目录下，其中，更新目录、数据目录以及备份目录均在同一文件系统中；⑥、删除数据文件更新前的数据文件映射。第一时间信息为加载过程加载时的时间。步骤H之后，还包括：①、若读取的数据更新信息中所指示的第一时间信息中的时间晚于第二时间信息中的时间，则确定数据文件有更新；②、将数据目录下已更新的数据文件映射到共享内存并进行等待；③、当等待时间超过预设时间阈值时，删除数据文件更新钱的数据文件映射。使用时，将磁盘上明文数据结构的数据文件以共享内存的数据结构进行存放，并将其加载到共享内存中，提高了加载效率，且其支持一处加载、多处使用，大大降低了额外的内存占用，同时其可对数据进行自动提取，并对测试结果进行自动判定并自动输出测试报告，可靠性高，为人们的使用带来极大的便利。尽管已经示出和描述了本专利技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本专利技术的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本专利技术的范围由所附权利要求及其等同物限定。本文档来自技高网...

【技术保护点】
一种数据文件的处理方法及系统，其特征在于：其处理方法包括以下步骤：A、创建文件夹，并将需要存储的数据文件存储于文件夹中；B、获取磁盘上的数据文件，其中数据文件以共享内存的数据结构进行存放；C、与本地数据库进行连接并解压得到需要进行处理的数据文件；D、将原始数据文件进行格式转换并采用第一参数进行筛选，并将筛选出的数据作为直接测试数据；E、将直接测试数据采用第二参数转换为间接测试数据，并将直接测试数据和间接测试数据分别与对应的标准评测数据进行对比；F、采用内存映射的方式将数据文件加载到共享内存中，并对共享内存进行初始化；G、基于该加载过程记录数据更新信息，数据更新信息包括数据文件的文件名以及第一时间信息；H、根据数据更新信息对数据文件进行读取处理。

【技术特征摘要】
1.一种数据文件的处理方法及系统，其特征在于：其处理方法包括以下步骤：A、创建文件夹，并将需要存储的数据文件存储于文件夹中；B、获取磁盘上的数据文件，其中数据文件以共享内存的数据结构进行存放；C、与本地数据库进行连接并解压得到需要进行处理的数据文件；D、将原始数据文件进行格式转换并采用第一参数进行筛选，并将筛选出的数据作为直接测试数据；E、将直接测试数据采用第二参数转换为间接测试数据，并将直接测试数据和间接测试数据分别与对应的标准评测数据进行对比；F、采用内存映射的方式将数据文件加载到共享内存中，并对共享内存进行初始化；G、基于该加载过程记录数据更新信息，数据更新信息包括数据文件的文件名以及第一时间信息；H、根据数据更新信息对数据文件进行读取处理。2.根据权利要求1所述的一种数据文件的处理方法及系统，其特征在于：所述步骤A中包括：创建文件夹为可供多用户访问的共享文件夹，并将需存储的数据文件存储于文件夹中。3.根据权利要求1所述的一种数据文件的处理方法及系统，其特征在于：所述在进行步骤B之前，还包括：以共享内侧的数据结构将数据文件保存在磁盘中，且共享内侧的数据结构包括数组、散列表、双数组和单词查找树。4.根据权利要求1所述的一种数据文件的处理方法及系统，其特征在于：所述步骤C中包括：获取解压后的数据文件所对应的控制文件；并在获取失败的情况下，根据数据...

【专利技术属性】
技术研发人员：郑国将，张翔，李波，
申请(专利权)人：浙江煮艺文化科技有限公司，
类型：发明
国别省市：浙江,33