数据处理系统中的数据分级抽样方法技术方案

公开了数据处理系统中的数据分级抽样方法，包括：对元数据进行分级抽样预处理，将每个抽样间隔内元数据的最值存入下一级数据文件中；根据数据查询请求确定查询时间段；基于查询时间段确定需要加载的数据文件的初始级别数x

Data classification sampling method in data processing system

The invention discloses a data classification sampling method, data processing system includes: the metadata classification sampling pretreatment, each sampling interval of the metadata values are stored in the next level in the data file; according to the data query to determine the query time request; the initial level number x to load the data file is determined based on the query time

【技术实现步骤摘要】
数据处理系统中的数据分级抽样方法
本专利技术涉及数据处理
，尤其涉及数据处理系统中的数据分级抽样方法。
技术介绍
以下对本专利技术的相关技术背景进行说明，但这些说明并不一定构成本专利技术的现有技术。新一代导弹武器向信息化、智能化发展，产生的试验数据大规模的增加，对数据的解析、存储和查询都提出了更高的要求。对于导弹武器长时间加电产生的海量数据，需要有专门的数据处理系统和专网负责数据的处理与传输。以往的武器研制试验通常采用云平台或者国外数据处理系统对实验数据进行处理。但是云平台基于web的应用具有潜在的安全风险，在少数情况下会产生数据丢失，这对于武器研制是致命的缺点。国外的数据处理系统虽然性能稳定，处理速度快，但是国外数据处理服务器等基础设备和软件存在各种漏洞和后门。为了保障导弹武器研制的安全性，亟需使用基于全国产化的数据处理平台。目前国产化软硬件相比于国外同类产品，性能还有很大的差距。例如，由于数据库无法承受大量数据出库的压力，所以无法实现对较长时间段内数据的实时查询加载，目前型号中已有的数据处理系统只能一次加载一天的试验数据，导致国产化平台在处理海量数据时难以满足导弹武器的性能要求。
技术实现思路
本专利技术的目的在于提出数据处理系统中的数据分级抽样方法，能够减少数据出库压力，实现实时查询任意时间段的数据，提高数据处理系统的数据查询性能。根据本专利技术的数据处理系统中的数据分级抽样方法，包括如下步骤：S1、根据接收的数据查询请求确定查询时间段；S2、基于查询时间段，按照公式1确定需要加载的数据文件的初始级别数x0：式中，t为查询时间段；T为采样间隔，即相邻两个抽样间隔之间的时间差；m为显示界面的最佳显示数据个数；x0为需要加载的数据文件的初始级别数；z为抽样间隔，即每个采样间隔内元数据的数量；S3、从数据系统中查询与x0数据文件的元数据并显示；其中，每个元数据按照如下方式进行预处理并存入数据系统：S01、按照时间顺序将发送到数据处理系统的原始数据经过数据解析后，按照预设的数据存储格式存储在数据处理系统的0级数据文件中；S02、针对i级数据文件，根据预设的抽样间隔抽取i级数据文件中的元数据，按照时间顺序将每个抽样间隔内的元数据的最大值和最小值存入数据处理系统的i+1级数据文件中；i为不小于0的整数。优选地，步骤S02具体为：针对i级数据文件，根据时间顺序将存入i级数据文件的每z个元数据作为一组，按照时间顺序将每组元数据的最大值和最小值存入数据处理系统的i+1级数据文件中。优选地，步骤S3中采用数据列表的形式显示数据文件的元数据；或者，步骤S3中根据查询到的数据文件的元数据生成数据曲线并显示。优选地，步骤S3之后进一步包括：接收到用户的放大显示请求时，根据放大显示请求确定放大显示后显示界面中元数据的个数a；若a＝0，则查询x+Δx1级数据文件的元数据并显示；其中，Δx1为跳转级数。优选地，Δx1＝-2。优选地，步骤S3之后进一步包括：接收到用户的放大显示请求时，根据放大显示请求确定放大显示后显示界面中元数据的个数a；若a＞0，根据公式2确定放大显示后数据文件的级别变量Δx2：查询x+Δx2级数据文件的元数据并显示。优选地，步骤S3之后进一步包括：接收到用户的缩小显示请求时，根据缩小显示请求确定缩小显示后显示界面中元数据的个数a；根据公式3确定缩小显示后数据文件的级别变量Δx3：查询x+Δx3级数据文件的元数据并显示。优选地，步骤S02中，当i+1的取值达到预设的级别数阈值、或者当i+1级数据文件中元数据的个数为2时，结束抽样。优选地，每级数据文件按照列存储的方式存储在数据系统中。本专利技术在数据分级抽样之前首先对存入数据处理系统中的原始数据进行预处理，通过对原始数据进行抽样并分级存储，能够减少查询的数据量，进而降低数据出库压力；在接收到数据查询请求后，首先根据查询时间段确定需要加载的数据文件的初始级别数，通过确定出的初始级别数查询对应的数据文件并显示，能够大大降低数据出库压力，从而实现任意时间段内数据曲线的加载。此外，本专利技术还可以实现对数据曲线的动态缩放，使整个数据处理系统可以实现数据的快速查询与数据曲线的局部缩放查看。附图说明通过以下参照附图而提供的具体实施方式部分，本专利技术的特征和优点将变得更加容易理解，在附图中：图1是本专利技术数据处理系统中的数据分级抽样方法的流程图；图2是本专利技术数据处理系统中的数据预处理流程图。具体实施方式下面参照附图对本专利技术的示例性实施方式进行详细描述。对示例性实施方式的描述仅仅是出于示范目的，而绝不是对本专利技术及其应用或用法的限制。本专利技术的数据分级抽样方法，对于数据系统接收到的原始数据，在数据存入系统之前首先对原始数据进行预处理，图2示出了本专利技术优选实施例中的数据预处理流程图。步骤S01、按照时间顺序将发送到数据处理系统的原始数据存储在数据处理系统的0级数据文件中；步骤S02、针对i级数据文件，根据预设的抽样间隔抽取i级数据文件中的元数据，按照时间顺序将每个抽样间隔内的元数据的最大值和最小值存入数据处理系统的i+1级数据文件中；i为不小于0的整数。在一些实施例中，抽样间隔是预设的时间间隔；步骤S12具体为：针对i级数据文件，将每个时间间隔内存入i级数据文件的元数据作为一组，按照时间顺序将每组元始数据的最大值和最小值存入数据处理系统的i+1级数据文件中。在另一些实施例中，抽样间隔为预设的元数据个数z；步骤S12具体为：针对i级数据文件，根据时间顺序将存入i级数据文件的每z个元数据作为一组，按照时间顺序将每组元始数据的最大值和最小值存入数据处理系统的i+1级数据文件中；其中，z为正整数。例如，若抽样间隔的元数据个数为8，在进行分级抽取时，针对每一级数据文件，分别从该数据文件的第1组8个元数据中抽取一个最大值和最小值、第2组8个元数据中抽取一个最大值和最小值、…、第k组8个元数据中抽取一个最大值和最小值，将抽取的最大值和最小值按照时间顺序存入下一级数据文件中，然后再对下一级数据文件进行分级抽样，直至抽样结束。相邻两个抽样间隔之间的时间差称为采样间隔，假设以元数据的数量度量抽样间隔，令抽样间隔为8，第一个抽样间隔包括第1-8个元数据，第二个抽样间隔包括第9-16个元数据，则第1个元数据和第9个元数据之间的时间差为采样间隔。采样间隔、抽样间隔和数据文件的级别数可以根据原始数据中元数据的数量和实际统计需要进行确定。当原始数据的元数据数量一定时，可以预先设置数据文件的级别数阈值，步骤S02中当i+1的取值达到预设的级别数阈值时，结束抽样。对于连续发送的原始数据，由于原始数据的元数据数量不确定，难以预先设置数据级别的级别数阈值，因此可以根据数据文件中的元数据数量判定是否结束抽样，例如当i+1级数据文件中元数据的个数为2时，结束抽样。数据文件的级别数过少，则最高级别中的数据文件中的元数据数量过多，不利于降低数据出库压力。数据文件的级别数越多，越有利于分级抽样；但是若级别数过多，则数据文件数过多，会增大数据处理系统的数据入库压力。此外，当数据文件中的元数据数量较少时，例如当元数据数量为2时，继续从该数据文件中抽取最大值和最小值存入下一级数据文件时，该下一级数据文件和当前数据文件的内容相同，此时若不结束抽样，每一本文档来自技高网...

【技术保护点】
数据处理系统中的数据分级抽样方法，其特征在于包括如下步骤：S1、根据接收的数据查询请求确定查询时间段；S2、基于所述查询时间段，按照公式1确定需要加载的数据文件的初始级别数x

【技术特征摘要】
1.数据处理系统中的数据分级抽样方法，其特征在于包括如下步骤：S1、根据接收的数据查询请求确定查询时间段；S2、基于所述查询时间段，按照公式1确定需要加载的数据文件的初始级别数x0：式中，t为查询时间段；T为采样间隔，即相邻两个抽样间隔之间的时间差；m为显示界面的最佳显示数据个数；x0为需要加载的数据文件的初始级别数；z为抽样间隔，即每个采样间隔内元数据的数量；S3、从数据系统中查询x0级数据文件的元数据并显示；其中，每个元数据按照如下方式进行分级抽样预处理：S01、按照时间顺序将发送到数据处理系统的原始数据经过数据解析后，按照预设的数据存储格式存储在数据处理系统的0级数据文件中；S02、针对i级数据文件，根据预设的抽样间隔抽取i级数据文件中的元数据，按照时间顺序将每个抽样间隔内的元数据的最大值和最小值存入数据处理系统的i+1级数据文件中；i为不小于0的整数。2.如权利要求1所述的数据分级抽样方法，其中，步骤S02具体为：针对i级数据文件，根据时间顺序将存入i级数据文件的每z个元数据作为一组，按照时间顺序将每组元数据的最大值和最小值存入数据处理系统的i+1级数据文件中。3.如权利要求1所述的数据分级抽样方法，其中，步骤S3中根据查询到的数据文件的元数据生成数据曲线并显示。4.如权利要求1...

【专利技术属性】
技术研发人员：张洁，刘孟语，庞贺，上官子粮，李娜，邢志岩，邱枫，江源博，
申请(专利权)人：北京航天自动控制研究所，
类型：发明
国别省市：北京,11