一种数据采集方法及系统技术方案

本发明专利技术公开了一种数据采集方法及系统，涉及数据采集技术领域，该方法包括，接收数据采集命令，所述数据采集命令包括多个存储数据的存储装置，获取所述存储装置的身份信息，根据所述存储装置的身份信息和所述第一关联表获取对应的加权数，根据所述存储装置的身份信息和所述第二关联表获取对应的重要程度级别；根据所述加权数和所述重要程度级别确定每个所述存储装置的数据采集顺序，按照所述数据采集顺序对所述存储装置进行数据采集；数据采集完成后，得到原始数据，建立主元模型，通过所述主元模型判断所述原始数据中是否存在异常数据。提高了数据采集的效率和数据检测的效率。提高了数据采集的效率和数据检测的效率。提高了数据采集的效率和数据检测的效率。

【技术实现步骤摘要】
一种数据采集方法及系统


[0001]本申请涉及数据采集
，更具体地，涉及一种数据采集方法及系统。

技术介绍

[0002]数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。数据采集技术广泛应用在各个领域。比如摄像头，麦克风，都是数据采集工具。被采集数据是已被转换为电讯号的各种物理量，如温度、水位、风速、压力等，可以是模拟量，也可以是数字量。采集一般是采样方式，即隔一定时间（称采样周期）对同一点数据重复采集。采集的数据大多是瞬时值，也可是某段时间内的一个特征值。准确的数据测量是数据采集的基础。数据量测方法有接触式和非接触式，检测元件多种多样。不论哪种方法和元件，均以不影响被测对象状态和测量环境为前提，以保证数据的正确性。数据采集含义很广，包括对面状连续物理量的采集。在计算机辅助制图、测图、设计中，对图形或图像数字化过程也可称为数据采集，此时被采集的是几何量（或包括物理量，如灰度）数据。
[0003]现有技术中，存储数据的设备或装置越来越多，为了保证设备或装置的正常运行，需要获取装置上的数据，通过数据来判断其是否正常运行。现在，在对装置进行数据采集时，往往通过人工一个一个单独进行采集，但是其采集时不知按照何种顺序进行采集，导致数据采集杂乱无章，采集效率较低。
[0004]而且，采集完的原始数据，并不清楚其是否存在异常数据，往往需要对大量数据全面的进行检测，从而去确定异常数据。所以，急需能够初步判断原始数据中是否存在异常数据，从而方便后续检测步骤顺利进行。
[0005]因此，如何提高数据采集效率和数据检测的效率，是目前有待解决的技术问题。

技术实现思路

[0006]本专利技术提供一种数据采集方法，用以解决现有技术中数据采集效率低、检测效率低的技术问题。预设有第一关联表和第二关联表，所述第一关联表为每个存储装置的身份信息对应的加权数，第二关联表为每个存储装置的身份信息对应的重要程度级别，所述方法包括：接收数据采集命令，所述数据采集命令包括多个存储数据的存储装置，获取所述存储装置的身份信息，根据所述存储装置的身份信息和所述第一关联表获取对应的加权数，根据所述存储装置的身份信息和所述第二关联表获取对应的重要程度级别；根据所述加权数和所述重要程度级别确定每个所述存储装置的数据采集顺序，按照所述数据采集顺序对所述存储装置进行数据采集；数据采集完成后，得到原始数据，建立主元模型，通过所述主元模型判断所述原始数据中是否存在异常数据，若存在异常数据，在所述原始数据上留下异常标记，并随所述原始数据一起发送，若不存在异常数据，发送原始数据。
[0007]本申请一些实施例中，根据所述加权数和所述重要程度级别确定每个所述存储装
置的数据采集顺序，具体为：预设有第三关联表，所述第三关联表为所述加权数和所述重要程度级别之积对应的数据采集时序；根据所述加权数和所述重要程度级别得到所述加权数和所述重要程度级别之积；根据所述加权数和所述重要程度级别之积与所述第三关联表确定每个所述存储装置的数据采集时序。
[0008]本申请一些实施例中，建立主元模型，具体为：获取所述存储装置的历史数据，从所述历史数据中挑选出正常数据，基于所述正常数据建立主元模型。
[0009]本申请一些实施例中，所述方法还包括：在建立主元模型的过程中，若所述主元个数处于预设的合理区间内，继续建立主元模型；若所述主元个数未处于预设的合理区间内，通过累计方差贡献率法、交叉验证估计法、赤池信息准则法和平均特征值法重新获取主元个数，直至主元个数处于预设的合理区间内。
[0010]本申请一些实施例中，所述方法还包括：所述主元模型包括主元子空间和残差子空间，通过第一统计量表示原始数据在所述主元子空间上投影的变化情况，通过第二统计量表示原始数据在所述残差子空间上的投影的变化情况。
[0011]本申请一些实施例中，通过所述主元模型判断所述原始数据中是否存在异常数据，具体为：通过所述第一统计量与预设的第一阈值比较，得到结果一，通过所述第二统计量与预设的第二阈值比较，得到结果二；根据所述结果一和所述结果二判断所述原始数据中是否存在异常数据。
[0012]本申请一些实施例中，根据所述结果一和所述结果二判断所述原始数据中是否存在异常数据，具体为：所述结果一包括第一统计量超出第一阈值和第一统计量未超过第一阈值，所述结果二包括第二统计量超出第二阈值和第二统计量未超过第二阈值；若第一统计量超出第一阈值且第二统计量超出第二阈值，所述原始数据中存在异常数据；若第一统计量未超过第一阈值且第二统计量超出第二阈值，所述原始数据中存在异常数据；若第一统计量超出第一阈值且第二统计量未超过第二阈值，不确定原始数据中是否存在异常数据；若第一统计量未超过第一阈值且第二统计量未超过第二阈值，所述原始数据中不存在异常数据。
[0013]本申请一些实施例中，所述方法还包括：若不确定原始数据中是否存在异常数据，则采用小波变换方法检测所述原始数据，判断是否存在异常数据。
[0014]本申请一些实施例中，所述方法还包括：若同时需要采集数据的所述存储装置数量超过预设的数量，则分批次或分时间段对同时需要采集数据的所述存储装置进行数据采集。
[0015]对应的，本申请还提供了一种数据采集系统，预设有第一关联表和第二关联表，所述第一关联表为每个存储装置的身份信息对应的加权数，第二关联表为每个存储装置的身份信息对应的重要程度级别，所述系统包括：获取模块，用于接收数据采集命令，所述数据采集命令包括多个存储数据的存储装置，获取所述存储装置的身份信息，根据所述存储装置的身份信息和所述第一关联表获取对应的加权数，根据所述存储装置的身份信息和所述第二关联表获取对应的重要程度级别；确定模块，用于根据所述加权数和所述重要程度级别确定每个所述存储装置的数据采集顺序，按照所述数据采集顺序对所述存储装置进行数据采集；判断模块，用于数据采集完成后，得到原始数据，建立主元模型，通过所述主元模型判断所述原始数据中是否存在异常数据，若存在异常数据，在所述原始数据上留下异常标记，并随所述原始数据一起发送，若不存在异常数据，发送原始数据。
[0016]通过应用以上技术方案，接收数据采集命令，所述数据采集命令包括多个存储数据的存储装置，获取所述存储装置的身份信息，根据所述存储装置的身份信息和所述第一关联表获取对应的加权数，根据所述存储装置的身份信息和所述第二关联表获取对应的重要程度级别；根据所述加权数和所述重要程度级别确定每个所述存储装置的数据采集顺序，按照所述数据采集顺序对所述存储装置进行数据采集；数据采集完成后，+得到原始数据，建立主元模型，通过所述主元模型判断所述原始数据中是否存在异常数据，若存在异常数据，在所述原始数据上留下异常标记，并随所述原始数据一起发送，若不存在异常数据，发送原始数据。本申请通过不同的存储装置的身份信息，确定其对应的权重和重要程度等级，得到每个存储装置的采集顺序，提高了数据采集效率。获得原始数据后，对其进行异常数据检测，从而方便后续数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，预设有第一关联表和第二关联表，所述第一关联表为每个存储装置的身份信息对应的加权数，第二关联表为每个存储装置的身份信息对应的重要程度级别，所述方法包括：接收数据采集命令，所述数据采集命令包括多个存储数据的存储装置，获取所述存储装置的身份信息，根据所述存储装置的身份信息和所述第一关联表获取对应的加权数，根据所述存储装置的身份信息和所述第二关联表获取对应的重要程度级别；根据所述加权数和所述重要程度级别确定每个所述存储装置的数据采集顺序，按照所述数据采集顺序对所述存储装置进行数据采集；数据采集完成后，得到原始数据，建立主元模型，通过所述主元模型判断所述原始数据中是否存在异常数据，若存在异常数据，在所述原始数据上留下异常标记，并随所述原始数据一起发送，若不存在异常数据，发送原始数据。2.如权利要求1所述的方法，其特征在于，根据所述加权数和所述重要程度级别确定每个所述存储装置的数据采集顺序，具体为：预设有第三关联表，所述第三关联表为所述加权数和所述重要程度级别之积对应的数据采集时序；根据所述加权数和所述重要程度级别得到所述加权数和所述重要程度级别之积；根据所述加权数和所述重要程度级别之积与所述第三关联表确定每个所述存储装置的数据采集时序。3.如权利要求1所述的方法，其特征在于，建立主元模型，具体为：获取所述存储装置的历史数据，从所述历史数据中挑选出正常数据，基于所述正常数据建立主元模型。4.如权利要求3所述的方法，其特征在于，所述方法还包括：在建立主元模型的过程中，若所述主元个数处于预设的合理区间内，继续建立主元模型；若所述主元个数未处于预设的合理区间内，通过累计方差贡献率法、交叉验证估计法、赤池信息准则法和平均特征值法重新获取主元个数，直至主元个数处于预设的合理区间内。5.如权利要求4所述的方法，其特征在于，所述方法还包括：所述主元模型包括主元子空间和残差子空间，通过第一统计量表示原始数据在所述主元子空间上投影的变化情况，通过第二统计量表示原始数据在所述残差子空间上的投影的变化情况。6.如权利要求5所述的方法，其特征在于，通过所述主元模型判断所述原始数据中是否存在异常数据，具体为：通...

【专利技术属性】
技术研发人员：李栋梁，孙崇武，刘晓雨，祝家鑫，闫俊伊，谭浩，马识途，
申请(专利权)人：华能信息技术有限公司，
类型：发明
国别省市：