【技术实现步骤摘要】
一种配电物联网数据处理方法以及装置
本专利技术涉及数据处理
，尤其涉及一种配电物联网数据处理方法以及装置。
技术介绍
随着智能电网的不断发展，数据处理规模日益海量，已经出现了数千万乃至上亿数据采集规模的应用需求。海量信息存储的方法很多，Oracle和EMC提供了存储装置及硬件，然而这些数据库都是基于关系和对象模型的，对复杂数据存储有较好的表现，而有关电网的配电物联网数据类型单一，是按时间分布的单列数据，传统的数据库对这种单列类型数据的存储效率低下。因此，如何高效地对海量配电物联网数据进行存储是亟待解决的技术问题。
技术实现思路
本专利技术所要解决的技术问题在于，提出一种配电物联网数据处理方法及装置，可以很容易实现对海量配电物联网数据进行存储。作为本专利技术的一方面，提供一种配电物联网数据的处理方法，其包括以下步骤：步骤S10，对获取的第一配电物联网数据进行数据清洗，得到第二配电物联网数据；步骤S20，将所述第二配电物联网数据按照数据来源进行划分，得到各配电物联网数据组...
【技术保护点】
1.一种配电物联网数据的处理方法，其特征在于，所述配电物联网数据存取方法包括以下步骤：/n步骤S10，对获取的第一配电物联网数据进行数据清洗，得到第二配电物联网数据；/n步骤S20，将所述第二配电物联网数据按照数据来源进行划分，得到各配电物联网数据组；/n步骤S30，将每个配电物联网数据组中时间戳和时间精度均相同的配电物联网数据聚合为文件切片；/n步骤S40，以所述时间戳和所述时间精度为HBase行键，将所述文件切片存储于所属配电物联网数据组对应的HBase数据库。/n
【技术特征摘要】
1.一种配电物联网数据的处理方法，其特征在于，所述配电物联网数据存取方法包括以下步骤：
步骤S10，对获取的第一配电物联网数据进行数据清洗，得到第二配电物联网数据；
步骤S20，将所述第二配电物联网数据按照数据来源进行划分，得到各配电物联网数据组；
步骤S30，将每个配电物联网数据组中时间戳和时间精度均相同的配电物联网数据聚合为文件切片；
步骤S40，以所述时间戳和所述时间精度为HBase行键，将所述文件切片存储于所属配电物联网数据组对应的HBase数据库。
2.如权利要求1所述的配电物联网数据处理方法，其特征在于，所述步骤S10具体包括：
根据预设的清洗规则，剔除所述第一配电物联网数据中重复记录的配电物联网数据，并补全所述第一配电物联网数据中缺失的配电物联网数据，得到第二配电物联网数据。
3.如权利要求1所述的配电物联网数据处理方法，其特征在于，所述步骤S20之前还包括如下步骤：
根据所述第二配电物联网数据的类别，确定所述第二配电物联网数据的数据来源。
4.如权利要求1所述的配电物联网数据处理方法，其特征在于，所述步骤S30之后，还包括如下步骤：
步骤S300，获取所述文件切片的大小；
步骤S301，若所述文件切片的大小大于预设字节长度，则对所述文件切片作进一步切分，生成多个子切片，并以时间精度、时间戳和子切片的切片号为行键，将所述多个子切片存储至HBase数据库中；
步骤S302，若所述文件切片的大小小于或等于预设字节长度，则将所述文件切片对应的切片号设置为零，以时间精度、时间戳和所述文件切片的切片号作为行键，将所述文件切片存储至HBase数据库中。
5.如权利要求4所述的配电物联网数据处理方法，其特征在于，所述步骤S301中，对所述文件切片作进一步切分，生成多个子切片步骤具体包括：
根据所述预设字节长度确定将所述文件切片进行切分的子切片个数N；
按照配电物联网数据的测量对象标识进行哈希计算，对哈希计算的结果取N的余数后加一，获得配电物联网数据对应的切片号；
将切片号相同的配电物联网数据合并到一个子切片中，生成N个子切片。
6.如权利要求1至5任一项所述的配电物联网数据处理方法，其特征在于，所述步骤S40之后，还包括如下步骤：
步骤...
【专利技术属性】
技术研发人员：李颖杰，黄勇光，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。