一种面向智慧水务复杂时间尺度数据融合的边缘计算方法技术

本申请提供一种面向智慧水务复杂时间尺度数据融合的边缘计算方法，该方法为：通过传感数据采集数据，获得数据存储源；数据存储源通过边缘计算处理框架对其进行抽取、融合、转换和加载，获得最终数据。该方案以水务系统应用终端进行边缘计算，边缘节点自主集成各水厂业务数据信息进行分析处理，结合业务需要与智慧水务大数据云中心互联，以智慧水务大数据云中心作为云端大数据平台，为水厂管理中的各角色使用者提供大数据分析计算和大数据可视化服务。服务。服务。

【技术实现步骤摘要】
一种面向智慧水务复杂时间尺度数据融合的边缘计算方法


[0001]本专利技术属于智能水务
，特别涉及一种面向智慧水务复杂时间尺度数据融合的边缘计算方法。

技术介绍

[0002]水厂作为城市水源处理的核心运转机构，与人们的生活质量息息相关，水源的高效优质的处理，能够有效地提高人们的生活质量，然而水厂在建设与日常运营中，面临着诸多挑战。由于监测数据来自于不同的工业传感器、自动控制系统、智能终端设备、电子标签，相应设备也运行于不同类型的操作系统或者微控制器上，使用不同的数据传输协议，因此数据没有起到有效的联动，各个设备的配置不尽相同，采集指标数据的真实性也难以保证。
[0003]在国内市场上也陆续出现一些类似的智慧水厂系统，他们在水厂行业不断落地和成熟稳定发展，比如国内有三维力控公司，他们研发的PSpace系统，能完成主流控制系统实时采集数据并存储及压缩，确保实时及历史数据能查询、汇总分析，并显示相应图表，实现工业领域的应用。还有北京亚控科技研发的KingHistorian，基于工业组态软件自动化技术基础上，实现数据采集存储，保证采集的数据能实时、历史地存储，以用于后期数据的二次使用。与国内发展的情势对比，在国外，智慧水厂的发展一直是一个摸索和变革的过程，国外智慧水厂技术的重点是更加重视水厂企业自身实时数据采集、数据处理和应用[1
‑
6]。他们会投入资金合理优化布局硬件的使用，采取先进的信息技术解决实际的生产经营的问题，加大其他数据的分析研究领域[10]。在智慧水厂的研究中，他们研究开发的智慧水厂相关系统给水厂公司带来了很大的好处。
[0004]目前国内引入应用比较多的国外水厂产品有来自英国的Infoworks水力模型，丹麦的DHI模型以及来自美国的KYPIPE、Bently水力分析模型。这些分析模型背后都依托的水厂数据算法分析，通过部署大量的压力和流量的物联传感设备对生产运行的数据进行采集，建立中心数据库。此外还通过与高校联合的研究项目实现数据分析算法的应用，通过数据采集共享整合、构建智慧水厂管理平台、采用先进的智能算法，最终实现企业生产管理从一个依据经验处理的管理模式变成一个高效智能的现代化自动管理模式。
[0005]通过以上研究和分析国内外智慧水厂的发展现状[11
‑
15]，我们得到一个结论:国内外的智慧水厂系统发展大多数是基于工业自动化的数据采集基础实现数据采集和数据分析应用。国外的数据模型软件是基于传感器采集的数据进行建立数据收集算法模拟，这些软件除了本身价钱昂贵之外，对水厂的数据运营还是相当薄弱，从国内外纵观智慧水厂的发展研究得出，智慧水厂发展目前暂时没有一个以边缘计算为主要数据处理手段的软件系统标准，如何以大数据为基础结合边缘计算提高水厂复杂时间尺度下的数据融合应用、提高工作效率降低人工成本、升级信息化建设水平，以数据为驱动的水厂运营是本专利技术的主要价值导向。
[0006]随着时间的推移，大数据正在滚雪球，全球的云平台和其他类似的服务，正承受着大量复杂数据处理请求的压力。数据服务中心存在于远离其连接的数据密集型应用程序的
地方，需要费力地完成它们的请求。以本专利技术相关的水厂生产业务数据为例，PLC等智控设备的数据采集频率达到毫秒级别，每时每刻产生海量的业务数据，与之对接的业务管理系统如智慧水务管理平台、综合指标监控系统等在有效数据的使用上，存在获取难、分析难、响应速度慢等问题。
[0007]边缘计算的出现一定程度上缓解了大数据带来的负荷，边缘计算发挥着举足轻重的作用，受到了那些注重大数据应用的零售、安防监控、交通运输、医疗制造、智慧水务等各行业客户的青睐。因此，针对上述不足，本专利技术提出了一种面向智慧水务复杂时间尺度数据融合的边缘计算系统和方法，将大数据云平台和边缘计算结合起来，通过边缘计算对大量智控设备采集上来的水务生数据、脏数据，根据不通业务需求，尤其是不同时间尺度的需求，进行数据清洗和分类存储，大大提升水务系统应用终端在数据应用方面的响应速度和安全性。
[0008]目前智慧水厂的数据应用依然缺乏一个多时间维度的统一数据规范化管理。从软硬件设备的角度来看，各种GIS、SCADA、MIS、DMA、建模公司都有自己的一套标准，大致分为数据标准GIS、SCADA等各类数据，不同厂家、不同系统，软硬件难兼容。从数据类型分析，又包含结构化、非结构化、半结构化数据，文本、视频、图像等。尤其在不同生产业务之间，所采集获取的数据时间尺度也不尽相同，秒级、分秒级、毫秒级单位数据参差不齐，集中存储在采集设备的数据仓库中。上层平台面对这些类型繁多、时间尺度复杂的数据如果直接应用，不仅导致其数据价值难以深度显现，而且严重影响数据传输和有效数据加载能力。

技术实现思路

[0009]本说明书实施例的目的是提供一种面向智慧水务复杂时间尺度数据融合的边缘计算方法。
[0010]为解决上述技术问题，本申请实施例通过以下方式实现的：
[0011]本申请提供一种面向智慧水务复杂时间尺度数据融合的边缘计算方法，该方法包括：
[0012]通过传感数据采集数据，获得数据存储源；
[0013]所述数据存储源通过边缘计算处理框架对其进行抽取、融合、转换和加载，获得最终数据。
[0014]在其中一个实施例中，获得数据存储源之后，所述方法还包括：确定该数据存储源是否需要上传云平台。
[0015]在其中一个实施例中，边缘计算处理框架用于对复杂数据进行分析和预处理的计算框架，由适用于边缘计算的Kettle数据处理工具和提供标准化的数据分片、分布式事务及数据库治理功能的分布式数据库中间件ShardingSphere组成。
[0016]在其中一个实施例中，通过边缘计算处理框架对其进行抽取，具体为：部署数据ETL抽取工具，配置数据库连接，其中输入表的核心对象连接配置，输出表为数据库分表，对所述数据库分表进行数据ETL抽取转换加载，获得复杂时间尺度下的数据。
[0017]在其中一个实施例中，通过边缘计算处理框架对其进行融合，具体为：对所述复杂时间尺度下的数据根据水厂数据主题域进行指标一级划分，包括：污水、蓄水、风机、加药、设备、实验室、人员；在各主题域下，按照维度进行主题分类，分为时间类、水质元素类、净水
操作类、设备参数类、人员信息类、实验数据类，并且对其进行维度编码融合，获得分类融合数据。
[0018]在其中一个实施例中，分类融合数据的复杂时间尺度数据编码为ZZ_WD_XXXX，ZZ表示组织维度主题，WD维度唯一标识，维度首次下发其编码号采取连续编码的形式。
[0019]在其中一个实施例中，通过边缘计算处理框架对其进行转换和加载，具体为：明确对复杂时间尺度下的数据分类融合规则后，即可按照相应的维度字段，对数据进行分类转换操作，针对某单一时间尺度时，即某一水务业务的特定采集设备上传的规律性时间尺度的数据进行数据转换，结合ETL工具可通过自定义SQL语句，从数据源采集平台层抽取；或者，针对多个维度或合并两个及两个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述方法包括：通过传感数据采集数据，获得数据存储源；所述数据存储源通过边缘计算处理框架对其进行抽取、融合、转换和加载，获得最终数据。2.根据权利要求1所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述获得数据存储源之后，所述方法还包括：确定该数据存储源是否需要上传云平台。3.根据权利要求1或2所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述边缘计算处理框架用于对复杂数据进行分析和预处理的计算框架，由适用于边缘计算的Kettle数据处理工具和提供标准化的数据分片、分布式事务及数据库治理功能的分布式数据库中间件ShardingSphere组成。4.根据权利要求3所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述通过边缘计算处理框架对其进行抽取，具体为：部署数据ETL抽取工具，配置数据库连接，其中输入表的核心对象连接配置，输出表为数据库分表，对所述数据库分表进行数据ETL抽取转换加载，获得复杂时间尺度下的数据。5.根据权利要求4所述的面向智慧水务复杂时间尺度数据融合的边缘计算方法，其特征在于，所述通过边缘计算处理框架对其进行融合，具体为：对所述复杂时间尺度下的数据根据水厂数据主题域进行指标一级划分，包括：污水、蓄水、风机、加药、设备、实验室、人员；在各主题域下，按照维度进行主题分类，分为时间类、水质元素类、净水操作类、设备参数类、...

【专利技术属性】
技术研发人员：舒昝，范小朋，
申请(专利权)人：杭州中科先进技术发展有限公司，
类型：发明
国别省市：