一种基于缓冲池的水务设备数据采集方法及装置制造方法及图纸

本发明专利技术提供一种基于缓冲池的水务设备数据采集方法，包括水务智能终端设备向数据采集服务接口发送设备数据请求消息，数据采集服务接口将设备数据请求消息放入分布式缓冲池；分布式缓冲池对设备数据请求消息进行排队，并通过数据采集服务接口返回应答消息给水务智能终端设备；同时缓冲池数据监控服务获取队列中的设备数据请求消息，并从设备数据请求消息中解析出设备数据；将解析出的设备数据发送给数据持久化存储服务进行永久保存，并将设备数据的存储状态返回并记录到缓冲池数据监控服务中。本发明专利技术优点：能够有效降低响应时间、提高响应效率和并发能力，可很好的支撑城市级大规模水务智能终端设备的并发数据请求。

【技术实现步骤摘要】
一种基于缓冲池的水务设备数据采集方法及装置
本专利技术涉及水务数据处理领域，特别涉及一种基于缓冲池的水务设备数据采集方法及装置。
技术介绍
随着智慧水务的发展，以及物联网技术的日益成熟，水务企业的智能远传终端设备也越来越多。目前，在采集水务智能终端设备的数据时，当后台服务接口接收到水务智能终端设备的数据以后，都需要先将数据保存到数据库后才返回应答消息给水务智能终端设备；由于整个响应时间较长，导致响应效率以及并发能力都比较低下，已难以支撑城市级大规模水务智能终端设备的并发数据请求。
技术实现思路
本专利技术要解决的技术问题之一，在于提供一种基于缓冲池的水务设备数据采集方法，通过该采集方法能够解决现有技术在返回应答消息给水务智能终端设备时存在的响应时间长、响应效率和并发能力低下，且难以支撑城市级大规模水务智能终端设备的并发数据请求的问题。本专利技术是这样实现技术问题之一的：一种基于缓冲池的水务设备数据采集方法，所述方法包括如下步骤：步骤S1、水务智能终端设备向数据采集服务接口发送设备数据请求消息，数据采集服务接口将设备数据请求消息放入分布式缓冲池；步骤S2、分布式缓冲池对设备数据请求消息进行排队，并通过数据采集服务接口返回应答消息给水务智能终端设备；同时，缓冲池数据监控服务获取队列中的设备数据请求消息，并从设备数据请求消息中解析出设备数据；步骤S3、将解析出的设备数据发送给数据持久化存储服务进行永久保存，并将设备数据的存储状态返回并记录到缓冲池数据监控服务中。进一步地，在所述步骤S1中，所述数据采集服务接口将设备数据请求消息放入分布式缓冲池具体为：数据采集服务接口在接收到水务智能终端设备发送的设备数据请求消息后，对水务智能终端设备的合法性进行验证，且如果验证成功，则调用分布式缓冲池的接口，将设备数据请求消息放入到分布式缓冲池中；如果验证失败，则不将设备数据请求消息放入到分布式缓冲池，并返回验证失败消息给水务智能终端设备。进一步地，所述步骤S2具体包括为：步骤21、分布式缓冲池按照接收的时间顺序将设备数据请求消息放入缓冲池中排队，并将放入缓冲池排队的状态信息返回给数据采集服务接口；步骤22、数据采集服务接口解析状态信息得到解析结果，并将解析结果返回给水务智能终端设备；步骤23、缓冲池数据监控服务监控分布式缓冲池中是否有设备数据请求消息到达，且如果监控到有设备数据请求消息到达，则触发数据获取请求，并进入步骤24；如果监控到没有设备数据请求消息到达，则缓冲池数据监控服务继续进行监控；步骤24、缓冲池数据监控服务调用分布式缓冲池的接口，并按照消息队列顺序从分布式缓冲池中获取设备数据请求消息；步骤25、缓冲池数据监控服务对获取的设备数据请求消息进行协议解析，并获取出设备数据。进一步地，所述步骤S3具体包括：步骤S31、将缓冲池数据监控服务解析出的设备数据发送给数据持久化存储服务，数据持久化存储服务将接收的设备数据保存到硬件磁盘中，并将设备数据的存储状态返回缓冲池数据监控服务；步骤S32、缓冲池数据监控服务记录设备数据的存储状态，并根据返回的存储状态判断是否存储成功，且如果存储成功，则结束流程；如果存储失败，则根据消息序列号重新调用分布式缓冲池的接口获取设备数据请求消息，并返回步骤25。本专利技术要解决的技术问题之二，在于提供一种基于缓冲池的水务设备数据采集装置，通过该采集装置能够解决现有技术在返回应答消息给水务智能终端设备时存在的响应时间长、响应效率和并发能力低下，且难以支撑城市级大规模水务智能终端设备的并发数据请求的问题。本专利技术是这样实现技术问题之二的：一种基于缓冲池的水务设备数据采集装置，所述采集装置包括请求消息模块、请求消息排队与解析模块以及数据存储模块；所述请求消息模块，用于水务智能终端设备向数据采集服务接口发送设备数据请求消息，数据采集服务接口将设备数据请求消息放入分布式缓冲池；所述请求消息排队与解析模块，用于分布式缓冲池对设备数据请求消息进行排队，并通过数据采集服务接口返回应答消息给水务智能终端设备；同时，缓冲池数据监控服务获取队列中的设备数据请求消息，并从设备数据请求消息中解析出设备数据；所述数据存储模块，用于将解析出的设备数据发送给数据持久化存储服务进行永久保存，并将设备数据的存储状态返回并记录到缓冲池数据监控服务中。进一步地，在所述请求消息模块中，所述数据采集服务接口将设备数据请求消息放入分布式缓冲池具体为：数据采集服务接口在接收到水务智能终端设备发送的设备数据请求消息后，对水务智能终端设备的合法性进行验证，且如果验证成功，则调用分布式缓冲池的接口，将设备数据请求消息放入到分布式缓冲池中；如果验证失败，则不将设备数据请求消息放入到分布式缓冲池，并返回验证失败消息给水务智能终端设备。进一步地，所述请求消息排队与解析模块具体包括请求消息排队单元、状态信息解析单元、请求消息监控单元、请求消息获取单元以及请求消息解析单元；所述请求消息排队单元，用于分布式缓冲池按照接收的时间顺序将设备数据请求消息放入缓冲池中排队，并将放入缓冲池排队的状态信息返回给数据采集服务接口；所述状态信息解析单元，用于数据采集服务接口解析状态信息得到解析结果，并将解析结果返回给水务智能终端设备；所述请求消息监控单元，用于缓冲池数据监控服务监控分布式缓冲池中是否有设备数据请求消息到达，且如果监控到有设备数据请求消息到达，则触发数据获取请求，并进入所述请求消息获取单元；如果监控到没有设备数据请求消息到达，则缓冲池数据监控服务继续进行监控；所述请求消息获取单元，用于缓冲池数据监控服务调用分布式缓冲池的接口，并按照消息队列顺序从分布式缓冲池中获取设备数据请求消息；所述请求消息解析单元，用于缓冲池数据监控服务对获取的设备数据请求消息进行协议解析，并获取出设备数据。进一步地，所述数据存储模块具体包括持久化存储单元以及存储状态判断单元；所述持久化存储单元，用于将缓冲池数据监控服务解析出的设备数据发送给数据持久化存储服务，数据持久化存储服务将接收的设备数据保存到硬件磁盘中，并将设备数据的存储状态返回缓冲池数据监控服务；所述存储状态判断单元，用于缓冲池数据监控服务记录设备数据的存储状态，并根据返回的存储状态判断是否存储成功，且如果存储成功，则结束流程；如果存储失败，则根据消息序列号重新调用分布式缓冲池的接口获取设备数据请求消息，并返回所述请求消息解析单元。本专利技术具有如下优点：1、在将设备数据请求消息放入缓冲池后，就直接返回应答消息给水务智能终端设备，而不需要经过数据库的交互，因此，能够有效降低响应时间、提高响应效率和并发能力，可很好的支撑城市级大规模水务智能终端设备的并发数据请求；2、数据持久化存储服务通过硬件磁盘提供设备数据的永久保存机制，同时缓冲池数据监控服务可记录设备数据存储状态，并判断数据存储状态，如果存储失败则根据消息序列号重新调用分布式缓存池接口获取设备数据请求消息，可有效避免设备数据丢失。附图说明下面参照附图结合实施例对本专利技术作进一步的说明。图1为本专利技术一种基于缓冲池的水务设备数据采集方法架构图。图2为本专利技术一种基于缓冲池的水务设备数据采集方法的执行流程图。具体实施方式请参阅图1至图2所示，本专利技术一种基于缓冲池的水务设备数据采集方法的较佳实施例本文档来自技高网...

【技术保护点】
1.一种基于缓冲池的水务设备数据采集方法，其特征在于：所述方法包括如下步骤：步骤S1、水务智能终端设备向数据采集服务接口发送设备数据请求消息，数据采集服务接口将设备数据请求消息放入分布式缓冲池；步骤S2、分布式缓冲池对设备数据请求消息进行排队，并通过数据采集服务接口返回应答消息给水务智能终端设备；同时，缓冲池数据监控服务获取队列中的设备数据请求消息，并从设备数据请求消息中解析出设备数据；步骤S3、将解析出的设备数据发送给数据持久化存储服务进行永久保存，并将设备数据的存储状态返回并记录到缓冲池数据监控服务中。

【技术特征摘要】
1.一种基于缓冲池的水务设备数据采集方法，其特征在于：所述方法包括如下步骤：步骤S1、水务智能终端设备向数据采集服务接口发送设备数据请求消息，数据采集服务接口将设备数据请求消息放入分布式缓冲池；步骤S2、分布式缓冲池对设备数据请求消息进行排队，并通过数据采集服务接口返回应答消息给水务智能终端设备；同时，缓冲池数据监控服务获取队列中的设备数据请求消息，并从设备数据请求消息中解析出设备数据；步骤S3、将解析出的设备数据发送给数据持久化存储服务进行永久保存，并将设备数据的存储状态返回并记录到缓冲池数据监控服务中。2.根据权利要求1所述的一种基于缓冲池的水务设备数据采集方法，其特征在于：在所述步骤S1中，所述数据采集服务接口将设备数据请求消息放入分布式缓冲池具体为：数据采集服务接口在接收到水务智能终端设备发送的设备数据请求消息后，对水务智能终端设备的合法性进行验证，且如果验证成功，则调用分布式缓冲池的接口，将设备数据请求消息放入到分布式缓冲池中；如果验证失败，则不将设备数据请求消息放入到分布式缓冲池，并返回验证失败消息给水务智能终端设备。3.根据权利要求1所述的一种基于缓冲池的水务设备数据采集方法，其特征在于：所述步骤S2具体包括为：步骤21、分布式缓冲池按照接收的时间顺序将设备数据请求消息放入缓冲池中排队，并将放入缓冲池排队的状态信息返回给数据采集服务接口；步骤22、数据采集服务接口解析状态信息得到解析结果，并将解析结果返回给水务智能终端设备；步骤23、缓冲池数据监控服务监控分布式缓冲池中是否有设备数据请求消息到达，且如果监控到有设备数据请求消息到达，则触发数据获取请求，并进入步骤24；如果监控到没有设备数据请求消息到达，则缓冲池数据监控服务继续进行监控；步骤24、缓冲池数据监控服务调用分布式缓冲池的接口，并按照消息队列顺序从分布式缓冲池中获取设备数据请求消息；步骤25、缓冲池数据监控服务对获取的设备数据请求消息进行协议解析，并获取出设备数据。4.根据权利要求3所述的一种基于缓冲池的水务设备数据采集方法，其特征在于：所述步骤S3具体包括：步骤S31、将缓冲池数据监控服务解析出的设备数据发送给数据持久化存储服务，数据持久化存储服务将接收的设备数据保存到硬件磁盘中，并将设备数据的存储状态返回缓冲池数据监控服务；步骤S32、缓冲池数据监控服务记录设备数据的存储状态，并根据返回的存储状态判断是否存储成功，且如果存储成功，则结束流程；如果存储失败，则根据消息序列号重新调用分布式缓冲池的接口获取设备数据请求消息，并返回步骤25。5.一种基于缓冲池的水务设备数据采集装置，其特征在于：所述采集装置包括请求消息模块、请求消息排队与解析模块以及数据存储模块；所述请求消息模块，用于水务智能终端设备向数据采集服务接口发送...

【专利技术属性】
技术研发人员：李贵生，汪钦堤，谢远勇，李志，林健森，林智敏，陈家琳，陈醒，代艳，
申请(专利权)人：智恒科技股份有限公司，
类型：发明
国别省市：福建,35