一种基于水利物联网的水利数据采集方法技术

本发明专利技术涉及水利数据采集，具体涉及一种基于水利物联网的水利数据采集方法，在数据接收服务器上搭建监听服务，同时在实时通讯服务器上搭建消息队列服务；对水利采集终端进行配置，水利采集终端向监听服务发送报文信息；数据接收服务器接收报文信息，并将报文信息推送至消息队列；数据解析服务从消息队列中获取报文信息，对报文信息进行数据解析，并将解析数据推送至解析消息队列；数据存储服务从解析消息队列中获取解析数据，并将解析数据存入数据库；本发明专利技术提供的技术方案能够有效克服现有技术所存在的不便查看采集数据及维护终端设备，无法应对水利采集终端高并发大批量上报监测数据的情况，采集数据展示的时效性较差，数据解析效率较低的缺陷。解析效率较低的缺陷。解析效率较低的缺陷。

【技术实现步骤摘要】
一种基于水利物联网的水利数据采集方法


[0001]本专利技术涉及水利数据采集，具体涉及一种基于水利物联网的水利数据采集方法。

技术介绍

[0002]水利采集终端是水利行业数据采集的基础设备，通过数据采集软件能够实现对水利采集终端采集数据的展示。
[0003]现有的水利数据采集方法存在以下不足之处：1)由于传统数据采集软件多采用C/S架构，局限了系统的可扩展性，使得数据采集软件仅能在部署系统的设备(且只能部署在一个设备上)上使用，查看采集数据及维护终端设备较为不便；
[0004]2)socket接收服务、数据解析服务、数据存储服务为一个整体服务，导致系统在遇到水利采集终端高并发大批量上报监测数据时遇到性能瓶颈；
[0005]3)将采集数据先存放至关系型数据库中，再从数据库中获取数据，导致无法实时上报刷新监测数据，需要到数据库中定时轮询。
[0006]上述不足使得水利数据的采集及时效性展示受到较大制约，无法满足水利行业的预测、预报对数据支撑的需求。

技术实现思路

[0007](一)解决的技术问题
[0008]针对现有技术所存在的上述缺点，本专利技术提供了一种基于水利物联网的水利数据采集方法，能够有效克服现有技术所存在的不便查看采集数据及维护终端设备，无法应对水利采集终端高并发大批量上报监测数据的情况，采集数据展示的时效性较差，数据解析效率较低的缺陷。
[0009](二)技术方案
[0010]为实现以上目的，本专利技术通过以下技术方案予以实现：
>[0011]一种基于水利物联网的水利数据采集方法，包括以下步骤：
[0012]S1、在数据接收服务器上搭建监听服务，同时在实时通讯服务器上搭建消息队列服务；
[0013]S2、对水利采集终端进行配置，水利采集终端向监听服务发送报文信息；
[0014]S3、数据接收服务器接收报文信息，并将报文信息推送至消息队列；
[0015]S4、数据解析服务从消息队列中获取报文信息，对报文信息进行数据解析，并将解析数据推送至解析消息队列；
[0016]S5、数据存储服务从解析消息队列中获取解析数据，并将解析数据存入数据库；
[0017]S6、平台从数据库中获取解析数据并展示；
[0018]其中，数据解析服务从消息队列中获取报文信息，对报文信息进行数据解析时，依据阿姆达尔加速比获取数据解析服务最优数量，并根据当前已启用数据解析服务进程数对数据解析服务进行动态调配。
[0019]优选地，S1中在数据接收服务器上搭建监听服务，同时在实时通讯服务器上搭建消息队列服务，包括：
[0020]在数据接收服务器上开通外网IP和端口A，将socket监听服务的监听IP、端口分别配置为外网IP、端口A，并打开监听软件；
[0021]同时在实时通讯服务器上搭建消息队列服务，创建iot_messag消息队列。
[0022]优选地，S2中对水利采集终端进行配置，水利采集终端向监听服务发送报文信息，包括：
[0023]将水利采集终端的IP、端口分别配置为外网IP、端口A；
[0024]水利采集终端将监测传感器产生的监测数据生成指定格式的报文信息，并将报文信息发送至socket监听服务。
[0025]优选地，S3中数据接收服务器接收报文信息，并将报文信息推送至消息队列，包括：
[0026]数据接收服务器接收报文信息，并将报文信息推送至iot_messag消息队列。
[0027]优选地，S4中数据解析服务从消息队列中获取报文信息，对报文信息进行数据解析，并将解析数据推送至解析消息队列，包括：
[0028]数据解析服务按照报文协议从iot_messag消息队列中获取报文信息，对报文信息进行数据解析，并将解析数据推送至iot_data解析消息队列。
[0029]优选地，所述数据解析服务从消息队列中获取报文信息，对报文信息进行数据解析时，依据阿姆达尔加速比获取数据解析服务最优数量，并根据当前已启用数据解析服务进程数对数据解析服务进行动态调配，包括：
[0030]采用下式计算阿姆达尔加速比τ：
[0031][0032][0033]其中，t1为未使用动态扩展数据解析服务时完成数据解析任务消耗时间；t2为使用动态扩展数据解析服务时完成数据解析任务消耗时间；增强比例为t2在完成数据解析任务总执行时间中所占比例，增强比例永远小于1；增强加速比为在原条件下完成数据解析任务消耗时间与使用动态扩展功能后程序执行时间的比值；
[0034]当阿姆达尔加速比τ不小于设定阈值时，则认为数据解析任务遇到瓶颈，影响数据解析效率，此时开始动态扩展数据解析服务；
[0035]当阿姆达尔加速比τ小于设定阈值时，停止动态扩展数据解析服务。
[0036]优选地，所述动态扩展数据解析服务时，动态扩展后的数据解析服务进程数小于服务器可承载最大进程数，并在数据解析任务完成后关闭动态扩展的数据解析服务；
[0037]其中，服务器可承载最大进程数从服务器配置中获取。
[0038]优选地，S5中数据存储服务从解析消息队列中获取解析数据，并将解析数据存入数据库，包括：
[0039]数据存储服务从iot_data解析消息队列中获取解析数据，并按照指定存储逻辑存入数据库。
[0040]优选地，S6中平台从数据库中获取解析数据并展示，包括：
[0041]平台按照展示逻辑从指定的数据库中获取解析数据并展示。
[0042]优选地，还包括平台下发控制指令至水利采集终端，对水利采集终端进行远程控制，具体包括：
[0043]平台下发控制指令至iot_control指令消息队列，socket监听服务从iot_control指令消息队列中获取控制指令并存入缓存中；
[0044]当水利采集终端与socket监听服务建立连接后，socket监听服务将控制指令下发至水利采集终端，对水利采集终端进行远程控制，并反馈执行结果。
[0045](三)有益效果
[0046]与现有技术相比，本专利技术所提供的一种基于水利物联网的水利数据采集方法，具有以下有益效果：
[0047]1)基于B/S与C/S的混合架构，使用“socket监听服务+消息中间件”进行数据通信的方法，使得水利采集终端与水利数据采集平台形成“多对多”的关系，即用户可以在具备访问互联网条件的移动设备上查看采集数据或维护终端设备；
[0048]2)数据接收服务器将水利采集终端发送的报文信息推送至消息队列中缓存，同时将数据解析服务独立出来，在应对水利采集终端高并发大批量上报监测数据时可以水平扩展数据接收服务，从而有效解决高并发下的性能瓶颈问题；
[0049]3)数据存储服务从解析消息队列中获取解析数据，并将解析数据存入数据库，同时水利数据采集平台使用webSocket技术从数据库中实时获取解析数据，并进行时效性展示；
[0050]4)使用“本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于水利物联网的水利数据采集方法，其特征在于：包括以下步骤：S1、在数据接收服务器上搭建监听服务，同时在实时通讯服务器上搭建消息队列服务；S2、对水利采集终端进行配置，水利采集终端向监听服务发送报文信息；S3、数据接收服务器接收报文信息，并将报文信息推送至消息队列；S4、数据解析服务从消息队列中获取报文信息，对报文信息进行数据解析，并将解析数据推送至解析消息队列；S5、数据存储服务从解析消息队列中获取解析数据，并将解析数据存入数据库；S6、平台从数据库中获取解析数据并展示；其中，数据解析服务从消息队列中获取报文信息，对报文信息进行数据解析时，依据阿姆达尔加速比获取数据解析服务最优数量，并根据当前已启用数据解析服务进程数对数据解析服务进行动态调配。2.根据权利要求1所述的基于水利物联网的水利数据采集方法，其特征在于：S1中在数据接收服务器上搭建监听服务，同时在实时通讯服务器上搭建消息队列服务，包括：在数据接收服务器上开通外网IP和端口A，将socket监听服务的监听IP、端口分别配置为外网IP、端口A，并打开监听软件；同时在实时通讯服务器上搭建消息队列服务，创建iot_messag消息队列。3.根据权利要求2所述的基于水利物联网的水利数据采集方法，其特征在于：S2中对水利采集终端进行配置，水利采集终端向监听服务发送报文信息，包括：将水利采集终端的IP、端口分别配置为外网IP、端口A；水利采集终端将监测传感器产生的监测数据生成指定格式的报文信息，并将报文信息发送至socket监听服务。4.根据权利要求3所述的基于水利物联网的水利数据采集方法，其特征在于：S3中数据接收服务器接收报文信息，并将报文信息推送至消息队列，包括：数据接收服务器接收报文信息，并将报文信息推送至iot_messag消息队列。5.根据权利要求4所述的基于水利物联网的水利数据采集方法，其特征在于：S4中数据解析服务从消息队列中获取报文信息，对报文信息进行数据解析，并将解析数据推送至解析消息队列，包括：数据解析服务按照报文协议从iot_messag消息队列中获取报文信息，对报文信息进行数据解析，并将解析数据推送至iot_data解析消息队列。6.根据权利要求5...

【专利技术属性】
技术研发人员：常仁凯，秦福蝶，唐建，汪永娟，牛卓勋，高月潘，
申请(专利权)人：中水三立数据技术股份有限公司，
类型：发明
国别省市：