【技术实现步骤摘要】
一种基于物联网的水文实时流数据采集处理方法
本专利技术涉及一种基于物联网的水文实时流数据采集处理方法。
技术介绍
近几十年来，全球气候变化无常，河流水量变化剧烈导致旱涝灾害发生频繁。尤其所遭遇的特大干旱水灾，给人民的生命财产造成巨大损失，因此对当前水文水情采集技术提出了新技术要求，使之能够及时监测水文水情变化情况，并且建立起完善的自动水文水情数据采集和处理系统，为预测旱涝灾害提供实时的数据支持。我国越来越重视连续动态的监测江河湖泊的水文状况，已经在多个流域布设了很多水文测站，主要用于对水文水情信息进行收集和发布。水文测站监测的内容很多，主要有含沙量、水的流量、蒸发量、降水量以及河水的水位等，基本可以实现自记化。水情信息可以向水情信息中心实时的传输，让用户通过手机、电脑等设备随时对水情信息进行查看。目前水务部门开发的自动测报系统，可以有效的按照一定的时间间隔，通过相关的传感器对信息进行采集，并且对水位、雨量等信息进行存储，通过编译之后向信息中心进行传输，信息中心终端在获取数据之后，可以对这些数据进行分析、检查、反馈。<...
【技术保护点】
1.一种基于物联网的水文实时流数据采集处理方法，包括建立一个水文数据采集的后台管理系统和水文物联网传感器，后台管理系统为物联网水文传感器配置采集协议、地址/端口，后台管理员通过后台管理系统可视化操作控制整个水文物联网传感器数据采集、处理，通过后台管理系统可以查看浏览采集的数据并以实时报表的形式展示数据；其特征在于，所述后台管理系统连接有服务网关集群模块、临时云存储模块、Flume消息队列模块、消息队列监听器模块、智能解析模块、分布式文件模块和拦截与纠错模块；其中：/n后台管理系统通过服务网关集群模块管理水文物联网传感器，服务网关集群模块负责服务网关集群的负载均衡；/n采集的...
【技术特征摘要】
1.一种基于物联网的水文实时流数据采集处理方法，包括建立一个水文数据采集的后台管理系统和水文物联网传感器，后台管理系统为物联网水文传感器配置采集协议、地址/端口，后台管理员通过后台管理系统可视化操作控制整个水文物联网传感器数据采集、处理，通过后台管理系统可以查看浏览采集的数据并以实时报表的形式展示数据；其特征在于，所述后台管理系统连接有服务网关集群模块、临时云存储模块、Flume消息队列模块、消息队列监听器模块、智能解析模块、分布式文件模块和拦截与纠错模块；其中：
后台管理系统通过服务网关集群模块管理水文物联网传感器，服务网关集群模块负责服务网关集群的负载均衡；
采集的水文传物联网感器数据被送入云存储模块，临时云存储模块采用分布式MongoDB数据库集群存储记录文件并建立文件索引，临时云存储模块在文件存储完成后发送消息到Flume消息队列模块，消息队列监听器模块监听Flume消息队列模块是否存在新消息，当有新消息时首先启动智能解析模块进行智能解析，解析后的数据上传配置到分布式文件模块中，然后启动拦截与纠错模块进行拦截与纠错，拦截与纠错后的数据插入到Cassandra数据库中用于实时报表，其中：
所述智能解析：包括对于水文传感器上传二进制数据格式进行定制开发解析和对于水文传感器上传的JSON/XML半结构化数据文件解析；
所述拦截与纠错：在分布式文件模块中对配置文件中每一时刻的水文物联网传感器数据进行有效性判断，并对无效数据进行有效性处理。
2.根据权利要求1所述的方法，其特征在于，所述负载均衡是利用Nginx反向代理实现服务网关集群的负载均衡。
3.根据权利要求1所述的方法，其特征在于，所述对配置文件中每一时刻的水文物联网传感器数据进行有效性判断，并对无效数据进行有效性处理的步骤包括：
第一步：从分布式文件模块中读取长度为N的水文时序数据，并确定一个窗口长度n和一个异常阈值e，N至少是n的20倍；
第二步：顺序检测长度为N的水文时序数据；
第三步：判断当前时刻数据值：
第四步：
若当前时刻的数据值为0，则将相邻窗口长度n个时刻的数据值的平均值作为当前时刻的数据值，继续判断此数据值是否大于异常阈值e，不大于异常阈值e，则读取下一时刻的数据，返回第三步直至检...
【专利技术属性】
技术研发人员：沈建明，邹磊，夏军，
申请(专利权)人：中国科学院地理科学与资源研究所，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。