一种基于自定义设备协议库及大数据架构的云平台制造技术

本发明专利技术公开了一种基于自定义设备协议库及大数据架构的云平台，主要包括云平台管理程序、基于storm的流式大数据处理程序、数据展现程序、docker hub镜像仓库、分布式消息队列kafka集群和分布式缓存redis。本云平台具有通用性强、自动化程度高、可扩展性好、部署简单方便、数据实时性高的特点。本云平台提供了自有的设备库，自有的采集数据传输协议，并利用基于storm的流式大数据处理程序来实时处理和展现监控数据。对于基于RS485通信的采集仪和传感器，本云平台自定义了用于描述其采集命令和返回结果的模版语言。本云平台还具有通过在云平台管理程序配置传感器、采集仪和工控机等设备信息，自动在工控机上部署和运行采集程序的能力。能力。能力。

【技术实现步骤摘要】
一种基于自定义设备协议库及大数据架构的云平台

：
[0001]本专利技术涉及桥梁健康监测领域，特别涉及一种基于自定义设备协议库及大数据架构的云平台。

技术介绍
：
[0002]随着物联网技术、大数据和互联网的发展，桥梁健康监测领域也得到了飞速的发展。目前，典型的桥梁监测系统包括采集层、传输层和应用层。采集层利用各种传感器技术对动静态数据进行获取。传输层将数据传输到数据处理平台上。应用层对数据做近一步的展示和处理。在采集层，通常可采用在工控机上运行采集程序的方式来采集数据。然而在现有技术中，由于不同用途的传感器如温度、位移、应变传感器，都有不同的数据表现形式，即使是同一种类型的传感器如温度传感器，有的是通过串口向连接温度传感器的采集仪发送命令来采集，有的是通过串口直接向温度传感器发送命令来采集，并且不同厂家的传感器采集命令也不同，不同传感器串口通讯时，串口参数如波特率，奇偶校验位也不同。这就导致了系统需要做大量的工作如写不同的采集程序来支持不同厂家不同类型的传感器和采集仪。
[0003]在采集层，一些采集程序都有自已依赖的运行环境，比如用java语言运行的程序，就必须安装jdk，并配置环境变量，这就增加了采集端部署的工作量。在传输层，由于采集层采集到的数据是依据传感器和采集仪来划分的，这就需要传输层去适配不同的传感器和采集仪。在展现层，许多平台数据处理程序仅仅是把数据存放到数据库中，数据展示程序定时的查询数据库，数据展现的实时性取决于数据展示程序查询数据库的频率。查询数据频率越高，数据库压力越大，查询数据频率低，监测系统的实时性越差。

技术实现思路

[0004]本专利技术提出一种基于自定义设备协议库及大数据架构的云平台，该云平台具有快速便捷的支持各种厂家不同型号传感器和采集仪的能力，解决了工控机上环境的初始化、采集程序自动化部署和运行的问题，解决了监控数据的实时展示问题。
[0005]为了实现以上目的，本专利技术采用的技术方案为：
[0006]一种基于自定义设备协议库及大数据架构的云平台，包括基于storm的流式大数据处理程序、云平台管理程序、数据展现程序、docker hub镜像仓库、分布式消息队列kafka集群和分布式缓存redis；
[0007]云平台管理程序自定义了设备协议库。在自定义的设备协议库中，对于基于RS485通信的采集仪或传感器，创建了用于描述其采集命令和采集结果的模版语言，利用该模版语言，云平台管理程序可以对采集仪或传感器的采集命令和采集结果进行快速配置，配置后，设备协议库可以支持该设备的采集过程。从而，基于自定义的设备协议库，可以快速便捷的支持各种物联网桥梁监控设备。在通过云平台管理程序对物联网桥梁监控系统配置后，工控机从云平台管理程序中下载并运行工控机初始化程序，工控机初始化程序能自动
初始化工控机运行环境，从docker hub镜像仓库下载工控机采集程序镜像，从云平台管理程序获取工控机的配置，并启动工控机采集程序进行采集，采集程序将采集到的数据以自定义的数据格式通过网络发送到云平台分布式消息队列kafka集群中，基于storm的流式大数据处理程序从分布式消息队列kafka集群中获得数据，对数据进行处理，并将处理后的数据保存到分布式缓存redis中，数据展现程序从分布式缓存redis中获取数据后进行实时展示。
[0008]本专利技术的进一步技术：
[0009]优选的，云平台提出了“虚拟采集仪”和“设备库”的概念，对于直接通过串口与工控机相连的传感器，传感器连接到虚拟采集仪，虚拟采集仪通过串口连接到工控机，工控机采集程序向传感器发送采集命令获取数据的过程，为工控机向虚拟采集仪发送采集命令，虚拟采集仪通过传感器获取数据，再把结果返回给工控机采集程序；设备库是指包括不同厂家不同型号的传感器、采集仪和虚拟采集仪，自定义设备协议库是指用通用的方式来描述设备库里的设备，对于基于RS485通信的采集仪(包括虚拟采集仪)，提供了模版语言描述采集仪的采集命令和采集结果。对于不是基于RS485通信的采集仪，和传统的监控系统一样，需开发对应的采集程序，目前系统内置了一些常用设备采集程序。不是基于RS485通信的采集仪不在本专利技术的支持范围之内。
[0010]优选的，云平台管理程序对物联网桥梁健康监测系统进行了抽象和并提供了配置功能，云平台管理程序将桥梁健康监测物联网系统抽象为传感器、采集仪(包括虚拟采集仪)、工控机、项目以及它们之间的关系，它们之间的关系可以理解为一个桥梁健康监测物联网系统是一个项目，一个项目包括多个工控机，一个工控机包括多个采集仪，一个采集仪可以连接多个传感器，云平台管理程序提供了配置健康监测物联网系统的功能。
[0011]优选的，云平台提供了一种部署和启动工控机采集程序的方式，在云平台管理程序配置完桥梁健康监测物联网系统后，工控机从云平台管理程序中下载并运行工控机初始化程序，输入云平台管理程序的账户和密码，登录成功后选择项目和工控机设备，之后在点击初始化环境按钮，这时工控机采集程序会给工控机安装docker服务程序，之后会去docker hub镜像仓库下载采集端采集程序镜像，从云平台获取工控机的配置信息，工控机的配置信息包括工控机上采集仪的信息，工控机的信息以及云平台的信息，紧接着启动采集端镜像开始采集数据，把采集到的数据以自定义的数据格式发送到云平台的分布式消息队列kafka集群中。
[0012]优选的，自定义的数据格式是由包头和数据包组成，其中包头共10个字节，由数据传输方式(3个字节)，厂家编码(3个字节)，分隔符(1个字节)和采集仪采集协议标准(3个字节)标准组成。本专利技术仅针对低频采集。数据包是以json格式传输，包括采集仪i d,采集时间和通道数据。
[0013]优选的，云平台提供了一种实时数据处理技术。采集程序把采集到的数据以自定义的数据格式发送到云平台的分布式消息队列kafka集群里，基于storm的流式大数据处理程序从云平台的分布式消息队列kafka集群获取数据，并对数据做实时的处理，并把处理的结果存放在分布式缓存redis中。云平台数据展示程序从分布式缓存kafka集群中获取实时的数据，并在页面中展示。
[0014]本专利技术具有以下有益效果：
[0015]本云平台具有通用性强、自动化程度高、可扩展性好、部署简单方便、数据实时性高的特点。本云平台提供了自有的设备库，自定义的用于描述采集仪采集命令和返回结果的模版语言，以及自有的采集数据传输协议，并利用基于storm的流式大数据处理程序来实时处理和展现监控数据。本云平台还具有通过在云平台管理程序配置传感器、采集仪和工控机等设备信息，自动在工控机上部署和运行采集程序的能力。
附图说明:
[0016]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；
[0017]图1为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自定义设备协议库及大数据架构的云平台，其特征在于：包括基于storm的流式大数据处理程序、云平台管理程序、数据展现程序、docker hub镜像仓库、分布式消息队列kafka集群和分布式缓存redis；云平台管理程序自定义了设备协议库，在设备协议库中，对于基于RS485通信的采集仪和传感器，自定义了一套模版语言来描述采集命令和采集结果；云平台管理程序对物联网桥梁监控系统进行了抽象，并提供了配置功能，在通过云平台管理程序对物联网桥梁监控系统配置后，工控机从云平台管理程序中下载并运行工控机初始化程序，工控机初始化程序能自动初始化工控机运行环境，从docker hub镜像仓库下载工控机采集程序镜像，从云平台管理程序获取工控机的配置，并启动工控机采集程序进行采集，采集程序将采集到的数据以自定义的数据格式通过网络发送到云平台分布式消息队列kafka集群中，基于storm的流式大数据处理程序从分布式消息队列kafka集群中获得数据，对数据进行处理，并将处理后的数据保存到分布式缓存redis中，数据展现程序从分布式缓存redis中获取数据后进行实时展示。2.根据权利要求1中所述的一种基于自定义设备协议库及大数据架构的云平台，其特征在于：云平台提出了虚拟采集仪和设备库，对于直接通过串口与工控机相连的传感器，传感器连接到虚拟采集仪，虚拟采集仪通过串口连接到工控机，工控机采集程序向传感器发送采集命令获取数据的过程即为工控机向虚拟采集仪发送采集命令，虚拟采集仪通过传感器获取数据，再把结果返回给工控机采集程序，设备库是指包括不同厂家不同型号的传感器、采集仪和虚拟采集仪。3.根据权利要求1中所述的一种基于自定义设备协议库及大数据架构的云平台，其特征在于：对于基于RS485通信的采集仪或传感器，云平台自定义了一套模版语言来描述采集仪和传感器的采集命令和返回结果，将采集命令和采集结果中变化的部分和不变的部分进行分离，利用系统变量和自定义变量来描述变化的部分。4.根据权利要求1中所述的一种基于自定义设备协议库及大数据架构的云平台，其特征在于：云平台管理程序对物联网桥梁健康监测系统进行了抽象和并提供...

【专利技术属性】
技术研发人员：梁柱，符洪生，沈国栋，杨晓明，席进，
申请(专利权)人：公路交通节能与环保技术及装备交通运输行业研发中心，
类型：发明
国别省市：