基于Json数据片的智能网关数据采集系统及方法技术方案

本发明专利技术提供一种基于Json数据片的智能网关数据采集系统，任务控制模块用于对数据集成通道的自动化采集工作进行控制，实现多通道并行数据采集；指令控制模块利用传感器指令规则集对传感设备进行动态接入、设备控制及数据获取；数据采集模块利用数据采集规则集对多传感器的采集模式进行定制编排并实现自动化数据采集；数据计算模块利用数据计算规则集对传感数据进行参数化计算和质量检校；数据存储模块利用数据存储规则集将传感设备源数据封装集合成Json数据序列并存储在本地数据库中；数据传输模块利用数据存储规则集将Json数据序列转换成Json数据包和XML文件包上传给大数据平台；本发明专利技术还提供一种使用基于Json数据片智能网关数据采集系统的数据采集方法。

【技术实现步骤摘要】
基于Json数据片的智能网关数据采集系统及方法
本专利技术涉及数据信息采集
，具体涉及一种基于Json数据片的智能网关数据采集系统及方法。
技术介绍
在城市重大工程的建设中，基于物联网的传感器监测技术被越来越广泛的使用。比如：各种微小型的拉裂缝传感器、振弦式传感器等。在目前的工程实践中，利用传感器监测技术进行数据采集时，需要依托特别定制的专业采集设备以及定制化系统进行数据的采集和预处理。在这种模式下，对特大工程开展大规模、实时智能化监测工作时，所投入的采集设备及专业系统数量巨大；而各个传感器厂商之间的系统不兼容，指令协议不通用，更换传感器后重新接入网络时设置变更方式复杂，采集方式单一、效率较低。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种基于Json数据片的智能网关数据采集系统及方法，以解决现有技术中存在的物联网传感器进行数据采集时，更换传感器后重新接入网络时设置变更方式复杂，采集方式单一、效率较低的技术问题。本专利技术采用的技术方案是：第一方面，本专利技术提供一种基于Json数据片的智能网关数据采集系统，包括任务控制模块、指令控制模块、数据采集模块、数据计算模块、数据存储模块、数据传输模块；任务控制模块用于根据智能网关的设备通讯通道构建独立的数据采集任务，对各个数据通讯通道进行任务执行的配置与管理；指令控制模块用于根据设计配置的传感器指令规则集，对传感器进行控制指令进行标准化封装后编码发送；还用于对传感器采集回传的数据进行自适应解码并提取相应的数据信息；数据采集模块包括数据初始学习模块和周期性采集模块；数据初始学习模块用于对传感器的初始配置数据进行采集，周期性采集模块根据数据采集规则配置对所述数据采集通道进行周期性的数据采集；数据计算模块根据数据计算规则集将采集到的传感器数据进行参数化计算和数据质量检校；数据存储模块用于根据数据存储规则集将采集到的传感器数据转换成Json数据序列后存储在本地数据库中；数据传输模块根据数据存储规则集将数据存储模块中存储的Json数据序列分别转换成Json数据包和XML文件包，上传给大数据平台。第二方面，本专利技术还提供一种基于Json数据片的智能网关数据采集系统的数据采集方法，其特征在于，包括以下步骤：S1.通过任务控制模块建立数据采集任务，对接入的多类型传感设备按照通讯通道进行任务参数的配置及任务调度；S2.通过指令控制模块，根据设计配置的传感器指令规则集对传感器控制指令进行标准化封装后编码发送，采集传感器的初始数据；S3.使用数据采集模块中的周期性采集模块，对数据采集通道进行周期性的数据采集；S4.通过指令控制模块对传感器采集回传的数据进行自适应解码；S5.通过数据计算模块进行数据参数化计算和数据质量检校；S6.通过数据存储模块根据数据存储规则集将经过质量检校的数据转换成Json数据序列，存储在本地数据库中，并通过数据传输模块上传到大数据平台。进一步的，任务控制模块具体按以下步骤进行工作：根据智能网关的设备通讯通道进行数据采集任务的管理；配置当前通讯通道数据采集的任务参数，参数包括采集方法、起始时间、采样间隔、协同通道和协同模式；对当前通讯通道的传感器进行配置，设定传感器的采样限差；根据采集任务配置对数据采集通道进行维护，维护包括启用、停止和重置。进一步的，指令控制模块具体按以下步骤进行工作：预加载传感器指令规则集文件，规则集文件以Json格式进行组织；根据数据采集模块的任务调度参数，搜索匹配的传感器类型并加载对应的指令集合；根据当前执行的指令名称，抓取对应的标准指令集配置；根据当前匹配的指令配置提取编码信息进行指令封装，发送给对应通讯通道下的传感器；监听当前通讯通道的数据回传信息，当接收到满足停止标识符号的数据串时，停止数据接收；根据当前指令配置的解码及数据提取规则，进行数据串的自解码；根据匹配的传感器类型，加载对应的计算规则及计算模型，利用数据计算模块进行数据的规则化计算；根据当前指令配置的数据标识信息，结合数据存储规则集进行数据块的存储标识匹配，并封装成Json数据片。进一步的，传感器指令规则集构成如下：单个设备控制指令包括指令名称、起始符、指令编码、指令解码、指令分类、设备地址、指令状态、数据提取、数据位标识和计算模型；传感器的控制与接入由上述一个至多个标准指令构成，实现对传感器的驱动控制与数据获取。进一步的，数据初始学习模块具体按以下步骤进行工作：在选定的通讯通道下，新增传感器节点，加载该节点所对应的传感器指令规则集；调用控制指令对传感设备工作状态进行检校，调用测量指令获取传感器的初始配置数据及初始观测数据；将获取的初始配置和观测数据存储在本地数据库；进一步的，周期性采集模块具体按以下步骤进行工作：启动任务定时器，加载匹配通道的参数配置、传感器配置、采集规则配置，执行当前周期的数据采集工作；数据采集工作模式包括轮询数据采集、分组数据采集；当前周期的数据采集完成后由数据计算模块进行数据质量检校，检校合格后进行本地数据存储并上传到大数据平台。进一步的，周期性采集模块对多台传感器的采集规则进行编排，协同控制数据采集；协同控制数据采集包括跨通道的传感器协同控制和相同通道下的多类型传感设备协同监测。进一步的，数据存储规则集包括数据名称、数据标签、数据类型、数据索引和数据关联；数据存储规则集用于不同类型传感器在进行数据存储时的变更配置。由上述技术方案可知，本专利技术的有益技术效果如下：1.设计不同类型传感器的标准指令规则集，实现对指令的封装、发送、编码、解码、存储过程进行流程化处理，并通过指令执行过程的串行配置实现对单台传感设备的定制化数据采集解析工作，最后以网关通道为工作单元，实现不同类型传感器的同时在线数据获取，有效提高数据采集效率。2.设计传感器指令规则集，不同类型传感器对应多个指令序列的集合，每一种类型的传感器对应的集合都各不相同，并且在不同工程项目进行指令系统的定制化设计，确保在既有工作参数不变的情况下，可以通过改变传感器对应多个指令序列的集合，实现在不调整智能网关设置的情况下，动态扩容接入不同类型所述传感器。3.通过轮询数据采集、分组数据采集及规则化采集配置，使数据采集方式多样化。4.通过多台传感设备采集规则的编排，实现协同控制数据采集，可以节约数据采集的时间，同时减少错误，进一步提升数据采集效率。5.数据存储规则集用于不同类型传感器在进行数据存储时的变更配置。通过将传感器指令规则集、数据存储规则集、数据计算规则进行匹配使用，极大扩展了智能网关的传感器接入能力。通过规则集的设计将数据采集、存储、计算、传输等过程进行解耦，在需要时进行动态匹配加载，提高网关设备的兼容能力。附图说明为了更清楚地说明本专利技术具体本文档来自技高网...

【技术保护点】
1.一种基于Json数据片的智能网关数据采集系统，用于传感器进行数据采集，其特征在于：所述数据采集系统包括任务控制模块、指令控制模块、数据采集模块、数据计算模块、数据存储模块、数据传输模块；/n所述任务控制模块用于根据所述智能网关的设备接入通讯通道构建数据采集任务，对通讯通道进行任务执行的配置与管理；/n所述指令控制模块用于根据设计配置的传感器指令规则集，对所述传感器进行控制指令的标准化封装后编码发送；还用于对所述传感器采集回传的数据进行自适应解码并提取相应的数据信息；/n所述数据采集模块包括数据初始学习模块和周期性采集模块；所述数据初始学习模块用于对所述传感器的初始数据进行采集，所述周期性采集模块根据数据采集规则配置对所述数据采集通道进行周期性的数据采集；/n所述数据计算模块根据数据计算规则集将采集到的传感器数据进行数据参数化计算和数据质量检校；/n所述数据存储模块根据数据存储规则集将采集到的传感器原始数据转换成Json数据序列后存储在本地数据库中；/n所述数据传输模块根据数据存储规则集将所述数据存储模块中存储的Json数据序列分别转换成Json数据包和XML文件包，上传给大数据平台。/n...

【技术特征摘要】
1.一种基于Json数据片的智能网关数据采集系统，用于传感器进行数据采集，其特征在于：所述数据采集系统包括任务控制模块、指令控制模块、数据采集模块、数据计算模块、数据存储模块、数据传输模块；
所述任务控制模块用于根据所述智能网关的设备接入通讯通道构建数据采集任务，对通讯通道进行任务执行的配置与管理；
所述指令控制模块用于根据设计配置的传感器指令规则集，对所述传感器进行控制指令的标准化封装后编码发送；还用于对所述传感器采集回传的数据进行自适应解码并提取相应的数据信息；
所述数据采集模块包括数据初始学习模块和周期性采集模块；所述数据初始学习模块用于对所述传感器的初始数据进行采集，所述周期性采集模块根据数据采集规则配置对所述数据采集通道进行周期性的数据采集；
所述数据计算模块根据数据计算规则集将采集到的传感器数据进行数据参数化计算和数据质量检校；
所述数据存储模块根据数据存储规则集将采集到的传感器原始数据转换成Json数据序列后存储在本地数据库中；
所述数据传输模块根据数据存储规则集将所述数据存储模块中存储的Json数据序列分别转换成Json数据包和XML文件包，上传给大数据平台。


2.一种使用权利要求1所述基于Json数据片的智能网关数据采集系统的数据采集方法，其特征在于，包括以下步骤：
S1.通过任务控制模块建立数据采集任务，对接入的多类型传感设备按照通讯通道进行任务参数的配置及任务调度；
S2.通过指令控制模块，根据设计配置的传感器指令规则集对传感器控制指令进行标准化封装后编码发送，采集传感器的初始数据；
S3.使用数据采集模块中的周期性采集模块，对数据采集通道进行周期性的数据采集；
S4.通过指令控制模块对传感器采集回传的数据进行自适应解码；
S5.通过数据计算模块进行数据参数化计算和数据质量检校；
S6.通过数据存储模块根据数据存储规则集将经过质量检校的数据转换成Json数据序列，存储在本地数据库中，并通过数据传输模块上传到大数据平台。


3.根据权利要求2所述一种数据采集方法，其特征在于，所述任务控制模块具体按以下步骤进行工作：
根据所述智能网关的设备通讯通道进行数据采集任务的管理；
配置当前通讯通道数据采集的任务参数，所述参数包括采集方法、起始时间、采样间隔、协同通道和协同模式；
对当前通讯通道的传感器进行配置，设定传感器的采样限差；
根据采集任务配置对数据采集通道进行维护，所述维护包括启用、停止和重置。


4.根据权利要求2...

【专利技术属性】
技术研发人员：陈翰新，向泽君，胡波，滕德贵，明镜，冯永能，袁长征，张恒，李超，王大涛，黄赟，林江伟，
申请(专利权)人：重庆市勘测院，
类型：发明
国别省市：重庆;50