一种数据接入方法及系统技术方案

本发明专利技术提供一种数据接入方法及系统，方法包括：接收目标设备对目标数据的传输请求，注册目标设备的相关参数信息，相关参数信息至少包括目标数据的类型和传输协议模式；创建与目标设备对应的数据接收入口并利用数据接收入口接收目标设备传输的目标数据；根据目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器，获取转换后的目标数据；根据目标数据的类型选择对应的映射规则，利用映射规则解析转换后的目标数据，能够对不同设备传输的数据进行动态接入，无需进行二次开发，实现方式简单高效，能对多源异构的农业物联网数据进行简单高效稳定的接入，一定程度上为农业生产部门和农业企业提供了便利。

【技术实现步骤摘要】
一种数据接入方法及系统
本专利技术涉及数据传输
，更具体地，涉及一种数据接入方法及系统。
技术介绍
随着物联网技术的发展，物联网在农业领域中的应用不断深入。农业物联网的体系包含感知层、传输层和应用层；传输层和感知层进行农业生产感知数据的釆集，应用层对感知数据进行处理应用。感知层釆集的数据包含了设施、大田、水产和果园等农业各生产领域，加之数据的传输协议各异，使得农业感知数据具有了来源多、异构性强等特点。另外，农业物联网的应用覆盖面越来越广，接入的物联网设备数量越来越多、采集频率越来越高，农业物联网数据已经呈现为大数据的趋势，而且在实际的农业生产、经营和管理中，对农业物联网数据的需求也不再单一，如在农业数据挖掘、病虫害预警决策、农产品质量追溯等领域，往往需要对农业物联网数据进行高效稳定的数据接入和存储分析。目前在物联网数据接入的架构设计上，主要有以下两种架构方法：第一种是基于同构设备类型的WSN网络的物联网数据接入方法，此类物联网数据接入方法要求物联网设备高度严格同构一致，针对特定的智能设备，来设计和开发适应性的物联网数据接入方式。但是在实际大规模农业物联网应用中，可能存在大规模农场或农业企业需采用不同厂商和不同类型的异构物联网设备，这些物联网设备采用的数据转化模式和格式都不相同，如温室大棚多采用网关和无线传感器节点模式，数据发送多采用IP地址网络直传或者是网关中心节点发布web数据服务，数据服务多为webservice、http等；如在田间气象观测应用中，多采用田间气象站，由于农田生产环境区别于工业生产环境，田间气象站采用太阳能和基于GPRS的数据发送模式是较为常见和成熟的。面对这样一种物联网智能设备在农业生产中实际应用的现状问题，单一同构化的物联网智能设备已经满足不了农业生产的需求。第二种是混合型物联网数据接入的解决方案，采用此接入方法，虽然标准化组件、中间件和适配器模式能针对不同物联网产品进行统一接入，但是其原理是提供面向数据平台的统一数据接入接口，这就要求物联网厂商要重新针对统一接口对物联网设备进行重新编码，或又者是对中间件和适配器进行扩展和重编写，在设备厂商产品趋于成熟稳定的情况下，这给大规模的农业物联网设备数据接入带来了一定的难度，同时智能设备扩展性受到农业企业二次开发能力的制约。同时当农业物联网设备的数量和数据的采集频率到达一定的峰值时，此方法采用的多线程接入方法一方面会消耗大量服务器资源，另一方面容易造成数据堵塞，出现数据丢失问题。
技术实现思路
本专利技术为了克服现有技术中的数据接入方法所存在的在实现异构物联网设备接入时需进行二次开发，且复杂低效的问题，提供一种数据接入方法及系统。一方面，本专利技术提供一种数据接入方法，包括：S1，接收目标设备对目标数据的传输请求，注册所述目标设备的相关参数信息，所述相关参数信息至少包括所述目标数据的类型和传输协议模式；S2，创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据；S3，根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器，获取转换后的所述目标数据；S4，根据所述目标数据的类型选择对应的映射规则，利用所述映射规则解析转换后的所述目标数据。优选地，所述步骤S2之前还包括：根据所述目标数据的类型配置对应的清洗规则，利用所述清洗规则对所述目标数据进行筛选；相应地，利用所述数据接收入口接收筛选后的所述目标数据。优选地，所述步骤S3之前还包括：根据所述目标数据的类型和传输协议模式配置对应的数据转换器，将所述对应的数据转换器加入所述数据转换器库。优选地，所述步骤S4之后，还包括：S5，将解析后的所述目标数据加入分布式消息队列中。优选地，所述步骤S5之后还包括：S6，根据解析后的所述目标数据创建对应的发布接口，基于所述分布式消息队列，利用所述发布接口对解析后的所述目标数据进行分发。优选地，所述目标数据的类型包括温度数据、湿度数据、风速数据和风向数据。优选地，所述清洗规则包括异常数据清洗规则、不规则数据清洗规则和时间清洗规则。一方面，本专利技术提供一种数据接入系统，包括：设备注册模块，用于接收目标设备对目标数据的传输请求，注册所述目标设备的相关参数信息，所述相关参数信息至少包括所述目标数据的类型和传输协议模式；数据接收模块，用于创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据；数据转换模块，用于根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器，获取转换后的所述目标数据；规则映射模块，用于根据所述目标数据的类型选择对应的映射规则，利用所述映射规则解析转换后的所述目标数据。优选地，还包括：数据清洗模块，用于根据所述目标数据的类型配置对应的清洗规则，利用所述清洗规则对所述目标数据进行筛选。优选地，还包括：数据分发模块，用于将解析后的所述目标数据加入分布式消息队列中，根据解析后的所述目标数据创建对应的发布接口，基于所述分布式消息队列，利用所述发布接口对解析后的所述目标数据进行分发。本专利技术提供的数据接入方法及系统针对不同的目标设备创建不同的数据接收入口，根据不同目标设备的传输协议选择对应的数据转换器，并根据传输的目标数据类型选择对应的映射规则，最终根据数据转换器和映射规则反向解析目标数据，能够对不同设备传输的数据进行动态接入，仅需针对不同的设备选择或配置对应的数据转换器和映射规则，无需进行二次开发，实现方式简单高效，能对多源异构的农业物联网数据进行简单高效稳定的接入，一定程度上为农业生产部门和农业企业提供了便利。同时将解析后的目标数据加入消息队列，并采用负载均衡调度的策略进行消息队列的调度，并结合目标数据对应的发布接口对目标数据进行分发，提高数据分发效率的同时还能够确保数据的安全性、一致性和稳定性。附图说明图1为本专利技术实施例的一种数据接入方法的整体流程示意图；图2为本专利技术实施例的一种数据接入系统的整体结构示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。图1为本专利技术实施例的一种数据接入方法的整体流程示意图，如图1所示，本专利技术提供一种数据接入方法，包括：S1，接收目标设备对目标数据的传输请求，注册所述目标设备的相关参数信息，所述相关参数信息至少包括所述目标数据的类型和传输协议模式；S2，创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据；S3，根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器，利用所述数据转换器将所述目标数据转换为数据包或数据文件；S4，根据所述目标数据的类型选择对应的映射规则，利用所述映射规则解析所述目标数据。在实际大规模农业物联网应用中，存在大规模农场或农业企业需采用不同厂商和不同类型的异构物联网设备，这些物联网设备采用的数据转化模式和格式都不相同，如温室大棚多采用网关和无线传感器节点模式，数据发送多采用IP地址网络直传或者是网关中心节点发布web数据服务等；如在田间气象观测应用中，多采用田间气象站，由于农田生产环境区别于工业生产环境，田间气象站本文档来自技高网...

【技术保护点】
一种数据接入方法，其特征在于，包括：S1，接收目标设备对目标数据的传输请求，注册所述目标设备的相关参数信息，所述相关参数信息至少包括所述目标数据的类型和传输协议模式；S2，创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据；S3，根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器，获取转换后的所述目标数据；S4，根据所述目标数据的类型选择对应的映射规则，利用所述映射规则解析转换后的所述目标数据。

【技术特征摘要】
1.一种数据接入方法，其特征在于，包括：S1，接收目标设备对目标数据的传输请求，注册所述目标设备的相关参数信息，所述相关参数信息至少包括所述目标数据的类型和传输协议模式；S2，创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据；S3，根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器，获取转换后的所述目标数据；S4，根据所述目标数据的类型选择对应的映射规则，利用所述映射规则解析转换后的所述目标数据。2.根据权利要求1所述的方法，其特征在于，所述步骤S2之前还包括：根据所述目标数据的类型配置对应的清洗规则，利用所述清洗规则对所述目标数据进行筛选；相应地，利用所述数据接收入口接收筛选后的所述目标数据。3.根据权利要求1所述的方法，其特征在于，所述步骤S3之前还包括：根据所述目标数据的类型和传输协议模式配置对应的数据转换器，将所述对应的数据转换器加入所述数据转换器库。4.根据权利要求1所述的方法，其特征在于，所述步骤S4之后，还包括：S5，将解析后的所述目标数据加入分布式消息队列中。5.根据权利要求4所述的方法，其特征在于，所述步骤S5之后还包括：S6，根据解析后的所述目标数据创建对应的发布接口，基于所述分布式消息队列，利用所述发布接口对解析后的所述...

【专利技术属性】
技术研发人员：姜舒文，董静，陈天恩，张驰，王登位，王聪，
申请(专利权)人：北京农业信息技术研究中心，
类型：发明
国别省市：北京,11