一种物联网数据预处理的方法及系统技术方案

本发明专利技术涉及一种物联网数据预处理的方法及系统，该系统包括：用户权限校验模块，对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性；数据及事件过滤模块，根据数据过滤配置文件，仅保留符合要求的传感数据和事件通知，丢弃垃圾数据；以及数据及事件有效性检查模块，根据有效性配置文件，逐项检查数据有效性并作规定的预处理操作；数据预处理之后，将合法的数据保存到数据库。本发明专利技术方法简单，能降低系统的出错率。

【技术实现步骤摘要】
一种物联网数据预处理的方法及系统
本专利技术涉及一种物联网数据预处理的方法及系统。
技术介绍
物联网是将小范围内的设备由特定的网络协议构成自组织网络，物联网的中心是一个汇聚节点，该节点一般具有与外部公网(Internet等)的连接能力。物联网主要解决孤立设备的联网问题，联网不依赖于公有网络，一般组成自组织的专有网络。物联网如果需要大范围部署，一般采取的方式是，小范围使用物联网联网，然后每个物联网子网的汇聚节点与中心服务器联网，最终形成一个跨区域部署的网络。物联网是脆弱的网络，物联网子网可能出现故障，物联网子网数据可能出现传输异常，子网监控困难，网络结构随时可能发生变化。中心服务器要处理这种数据，需要一套完整的数据预处理机制，以降低系统出错的概率。
技术实现思路
本专利技术的目的是提供一种物联网数据预处理的方法，能降低物联网系统的出错率。本专利技术采用以下方案实现：一种物联网数据预处理的方法，其特征在于包括以下步骤：步骤S11：对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性；步骤S12：采用物联网数据过滤规则，过滤传感数据中非法的传感数据；采用物联网事件过滤规则，过滤掉非法的事件消息；采用用户权限与业务对应规则，过滤非法的用户查询请求；步骤S13：按照物联网数据及事件类型，校验数据或事件的格式，对于不能正常识别的格式，通知系统管理员并写入系统Log，数据做丢弃或备份处理；对于格式能够识别，但是数据的组织形式与物联网服务器要求的不同，需要做一个物联网数据及事件的格式适配工作；最后将校验后的物联网合法数据及事件提交到数据库。在本专利技术一实施例中，所述不同的数据来源包括物联网子网的传感数据、对于物联网子网的事件通知和订阅用户查询请求；对于物联网子网的传感数据，需要检查子网络是否授权接入，并且具有上传传感数据的权限，赋予授权网络传感数据上传权限；对于物联网子网的事件通知，需要检查子网络是否授权接入，并且具有事件通知上报权限，赋予授权网络事件通知上报权限；对于订阅用户查询请求，需要用户身份验证，业务合法性验证，仅接受合法用户的授权业务内的查询请求，拒绝非授权业务查询请求。在本专利技术一实施例中，所述的非法的传感数据包括数据传输失真、数据格式错误和数据数值失真。本专利技术的另一目的是提供一种物联网数据预处理系统，其特征在于包括：用户权限校验模块，对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性；数据及事件过滤模块，根据数据过滤配置文件，仅保留符合要求的传感数据和事件通知，丢弃垃圾数据；以及数据及事件有效性检查模块，根据有效性配置文件，逐项检查数据有效性并作规定的预处理操作；数据预处理之后，将合法的数据保存到数据库。本专利技术构思简单，三个模块的配合操作就能实现对接入数据从校验到错误数据的处理、合法数据的提交等，能最大程度的降低系统的出错率。附图说明图1是本专利技术数据预处理的总体框图。图2是本专利技术用户权限校验模块框图。图3是数据及事件过滤模块框图。图4是数据及事件有效性校验模块框图。具体实施方式为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。在以下描述中阐述了具体细节以便于充分理解本专利技术。但是本专利技术能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广。因此本专利技术不受下面公开的具体实施方式的限制。物联网数据预处理引擎可以部署在物联网数据中心服务器，可能部署在物联网网关节点(对外通信节点)中。物联网数据预处理的对象包含三种：物联网子网的传感数据；物联网子网的事件通知和订阅用户的查询操作(查询事件)。对于上述三种数据类型，数据预处理引擎经过下述过程进行预处理：步骤S11：对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性；步骤S12：采用物联网数据过滤规则，过滤传感数据中非法的传感数据；采用物联网事件过滤规则，过滤掉非法的事件消息；采用用户权限与业务对应规则，过滤非法的用户查询请求；步骤S13：按照物联网数据及事件类型，校验数据或事件的格式，对于不能正常识别的格式，通知系统管理员并写入系统Log，数据做丢弃或备份处理；对于格式能够识别，但是数据的组织形式与物联网服务器要求的不同，需要做一个物联网数据及事件的格式适配工作；最后将校验后的物联网合法数据及事件提交到数据库。具体的，请参见图1，本实施例提供一种物联网数据预处理系统，该系统包括：(1)用户权限校验模块，效验用户合法性和业务合法性，拒绝非法的数据请求；(2)数据及事件过滤模块，根据数据过滤配置文件，仅保留符合要求的传感数据和事件通知，丢弃垃圾数据；(3)数据及事件有效性检查模块，根据有效性配置文件，逐项检查数据有效性并作规定的预处理操作(取值范围规范化等)。数据预处理之后，将合法的数据保存到数据库。用户权限校验模块主要功能是接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性。针对不同的数据来源，权限校验采取不同的策略。对于物联网子网的传感数据，需要检查子网络是否授权接入，并且具有上传传感数据的权限，赋予授权网络传感数据上传权限；对于物联网子网的事件通知，需要检查子网络是否授权接入，并且具有事件通知上报权限，赋予授权网络事件通知上报权限；对于订阅用户查询请求，需要用户身份验证，业务合法性验证，仅接受合法用户的授权业务内的查询请求，拒绝非授权业务查询请求。用户权限校验模块的框图如图2所示。数据及事件过滤模块，用于初步过滤非法数据(数据传输失真，数据类型错误，数据格式错误，事件类型错误，事件格式错误，数据数值失真，虚假数据)，降低后续的数据处理难度和出错概率，提高物联网服务器的稳定性。采用物联网数据过滤规则，过滤传感数据中非法的传感数据(数据传输失真，数据格式错误，数据数值失真等)；采用物联网事件过滤规则，过滤掉非法的事件消息；采用用户权限与业务对应规则，过滤非法的用户查询请求。物联网传感数据数据及事件过滤模块框图如图3所示。物联网权限校验模块和数据过滤模块已经能够阻止多数的非法访问，但是无法阻止合法访问中失真的数据。失真的数据或不完整的数据会引起数据存储和数据分析出错。物联网数据及事件有效性校验模块作用就是矫正合法访问中的失真数据。具体步骤如下：按照物联网数据及事件类型，校验数据或事件的格式，对于不能正常识别的格式，通知系统管理员并写入系统Log，数据做丢弃或备份处理。对于格式能够识别，但是数据的组织形式与物联网服务器要求的不同，需要做一个物联网数据及事件的格式适配工作。数据有效性校验的最后一步是将其提交给外部模块。数据及事件有效性校验模块，如图4所示。本专利技术虽然已以较佳实施例公开如上，但其并不是用来限定本专利技术，任何本领域技术人员在不脱离本专利技术的精神和范围内，都可以利用上述揭示的方法和
技术实现思路
对本专利技术技术方案做出可能的变动和修改，因此，凡是未脱离本专利技术技术方案的内容，依据本专利技术的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，本文档来自技高网...

【技术保护点】
一种物联网数据预处理的方法，其特征在于包括以下步骤：   步骤S11：对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性；   步骤S12：采用物联网数据过滤规则，过滤传感数据中非法的传感数据；采用物联网事件过滤规则，过滤掉非法的事件消息；采用用户权限与业务对应规则，过滤非法的用户查询请求；步骤S13：按照物联网数据及事件类型，校验数据或事件的格式，对于不能正常识别的格式，通知系统管理员并写入系统Log，数据做丢弃或备份处理；对于格式能够识别，但是数据的组织形式与物联网服务器要求的不同，需要做一个物联网数据及事件的格式适配工作；最后将校验后的物联网合法数据及事件提交到数据库。

【技术特征摘要】
1.一种物联网数据预处理的方法，其特征在于包括以下步骤：步骤S11：对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性；物联网数据包括物联网子网的传感数据、对于物联网子网的事件通知和订阅用户查询请求；对于物联网子网的传感数据，需要检查子网络是否授权接入，并且具有上传传感数据的权限，赋予授权网络传感数据上传权限；对于物联网子网的事件通知，需要检查子网络是否授权接入，并且具有事件通知上报权限，赋予授权网络事件通知上报权限；对于订阅用户查询请求，需要用户身份验证，业务合法性验证，仅接受合法用户的授权业务内的查询请求，拒绝非授权业务查询请求；步骤S12：采用物联网数据过滤规则，过滤传感数据中非法的传感数据；采用物联网事件过滤规则，过滤掉非法的事件消息；采用用户权限与业务对应规则，过滤非法的用户查询请求；所述的非法的传感数据包括数据传输失真、数据格式错误和数据数值失真；所述非法的事件消息包括事件类型错误、事件格式错误；步骤S13：对于合法访问中的失真数据，按照物联网数据及事件类型，校验数据或事件的格式，对于不能正常识别的格式，通知系统管理员并写入系统Log，数据做丢弃或备份处理；对于格式能够识别，但是数据的组织形式与物联网服务器要求的不同，需要做一个物联网数据及事件的格式适配工作即矫正失真数据；最后将校验后的物联网合法数据及事件提交到数据库。2.一种物联网数据预处理系统，其特征在于包括：用户权限校验模块，对接入合法性检查，并根据权限配置文件，赋予接入子网或用户...

【专利技术属性】
技术研发人员：陈圣群，施海柳，李静，
申请(专利权)人：福建江夏学院，
类型：发明
国别省市：福建;35