一种智能物联网探索式数据分析焦点关联技术应用系统技术方案

本发明专利技术提供了一种智能物联网探索式数据分析焦点关联技术应用系统，本发明专利技术提出了智能物联网探索式数据分析焦点关联技术，该方法以边缘端探索式数据分析技术为指导，实现了异构协议统一接入和数据转换、感知数据计算、感知数据存储、感知数据管控、前端告警、联动反馈等的集成使用问题，提出了异构感知数据综合处理焦点提取技术、数据动态规则联动技术，本发明专利技术有效解决了目前智慧营区内网关仅仅采集数据，无分析无反馈的现状。无分析无反馈的现状。无分析无反馈的现状。

【技术实现步骤摘要】
一种智能物联网探索式数据分析焦点关联技术应用系统


[0001]本专利技术属于智慧军营、智慧园区等实体物联网应用领域，特别涉及一种智能物联网探索式数据分析焦点关联技术应用系统。

技术介绍

[0002]目前智慧营区在内部物联网末梢网上部署了海量传感设备，用于感知营区的人、车、物和环境情况，营区的物联网感知数据也从产生发展到被感知、被利用、被联动和被深度挖掘的从量变到质变的感知数据生命周期变化。信息技术的发展推动营区信息系统的云脑计算力从云计算已经发展到“云+边”混合模式。如何有效地利用边缘计算技术提高智慧营区末端“计算力”，解决物联网末端数据处理和响应的问题是需要重点关注的问题。
[0003]为解决采集接入的问题，在海量数据激增的同时，智慧营区信息系统建设相关研究中多在解决多样化异构设备的通信接口、协议和数据格式等问题，这些在采集阶段会带来一定的数据复杂性，一般性的网关在解决屏蔽异构感知数据面向应用系统提供统一的业务数据提供了一些解决方案。但是随着计算力的提升和数据的接入，如何有效的在智慧营区信息系统建设的边缘就“即刻”响应数据的变化，协调装备、设备、传感器等之间有效的协作，从信息流与响应者间的通信、响应者的活动与活动的时限和规则等角度去描述以及处理感知边缘的智慧营区业务，是技术难点。

技术实现思路

[0004]专利技术目的：针对当前在营区环境下的种类繁多、协议格式不同的末端数据采集、存储和处理过程中，以构建统一标准为起点，业界已通过网关设计充分兼容各个源头的数据。但是并没有彻底解决在解决海量感知数据整合和关联问题，以及态势感知联动、数据安全可信和智慧精细化管理问题。本专利技术提出一种智能物联网探索式数据分析焦点关联技术应用系统，能够结合当前现有的数据采集接入方法，引导智慧军营物联网环境下现有智能网关从仅仅数据透传的采集汇聚数据向探索式数据焦点提取以及内置规则关联反馈模式转变，实现智慧营区智能化改造的平滑升级。
[0005]本专利技术系统包含异构协议统一接入和数据转换模块、感知数据计算模块、感知数据存储模块、感知数据管控模块、前端告警模块和联动反馈模块；
[0006]所述异构协议统一接入和数据转换模块用于，面向各类物联网感知设备，通过通信协议格式解析、格式转换和数据融合，实现不同协议数据接入，包括WIFI接入、WG接入、网口接入、串口接入和WAPI接入；通过低代码组件化操作，在提供的统一数据编配操作面板，进行输入传输通道模板配置操作，实现对感知层各类不同协议数据和数据格式之间的转换。
[0007]所述感知数据计算模块包括数据预处理模块、数据交换模块和任务调度处理模块，所述数据预处理模块用于进行数据预处理，所述数据预处理包括数据精简、数据合并、数据采样、数据降维、特征子集选择、离散化与二值化、属性变换，最终得到预处理后的数
据。
[0008]所述数据交换模块用于，完成接入服务、访问控制服务、消息转换服务、数据路由服务和管理服务；其中接入服务映射到每种协议，通过缓冲区优先级设置、权限设置实现数据的访问控制服务，访问控制服务包括敏感安全性验证机制、来源安全控制(不明来源)、频度安全控制(异常数据访问频度如发送过于频繁激增等情况)等，通过消息转换服务完成消息格式统一化处理，通过数据路由服务和管理服务实现打定数据标签的数据分发渠道和接收对象的路由。
[0009]所述任务调度处理模块用于采用定时策略运行完成任务调度的工作，并且监督任务的运行情况；所述任务调度的工作包括数据采集、数据计算分析，最终输出数据。
[0010]所述感知数据存储模块用于，通过提供区分化的存储方式，对结构化、非结构化的数据和流式的数据，进行数据的存储。
[0011]所述感知数据管控模块用于，以焦点提取为目标，统一对数据的质量进行督查，所述督查包括数据检查、校验和测试，对数据的完整性、准确性和可靠性进行评估，同步分析数据的存储结构，剔除异常数据，对感知数据的行为进行审计，感知数据包括环境数据、设备数据、传感器数据、位置数据、用户行为数据和运行状态数据，对数据进行不同类型、不同权限层次的授权，如智能合约对DAC效率的增强，通过计算机编程语言撰写程序，合约生成自动上传到区块链网络，在执行过程中无需第三方，程序自动执行且随机抽查完成情况，满足条件继续执行，违约则直接出发惩罚条件，此处通过感知数据管控模块自动对数据进行处理，并对数据资源进行统一的管理，包括对数据量进行统一的计数计量，运用异构感知数据综合处理焦点提取技术，在数据库中查询关联上下文，提取可能的影响因素和实际对象要素，进行统一的主题化管理，利用Isolation Forest算法和改进K
‑
means算法对感知数据进行分析，形成异常特征区域，并进行影响分析，分析得出时间、地点、数据值的影响情况。
[0012]所述前端告警模块通过预设的预警规则、对比数据差值情况进行前端告警提示，包括实时数据越界告警、数据变化趋势告警、偏离正常范围告警、异常数据值告警、重复数据值告警、故障数据值告警、数据缺失告警，根据预置的联动反馈规则、反馈流程编排、决策模块，完成向后台系统传递前端告警信息，形成事件驱动联动反馈，包括报警触发联动、定时联动、数据值联动、特征值联动；
[0013]所述联动反馈模块用于规则配置管理、事件流程编排、决策模块和日志管理。
[0014]所述数据精简通过定义冗余字段实现去冗余，数据合并通过时间标签和量化值的变化合并量化值不变时间量内的数据，数据采样通过设定采样标记点的方式进行数据收集，数据降维通过定义数据关注维度的方式减少数据复杂性，特征子集选择通过预置特征子集经验值给出预案提供选择手段，形成特征生成成果，然后通过离散化与二值化、属性变换对数据进行整理。
[0015]所述感知数据管控模块执行如下步骤：
[0016]步骤1，所述感知数据管控模块通过Isolation Forest算法和改进K
‑
means算法，分析形成异常特征区域，具体包括如下步骤：
[0017]步骤1
‑
1，所述Isolation Forest算法采用二叉树对数据进行切分，数据点在二叉树当中所处的深度反应了数据在集合中的离散程度，具体包括：
[0018]构建二叉树并组合成森林：对给定的感知数据集D，随机选择一个属性X1，并在该
属性X1的最大值与最小值之间随机选择一个值Y，将数据集D中小于该值Y的数据划分到二叉树左分支，大于等于该值Y的数据划分到右分支，重复上述步骤直到数据集只有一条或两条以上相同记录，或二叉树达到限定高度；
[0019]计算异常度系数：由于异常点对于数据集而言十分稀有，所以通过根节点和叶节点的路径h(x)判断一个数据点x是否为异常点，采用如下公式：
[0020][0021]其中Score(x,n)是数据点x在n个样本构成的二叉树iTree中的异常度系数；E(h(x))表示数据x在每棵树中的平均路径长度，C(n)是一个修正值，一般情况下，C(n)的公式为：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能物联网探索式数据分析焦点关联技术应用系统，其特征在于，包含异构协议统一接入和数据转换模块、感知数据计算模块、感知数据存储模块、感知数据管控模块、前端告警模块和联动反馈模块；所述异构协议统一接入和数据转换模块用于，面向各类物联网感知设备，通过通信协议格式解析、格式转换和数据融合，实现不同协议数据接入，包括WIFI接入、WG接入、网口接入、串口接入和WAPI接入；通过低代码组件化操作，在提供的统一数据编配操作面板，进行输入传输通道模板配置操作，实现对感知层各类不同协议数据和数据格式之间的转换。2.根据权利要求1所述的系统，其特征在于，所述感知数据计算模块包括数据预处理模块、数据交换模块和任务调度处理模块，所述数据预处理模块用于进行数据预处理，所述数据预处理包括数据精简、数据合并、数据采样、数据降维、特征子集选择、离散化与二值化、属性变换，最终得到预处理后的数据。3.根据权利要求2所述的系统，其特征在于，所述数据交换模块用于，完成接入服务、访问控制服务、消息转换服务、数据路由服务和管理服务；其中接入服务映射到每种协议，通过缓冲区优先级设置、权限设置实现数据的访问控制服务，访问控制服务包括敏感安全性验证机制、来源安全控制、频度安全控制，通过消息转换服务完成消息格式统一化处理，通过数据路由服务和管理服务实现打定数据标签的数据分发渠道和接收对象的路由。4.根据权利要求3所述的系统，其特征在于，所述任务调度处理模块用于采用定时策略运行完成任务调度的工作，并且监督任务的运行情况；所述任务调度的工作包括数据采集、数据计算分析，最终输出数据。5.根据权利要求4所述的系统，其特征在于，所述感知数据存储模块用于，通过提供区分化的存储方式，对结构化、非结构化的数据和流式的数据，进行数据的存储。6.根据权利要求5所述的系统，其特征在于，所述感知数据管控模块用于，以焦点提取为目标，统一对数据的质量进行督查，所述督查包括数据检查、校验和测试，对数据的完整性、准确性和可靠性进行评估，同步分析数据的存储结构，剔除异常数据，对感知数据的行为进行审计，感知数据包括环境数据、设备数据、传感器数据、位置数据、用户行为数据和运行状态数据，对数据进行不同类型、不同权限层次的授权，并对数据资源进行统一的管理，包括对数据量进行统一的计数计量，运用异构感知数据综合处理焦点提取技术，在数据库中查询关联上下文，提取可能的影响因素和实际对象要素，进行统一的主题化管理，利用Isolation Forest算法和改进K
‑
means算法对感知数据进行分析，形成异常特征区域，并进行影响分析，分析得出时间、地点、数据值的影响情况。7.根据权利要求6所述的系统，其特征在于，所述前端告警模块通过预设的预警规则、对比数据差值情况进行前端告警提示，包括实时数据越界告警、数据变化趋势告警、偏离正常范围告警、异常数据值告警、重复数据值告警、故障数据值告警、数据缺失告警，根据预置的联动反馈规则、反馈流程编排、决策模块，完成向后台系统传递前端告警信息，形成事件驱动联动反馈，包括报警触发联动、定时联动、数据值联动、特征值联动；所述联动反馈模块用于规则配置管理、事件流程编排、决策模块和日志管理。8.根据权利要求7所述...

【专利技术属性】
技术研发人员：金鑫，韩风，卢明许，李兆峰，熊诗，封颖，田丹，刘彬彬，张硕，李敬雯，周烨，朱慧佳，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：