本发明专利技术提供一种数据清洗统一方法、装置、设备和介质，包括接入智能建筑领域涉及的各种智能化系统的终端设备；获取终端设备的原始数据；依据设定的数据划分标准对原始数据进行划分，将各终端设备的通讯接口协议转换为统一的标准协议格式；依据划分后的数据信息和标准协议格式建立各终端设备的设备数据模型库，生成相应的设备数据模型；依据生成的设备数据模型对终端设备运行产生的数据信息进行清洗封装，生成统一格式的数据；将统一格式的数据汇集至数据中心，由数据中心对外部提供统一的数据格式和标准接口服务。本发明专利技术的优点：相较于现有的数据集成方法，在实时性、稳定性和扩展性方面都得到显著的提升，能够适用于中大型智能建筑群使用。筑群使用。筑群使用。
【技术实现步骤摘要】
一种数据清洗统一方法、装置、设备和介质
[0001]本专利技术涉及计算机
，特别涉及一种数据清洗统一方法、装置、设备和介质。
技术介绍
[0002]随着建筑智能化程度的不断提高，建筑内的智能化子系统和物联网终端越来越多，智能建筑领域所涉及的相关设备数量呈几何级倍增，设备在运行过程中产生的数据量可达EB级，海量级的数据使得管理难度持续增大。
[0003]智能化终端设备囊括成百上千种不同的类型、品牌、型号和各个系统，不同的协议使得各设备系统间的数据打通和整合变得十分困难。
[0004]由于不同设备的通讯协议不同，通讯响应的速率不同，信息通讯有时延，使得设备间的信息传输成本、计算成本和运维巡检成本不断攀升，有必要引入边缘计算，以降低成本。
[0005]为实现智慧建筑领域内不同设备间的设备联动和统一管理，要求不同的相关设备间可进行数据对接，设备信息可互通，产生的数据可共享，以此可进行统一分析决策，同时对设备进行生命周期的管理。
[0006]为了使设备产生的海量数据产生更多的价值，通过平台的数据挖掘技术，为运营决策提供有力支撑。当系统打通之后，由于没有形成统一的数据标准和管理机制，各家标准差异巨大，在上层应用的使用和第三方平台的开放对接上又有新的困难产生。
[0007]为了使智慧建筑下涉及的设备操作应用和运维服务更加的便捷有效，提供移动端的服务平台变得更为迫切。
[0008]目前，市场上通用的解决办法是先进行局部统一再上层集中。具体是先将设备按不同的区域进行划分，在同一区域内将同一厂家同种类型的设备进行集成后，将同一个区域内集成的子系统再上层集中，按照这种数据集成方法，集成的次数多，层次多，操作繁琐，实现复杂，开放性不足，系统的稳定性和实时性都受到严重影响；且在设备种类多、涉及厂家多的场景下还需要部署多个不同的实现方案。因此，现有方法采集的数据规模只能在万级别以下，仅适用于小型建筑，对于中大型智能建筑群，目前市场上还没有成熟的解决方案。
技术实现思路
[0009]本专利技术要解决的技术问题，在于提供一种数据清洗统一方法、装置、设备和介质，解决现有数据集成方法存在的稳定性、实时性差，适用范围小的问题。
[0010]第一方面，本专利技术提供了一种数据清洗统一方法，所述方法包括：
[0011]接入智能建筑领域涉及的各种智能化系统的终端设备；
[0012]获取各种智能化系统的终端设备的原始数据；
[0013]依据设定的数据划分标准对获取到的原始数据进行划分，并将各种终端设备的通
讯接口协议转换为统一的标准协议格式；
[0014]依据划分后的数据信息和标准协议格式建立各种终端设备的设备数据模型库，生成相应的设备数据模型；
[0015]依据生成的设备数据模型对终端设备运行产生的数据信息进行清洗封装，生成统一格式的数据；
[0016]将统一格式的数据汇集至数据中心，由数据中心对外部提供统一的数据格式和标准接口服务。
[0017]进一步的，所述原始数据至少包括终端设备的品牌信息、型号信息、协议管理信息和常用配置信息；在设定的数据划分标准中，至少包括品牌、型号和协议三个划分类别。
[0018]进一步的，所述设备数据模型的模型字段包括设备编号、设备名称、设备品牌、设备类型、外部设备编号或者设备型号，并且每一设备数据模型均与对应的终端设备进行绑定。
[0019]进一步的，在数据中心对外部提供统一的数据格式和标准接口服务时，根据业务和应用要求开放接口授权，设置安全认证机制，同时区分不同的接口设置分级权限。
[0020]进一步的，所述方法还包括：通过可视化的配置界面提供设备管理、配置管理和系统设置功能；
[0021]所述设备管理包括对终端设备进行增加、修改和删除操作，并以主从表的形式呈现对接时导入至设备数据模型中的终端设备的点位信息，所述点位信息至少包括点位ID、点位名称、属性名称、设备分类和协议名称；在导入终端设备的点位信息时，包括通过单个导入的方式将终端设备的点位信息导入至设备数据模型或者通过模板批量导入的方式将终端设备的点位信息导入至设备数据模型，并将终端设备的点位信息与设备数据模型中的属性进行关联；
[0022]所述配置管理包括对外部应用服务进行授权，并对外部应用服务和协议进行管理，协议管理至少包括删除、修改、增加协议类型和协议实例；外部应用服务管理包括统计服务调用次数、查看外部应用服务日志和事件日志；
[0023]所述系统设置包括对菜单、部门、角色和用户进行管理。
[0024]进一步的，所述方法还包括：当终端设备与外部应用服务进行对接交互时，记录整个对接交互过程的操作详情信息；当外部应用服务调用标准接口服务时，自动记录服务的使用日志；当采集到终端设备的数据信息时，自动记录采集的数据信息。
[0025]进一步的，所述方法还包括：通过状态板块对接口服务的调用进行图形化展示，所述状态板块至少包括服务运行状态板块和事件回调状态板块。
[0026]第二方面，本专利技术提供了一种数据清洗统一装置，所述装置包括设备接入模块、数据获取模块、数据划分模块、模型生成模块、数据清洗模块和对外服务模块；
[0027]所述设备接入模块，用于接入智能建筑领域涉及的各种智能化系统的终端设备；
[0028]所述数据获取模块，用于获取各种智能化系统的终端设备的原始数据；
[0029]所述数据划分模块，用于依据设定的数据划分标准对获取到的原始数据进行划分，并将各种终端设备的通讯接口协议转换为统一的标准协议格式；
[0030]所述模型生成模块，用于依据划分后的数据信息和标准协议格式建立各种终端设备的设备数据模型库，生成相应的设备数据模型；
[0031]所述数据清洗模块，用于依据生成的设备数据模型对终端设备运行产生的数据信息进行清洗封装，生成统一格式的数据；
[0032]所述对外服务模块，用于将统一格式的数据汇集至数据中心，由数据中心对外提供统一的数据格式和标准接口服务。
[0033]第三方面，本专利技术提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
[0034]第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
[0035]本专利技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0036]本申请实施例提供的方法、装置、设备和介质，能够将不同品牌、不同型号等各种智能化系统的终端设备协议转化为软件应用平台的通用协议，并根据业务和应用需求开放接口授权，将IoT通讯能力开放给外部应用服务使用，相较于现有的数据集成方法，在实时性、稳定性和扩展性方面都得到显著的提升，能够适用于中大型智能建筑群使用；同时可以提供可视化的配置界面，使原本复杂的配置逻辑变得简单易懂，提高使用效率；因此本专利技术的技术本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据清洗统一方法，其特征在于：所述方法包括：接入智能建筑领域涉及的各种智能化系统的终端设备；获取各种智能化系统的终端设备的原始数据；依据设定的数据划分标准对获取到的原始数据进行划分，并将各种终端设备的通讯接口协议转换为统一的标准协议格式；依据划分后的数据信息和标准协议格式建立各种终端设备的设备数据模型库，生成相应的设备数据模型；依据生成的设备数据模型对终端设备运行产生的数据信息进行清洗封装，生成统一格式的数据；将统一格式的数据汇集至数据中心，由数据中心对外部提供统一的数据格式和标准接口服务。2.根据权利要求1所述的一种数据清洗统一方法，其特征在于：所述原始数据至少包括终端设备的品牌信息、型号信息、协议管理信息和常用配置信息；在设定的数据划分标准中，至少包括品牌、型号和协议三个划分类别。3.根据权利要求1所述的一种数据清洗统一方法，其特征在于：所述设备数据模型的模型字段包括设备编号、设备名称、设备品牌、设备类型、外部设备编号或者设备型号，并且每一设备数据模型均与对应的终端设备进行绑定。4.根据权利要求1所述的一种数据清洗统一方法，其特征在于：在数据中心对外部提供统一的数据格式和标准接口服务时，根据业务和应用要求开放接口授权，设置安全认证机制，同时区分不同的接口设置分级权限。5.根据权利要求1所述的一种数据清洗统一方法，其特征在于：所述方法还包括：通过可视化的配置界面提供设备管理、配置管理和系统设置功能；所述设备管理包括对终端设备进行增加、修改和删除操作，并以主从表的形式呈现对接时导入至设备数据模型中的终端设备的点位信息，所述点位信息至少包括点位ID、点位名称、属性名称、设备分类和协议名称；在导入终端设备的点位信息时，包括通过单个导入的方式将终端设备的点位信息导入至设备数据模型或者通过模板批量导入的方式将终端设备的点位信息导入至设备数据模型，并将终端设备的点位信息与设备数据模型中的属性进行关联；所述配置管理包括对外部应用服务进行授权...
【专利技术属性】
技术研发人员：於文，
申请(专利权)人：厦门泛卓信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。