一种文物保护的异构数据接入方法、装置及系统制造方法及图纸

本发明专利技术提供了一种文物保护的异构数据接入方法、装置和系统，其中方法包括：构建多源异构数据采集引擎、统一接入协议和数据接入平台；根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集；根据所述统一接入协议，将所述原始数据集进行标准化处理，得到标准数据集；将所述标准数据集接入到所述数据接入平台，使所述数据接入平台对所述标准数据集进行展示、分析和预警。其解决了现有技术中存在的异构数据有采集困难、接入协议不统一等一系列问题。不统一等一系列问题。不统一等一系列问题。

【技术实现步骤摘要】
一种文物保护的异构数据接入方法、装置及系统


[0001]本专利技术涉及文物安全数据获取
，尤其涉及一种文物遗迹保护多源异构数据接入方法和系统。

技术介绍

[0002]目前就文物保护的数据在采集方面，文物安保系统存在有繁多的传感器、设备及系统，有些系统的数据采集问题较为复杂，比如较多应用系统年代久远，较难维护，难以采用数据接口或SDK的方式进行对接；
[0003]在传输方面，大多以博物馆数据交换技术研究为主，而相关的数据交换标准规范的制定工作还处于开始阶段，主要以地方标准及各个博物馆制定的信息化系统技术标准为主，而文物安保系统的数据感知、接入等相关规范尚未制定。
[0004]可见，现有技术中的文物保护中的异构数据存在采集困难、接入协议不统一等一系列问题。

技术实现思路

[0005]针对现有技术中所存在的不足，本专利技术提供的一种文物保护的异构数据接入方法、装置和系统，其解决了现有技术中存在的异构数据有采集困难、接入协议不统一等一系列问题。
[0006]根据本专利技术的实施例，第一个方面，在一个实施例中，提供了一种文物遗址保护异构数据接入方法，所述接入方法包括：
[0007]构建多源异构数据采集引擎、统一接入协议和数据接入平台；
[0008]根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集；
[0009]根据所述统一接入协议，将所述原始数据集进行标准化处理，得到标准数据集；
[0010]将所述标准数据集接入到所述数据接入平台，使所述数据接入平台对所述标准数据集进行展示、分析和预警。
[0011]在一个实施例中，在构建多源异构数据采集引擎之前，所述方法还包括：
[0012]根据数据的封闭性对多个数据源进行分类，得到开放系统数据源和封闭系统数据源。
[0013]在一个实施例中，当所述数据源的类型为开放系统数据源时，根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集，包括：
[0014]所述多源异构数据采集引擎根据rabbitmq消息中间件进行数据交换和系统间的解耦；
[0015]通过消息同步式接入方法，数据源将数据转为JSON字符串后，再转为字符流进行发送；
[0016]所述多源异构数据引擎将字符流数据转为字符串后再使用JSON工具进行格式化
处理，转为对应的原始数据集。
[0017]在一个实施例中，当所述数据源的类型为开放系统数据源时，根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集，还包括：
[0018]所述多源异构数据采集引擎根据数据接口直连式接入方法，从所述开放系统数据源中获取数据，得到所述原始数据集；
[0019]或/和，所述多源异构数据采集引擎根据所述数据库直连式接入方法，通过数据库账户与口令连接数据库进行数据采集，得到所述原始数据集；多源异构数据采集引擎采用Kettle作为数据采集工具，通过制定转换规则，实现数据的抽取和转换；
[0020]所述视频接入式接入方法，主要以“Kafka+opencv+Flink+Elk+Redis”实现视频的采集及预处理。
[0021]在一个实施例中，当所述数据源的类型为封闭系统数据源时，根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集，包括：
[0022]所述多源异构数据采集引擎通过网络嗅探及抓包的方式获取封闭系统的数据，得到原始数据集。
[0023]在一个实施例中，所述步骤“根据所述统一接入协议，将所述原始数据集进行标准化处理，得到标准数据集”之后还包括：
[0024]将标准化后的数据集发送至数据代理终端。
[0025]在一个实施例中，所述步骤“将所述标准数据集接入到所述数据接入平台，使所述数据接入平台对所述标准数据集进行展示、分析和预警”之后还包括：
[0026]利用数据接入平台实现对数据源的管理和控制。
[0027]第二个方面，提出了一种基于上述实施例中任意一项所述的文物遗址保护异构数据接入装置，主要包括：
[0028]多源异构数据采集引擎构建模块，用于构建多源异构数据采集引擎；
[0029]数据采集模块，用于利用多源异构数据采集引擎分别从多个数据源中采集数据；
[0030]统一接入协议构建模块，用于构建数据交换的统一接入协议，实现采集数据的标准化；
[0031]数据接入平台构建模块，用于构建数据接入平台，实现对采集数据的接入。
[0032]在一个实施例中，文物遗址保护异构数据接入装置，还包括：
[0033]数据源划分模块，用于对数据源根据数据的封闭性进行划分；
[0034]数据源管理模块，用于利用数据接入平台实现对数据源的管理和控制。
[0035]第三个方面，提出了一种基于上述实施例中任意一项所述的文物遗址保护异构数据接入系统，主要包括：
[0036]数据源、异构多源数据采集引擎和数据接入平台；
[0037]所述数据源用于监测要地安防的电力数据、现场环境数据和安防信息；
[0038]所述异构多源数据采集引擎用于实时采集数据源的数据并发送到数据接入平台，所述异构多源数据采集引擎和安全数据接入平台之间通过自定义的统一接入协议进行通信；
[0039]所述数据接入平台用于实现对数据源的管理和控制，为上层提供应用和统一接口，提供数据源的接入、管理，数据采集、规则制定、数据存储/转发及安全管理功能。
[0040]相比于现有技术，本专利技术具有如下有益效果：
[0041]1、构建了多源异构数据的采集引擎，从多个数据源中获取数据，解决了现有技术中存在的异构数据采集困难的问题。
[0042]2、制定了统一接入协议，对原始数据进行标准化处理，解决了现有技术中存在的接入协议不统一的问题。
附图说明
[0043]图1为本专利技术实施例的文物保护的异构数据接入方法流程图。
[0044]图2为本专利技术另一实施例的文物保护的异构数据接入系统图。
具体实施方式
[0045]下面结合附图及实施例对本专利技术中的技术方案进一步说明。
[0046]第一个方面，在一个实施例中，如图1所示，提供了一种文物遗址保护异构数据接入方法，所述接入方法包括：
[0047]构建多源异构数据采集引擎、统一接入协议和数据接入平台；
[0048]根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集；
[0049]根据所述统一接入协议，将所述原始数据集进行标准化处理，得到标准数据集；
[0050]将所述标准数据集接入到所述数据接入平台，使所述数据接入平台对所述标准数据集进行展示、分析和预警。
[0051]在上述实施例中，数据源为要地的UPS电源、温度传感器、湿度传感器、烟雾传感器、烟雾传感器、漏水传感器、气体传感器、防火门传感器、视频监控、网络监控、区域入侵报警系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文物遗址保护异构数据接入方法，其特征在于，所述接入方法包括：构建多源异构数据采集引擎、统一接入协议和数据接入平台；根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集；根据所述统一接入协议，将所述原始数据集进行标准化处理，得到标准数据集；将所述标准数据集接入到所述数据接入平台，使所述数据接入平台对所述标准数据集进行展示、分析和预警。2.如权利要求1所述的一种文物遗址保护异构数据接入方法，其特征在于，在构建多源异构数据采集引擎之前，所述方法还包括：根据数据的封闭性对多个数据源进行分类，得到开放系统数据源和封闭系统数据源。3.如权利要求2所述的一种文物遗址保护异构数据接入方法，其特征在于，当所述数据源的类型为开放系统数据源时，根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集，包括：所述多源异构数据采集引擎根据rabbitmq消息中间件进行数据交换和系统间的解耦；通过消息同步式接入方法，数据源将数据转为JSON字符串后，再转为字符流进行发送；所述多源异构数据引擎将字符流数据转为字符串后再使用JSON工具进行格式化处理，转为对应的原始数据集。4.如权利要求2所述的一种文物遗址保护异构数据接入方法，其特征在于，当所述数据源的类型为开放系统数据源时，根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集，还包括：所述多源异构数据采集引擎根据数据接口直连式接入方法，从所述开放系统数据源中获取数据，得到所述原始数据集；或/和，所述多源异构数据采集引擎根据所述数据库直连式接入方法，通过数据库账户与口令连接数据库进行数据采集，得到所述原始数据集；多源异构数据采集引擎采用Kettle作为数据采集工具，通过制定转换规则，实现数据的抽取和转换；所述视频接入式接入方法，主要以“Kafka+opencv+Flink+Elk+Redis”实现视频的采集及预处理。5.如权利要求2所述的一种文物遗址保护异构数据接入方法，其特征在于，当所述数据源的类型为封闭系统数据源时...

【专利技术属性】
技术研发人员：位冠飞，殷庆，王奎，李想，郭磊，江曼，陈潇，
申请(专利权)人：重庆声光电智联电子有限公司，
类型：发明
国别省市：