实时数据变动提醒与推送的方法、边缘计算终端及存储介质技术

本发明专利技术提供了一种实时数据变动提醒与推送的方法、边缘计算终端及存储介质，该方法包括以下步骤：步骤1，监听提取步骤；通过编码获取到数据库DML操作并对二进制操作日志进行解析，转换为JSON格式的编码后发送到分类解析步骤；步骤2，分类解析步骤；获取到监听提取步骤解析后的JSON格式字符串后进行反序列化操作，并按照业务逻辑以“option”字段区分日志的操作，包装成一个完整的业务对象，通过内部调用的方式传递到事件封装及推送步骤；步骤3，事件封装及推送步骤；步骤4，轮询步骤。本发明专利技术的有益效果是：在信息系统安全隔离的情况下由中间设备完成数据交换，清洗分类过程中无需人工二次干预，自动区分数据变动类型。自动区分数据变动类型。自动区分数据变动类型。

【技术实现步骤摘要】
实时数据变动提醒与推送的方法、边缘计算终端及存储介质


[0001]本专利技术涉及数据处理领域，尤其涉及一种实时数据变动提醒与推送的方法、边缘计算终端及存储介质。

技术介绍

[0002]在智慧城市建设的过程中经常需要在各个委办局之间进行数据交互工作，在面对海量的数据时，有开发能力的委办局会为每个数据进行数据接口开发，并配置好对应的账号来控制访问的频率和内容，我方则通过对接口的接入实现数据同步。遗憾的是，通过实践过程后我们发现，大部分委办局是不具备数据接口开发能力，当涉及同步的数据量巨大且处于安全等级保护限制时，数据同步往往陷入了一个僵局，数据同步方法受限，一是只能使用光盘或移动存储设备进行数据拷贝实现同步，二是使用前置机数据交换的模式实现数据同步。无论哪一种数据同步的方法，实际开发过程中都无法快速的进行数据提取和变动部分区分(例如部分数据进行修改)，同时造成了大量的数据冗余(脏数据)，最终导致每次应用数据显示不及时，不动态，程序臃肿，启动不畅的后果。
[0003]如图1所示，前置机共享交换指的是数据提供方将数据存放到一个与自身系统无关的前置机上，数据调用方则从该前置机进行数据读取并传递回自己系统。前置机共享交换的方式主要用于大范围数据对接，优点是降低双方对接成本，减少数据提供方的访问压力；主要缺点是数据时效性较差，实现过程如下：
[0004]1.“目标系统/平台”将需要对接数据按照约定格式进行导出。
[0005]2.通过防火墙和IPS连接前置机并将数据存放到指定位置，一般存放于前置机数据库之上。
[0006]3.“业务系统/BU系统”发起数据查询操作。
[0007]4.通过防火墙和IPS连接前置机并在指定位置完成数据读取操作。
[0008]由于传统的前置机数据交换模式需要双方在前置机的数据库上进行SQL操作，将需要同步的数据离线传输到对应的库中并完成表、索引等DDL操作，随后进行数据插入操作。该模式下数据更新采用增量更新方式，即第一次推送时将数据进行全量推送，后期按修改状态进行，无修改的数据不进行推送。
[0009]现有技术存在以下缺点：
[0010]1.数据时效性差，由于目标系统/平台推送数据的时间不一致，在业务系统不能确保实时获取到最新数据；
[0011]2.数据清洗难大，前置交换时均为全量更新，业务系统/BU系统对数据的清洗的难度增大(哪些更新哪些删除等)；
[0012]3.数据维护困难，前置机中的数据库由于双方频繁的数据交换亦会导致脏数据量增大(未及时删除或错误更新导致的数据冗余等数据)，对数据库维护的难度提升，继而影响查询和统计的效率，降低软件的运行速度。

技术实现思路

[0013]本专利技术提供了一种实时数据变动提醒与推送的方法，包括以下步骤：
[0014]步骤1，监听提取步骤；通过编码获取到数据库DML操作并对二进制操作日志进行解析，转换为JSON格式的编码后发送到分类解析步骤。
[0015]步骤2，分类解析步骤；获取到监听提取步骤解析后的JSON格式的编码后进行反序列化操作，并按照业务逻辑以“option”字段区分日志的操作，提取其中涉及变更的字段、变更的结果，包装成一个完整的业务对象，通过内部调用的方式将业务对象传递到事件封装及推送步骤。
[0016]步骤3，事件封装及推送步骤；将经分类解析步骤形成的业务对象按照事件总线的要求进行封装，然后推送到事件总线中。
[0017]步骤4，轮询步骤；在业务系统部署的场景内设置一个事件池，所述事件池通过轮询的方式将事件总线中的业务对象进行提取并存储于该池内，所述事件池通过编码实现并发布获取的内容。
[0018]步骤5，订阅/发布步骤；事件分发器从所述事件池中进行订阅事件类型，轮询结束后会将订阅的事件进行指定发布，即事件分发器接收到对应的变化后按照业务规则或设定向指定的业务系统/BU系统的数据库中推送数据。
[0019]作为本专利技术的进一步改进，在所述步骤1中，使用“|”命令的格式将转换为JSON格式的编码变为分类解析步骤的输入内容。
[0020]作为本专利技术的进一步改进，在所述步骤3中，由事件封装将经分类解析步骤形成的业务对象按照事件总线的要求进行封装，以数据库名加操作为key，详尽操作内容为value的键值对形式的数据推到事件总线中，事件总线可通过消息队列实现。
[0021]本专利技术还公开了一种边缘计算终端，包括：
[0022]日志提取器：通过编码获取到数据库DML操作并对二进制操作日志进行解析，转换为JSON格式的编码后输出给操作解析器。
[0023]操作解析器：获取到日志提取器解析后的JSON格式的编码后对其进行反序列化操作，并按照业务逻辑以“option”字段区分日志的操作，提取其中涉及变更的字段、变更的结果，包装成一个完整的业务对象，通过内部调用的方式将对象传递到事件封装的函数中。
[0024]事件封装：负责将经操作解析器分类解析形成的业务对象按照事件总线的要求进行封装，然后推送到事件总线中。
[0025]作为本专利技术的进一步改进，使用“|”命令的格式将日志提取器转换为JSON格式的编码发送给操作解析器。
[0026]作为本专利技术的进一步改进，在所述事件封装中，由事件封装将经操作解析器形成的业务对象按照事件总线的要求进行封装，以数据库名加操作为key，详尽操作内容为value的键值对形式的数据推到事件总线中。
[0027]本专利技术还公开了一种存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本专利技术所述的方法的步骤。
[0028]本专利技术的有益效果是：1.在信息系统安全隔离的情况下由中间设备(边缘计算终端)完成数据交换，清洗分类过程中无需人工二次干预，自动区分数据变动类型(新增/修改)；2.数据每次变动可形成数据流供业务系统/运维人员进行故障排查，实时查看数据推
送/变更情况；3.具备时效性，当另一方推送数据的时，我方立即进行同步，无需再进行人工沟通或约定，保障实时更新效率；4.数据维护流程，由于实时同步完成数据的增删改操作，目标库不再存储过程数据，从本质上减少脏数据的产生，让数据维护工作更加顺畅。
附图说明
[0029]图1是本专利技术的背景图；
[0030]图2是本专利技术方法的原理框图。
具体实施方式
[0031]本专利技术的意在使用边缘计算技术，在不改变前置机数据交换的模式下，将前置机纳入云服务/私有云的管理范围，通过数据事件变动的形式动态获取到数据接入情况，并将需要同步的数据以数据流的形式接入到多个BU子系统内，再由子系统将其进行分类入库。
[0032]本专利技术基于边缘计算技术与事件驱动技术提高前置数据交换技术的数据时效性，降低数据库及前置机的维护难度，减少业务系统/BU系统处置数据的时间，提高工程/项目的运行效率，由边缘计算设备+软件实现，其结构和原理说明如下。
[0033]如图2所示，本专利技术是通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时数据变动提醒与推送的方法，其特征在于，包括以下步骤：步骤1，监听提取步骤；通过编码获取到数据库DML操作并对二进制操作日志进行解析，转换为JSON格式的编码后发送到分类解析步骤；步骤2，分类解析步骤；获取到监听提取步骤解析后的JSON格式的编码后进行反序列化操作，并按照业务逻辑以“option”字段区分日志的操作，提取其中涉及变更的字段、变更的结果，包装成一个完整的业务对象，通过内部调用的方式将业务对象传递到事件封装及推送步骤；步骤3，事件封装及推送步骤；将经分类解析步骤形成的业务对象按照事件总线的要求进行封装，然后推送到事件总线中；步骤4，轮询步骤；在业务系统部署的场景内设置一个事件池，所述事件池通过轮询的方式将事件总线中的业务对象进行提取并存储于该池内，所述事件池通过编码实现并发布获取的内容；步骤5，订阅/发布步骤；事件分发器从所述事件池中进行订阅事件类型，轮询结束后会将订阅的事件进行指定发布，即事件分发器接收到对应的变化后按照业务规则或设定向指定的业务系统/BU系统的数据库中推送数据。2.根据权利要求1所述的方法，其特征在于，在所述步骤1中，使用“|”命令的格式将转换为JSON格式的编码变为分类解析步骤的输入内容。3.根据权利要求1所述的方法，其特征在于，在所述步骤3中，由事件封装将经分类解析步骤形...

【专利技术属性】
技术研发人员：刘闽，
申请(专利权)人：深圳航天智慧城市系统技术研究院有限公司，
类型：发明
国别省市：