一种基于插件化热更新技术的高速数据清洗方法技术

本发明专利技术涉及一种基于插件化热更新技术的高速数据清洗方法，属于计算机技术领域。该方法包括判断接入队列设备是否有新来源的数据需要输入集成；检查现有数据清洗插件是否有能处理新来源的数据的数据格式；将新来源的数据的数据格式转换为标准的目标数据格式，并将转换过程编译、打包为插件，发布到服务端；在插件部署服务器上把传来的插件配置为新来源数据格式对应的数据清洗插件；数据清洗处理设备节点从插件部署服务器下载新增插件，通过动态加载进行插件的热更新；采用相应的插件对新来源的数据进行数据清洗处理；输出数据清洗后的规范数据。本发明专利技术可实现快速接入、清洗处理，输出标准的数据内容，易于推广应用。易于推广应用。易于推广应用。

【技术实现步骤摘要】
一种基于插件化热更新技术的高速数据清洗方法


[0001]本专利技术属于计算机
，具体涉及一种基于插件化热更新技术的高速数据清洗方法，具体应用于电力市场不同源不同格式数据接入规范化处理。

技术介绍

[0002]2022年5月，因有文件明确提出要提高电网接纳分布式新能源的能力，稳妥推进新能源参与电力市场交易。所以各地纷纷制定分布式发电市场化交易规则，加快推进分布式能源发展。
[0003]随着大量不同类型的绿色电力加入电力市场参与交易，大量的不同源不同格式数据的接入，对电力交易系统的数据集成带来巨大挑战。理想的方案是制定标准规范统一要求接入的数据内容和格式，但不同的设备、系统的厂家不一，特别是大量的已有设备，很难实现源端数据统一要求。只能通过开发程序进行数据清洗转化，传统的处理程序需要通过停机或者是通过脚本语言动态扩充的方案避免停机，难以同时兼顾灵活配置、无缝更新、高速处理的处理要求。因此如何克服现有技术的不足是目前计算机
亟需解决的问题。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术的不足，提供一种基于插件化热更新技术的高速数据清洗方法。
[0005]为实现上述目的，本专利技术采用的技术方案如下：一种基于插件化热更新技术的高速数据清洗方法，包括如下步骤：步骤（1），判断接入队列设备是否有新来源的数据需要输入集成；若是，则转步骤（2）；步骤（2），检查现有数据清洗插件是否有能处理新来源的数据的数据格式；若不能处理，则步骤（3）；若能处理，则进行步骤（6）；步骤（3），将新来源的数据的数据格式转换为标准的目标数据格式，并将转换过程编译、打包为插件，发布到服务端；步骤（4），在插件部署服务器上把步骤（3）传来的插件配置为新来源数据格式对应的数据清洗插件；步骤（5），数据清洗处理设备节点从插件部署服务器下载新增插件，通过动态加载进行插件的热更新；步骤（6），采用相应的插件对新来源的数据进行数据清洗处理；步骤（7），输出数据清洗后的规范数据。
[0006]进一步，优选的是，步骤（3）中，根据待清洗的数据特征，把新来源的数据的数据格式转换成标准的目标数据格式，并将转换过程编译、打包为二进制插件，发布到服务端。
[0007]进一步，优选的是，步骤（5）中，数据清洗处理设备节点根据数据格式从插件部署
服务器下载新增插件，通过Java的ClassLoader类加载，将插件内的class加载到Java虚拟机JVM，将插件程序注册到注册系统，实现数据清洗插件程序逻辑的热更新。
[0008]本专利技术与现有技术相比，其有益效果为：一是灵活配置，插件化实现了灵活配置，对来自于各种源端电力设备数据和电力系统的不同源不同格式数据，可实现快速接入、清洗处理，输出标准的数据内容；二是无缝更新，可在不中断运行其他数据清洗程序的情况下，对新类型数据进行随时更新的清洗处理逻辑；三是运行速度快，因为插件是可直接运行的二进制程序，相对于解释型的脚本代码方案，二进制的插件程序运行处理速度更快。该方法具有一定实用的社会价值。
附图说明
[0009]图1为本专利技术的基于插件化热更新技术的高速数据清洗方法的系统结构图；图2为本专利技术应用实例中的基于插件化热更新技术的高速数据清洗方法的流程。
具体实施方式
[0010]下面结合实施例对本专利技术作进一步的详细描述。
[0011]本领域技术人员将会理解，下列实施例仅用于说明本专利技术，而不应视为限定本专利技术的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。
[0012]实施例1一种基于插件化热更新技术的高速数据清洗方法，包括如下步骤：步骤（1），判断接入队列设备是否有新来源的数据需要输入集成；若是，则转步骤（2）；步骤（2），检查现有数据清洗插件是否有能处理新来源的数据的数据格式；若不能处理，则步骤（3）；若能处理，则进行步骤（6）；步骤（3），将新来源的数据的数据格式转换为标准的目标数据格式，并将转换过程编译、打包为插件，发布到服务端；步骤（4），在插件部署服务器上把步骤（3）传来的插件配置为新来源数据格式对应的数据清洗插件；步骤（5），数据清洗处理设备节点从插件部署服务器下载新增插件，通过动态加载进行插件的热更新；步骤（6），采用相应的插件对新来源的数据进行数据清洗处理；步骤（7），输出数据清洗后的规范数据。
[0013]实施例2一种基于插件化热更新技术的高速数据清洗方法，包括如下步骤：步骤（1），判断接入队列设备是否有新来源的数据需要输入集成；若是，则转步骤（2）；步骤（2），检查现有数据清洗插件是否有能处理新来源的数据的数据格式；若不能
处理，则步骤（3）；若能处理，则进行步骤（6）；步骤（3），将新来源的数据的数据格式转换为标准的目标数据格式，并将转换过程编译、打包为插件，发布到服务端；步骤（4），在插件部署服务器上把步骤（3）传来的插件配置为新来源数据格式对应的数据清洗插件；步骤（5），数据清洗处理设备节点从插件部署服务器下载新增插件，通过动态加载进行插件的热更新；步骤（6），采用相应的插件对新来源的数据进行数据清洗处理；步骤（7），输出数据清洗后的规范数据。
[0014]步骤（3）中，根据待清洗的数据特征，把新来源的数据的数据格式转换成标准的目标数据格式，并将转换过程编译、打包为二进制插件，发布到服务端。
[0015]步骤（5）中，数据清洗处理设备节点根据数据格式从插件部署服务器下载新增插件，通过Java的ClassLoader类加载，将插件内的class加载到Java虚拟机JVM，将插件程序注册到注册系统，实现数据清洗插件程序逻辑的热更新。
[0016]应用实例1、本专利技术的系统结构图如图1所示，系统结构包括插件部署服务器、数据清洗处理设备节点、接入队列设备、输出队列设备。
[0017]2、下面结合图2做进一步详细说明，具体包括以下步骤：（1）接入队列设备有新来源的数据需要输入集成，对数据来源配置编码，比如C000N；（2）检查现有数据清洗插件是否有能处理编码为C000N的数据来源格式；若不能处理，则步骤（3）；若能处理，则进行步骤（6）；（3）将新来源的数据的数据格式转换为标准的目标数据格式，并将转换过程编译、打包为插件，发布到服务端；具体地，编写新来源数据的清洗转换程序，通过实现预定义的数据清洗处理接口DataPurifyHandler，根据待清洗的数据特征，把新增的数据格式转换成标准的目标数据格式，比如时间格式转换为统一格式、业务类型编码转换为标准编码等；创建的插件程序，测试验证无误后，编译、打包为二进制插件，发布到服务端；（4）在插件部署服务器上把步骤（3）传来的插件配置为数据源C000N对应的数据清洗插件；（5）数据清洗处理设备节点从插件部署服务器下载新增插件，通过动态加载进行插件的热更新；具体地，数据清洗处理设备节点根据数据源编码C000N从插件部署服务器下载新部署本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于插件化热更新技术的高速数据清洗方法，其特征在于，包括如下步骤：步骤（1），判断接入队列设备是否有新来源的数据需要输入集成；若是，则转步骤（2）；步骤（2），检查现有数据清洗插件是否有能处理新来源的数据的数据格式；若不能处理，则步骤（3）；若能处理，则进行步骤（6）；步骤（3），将新来源的数据的数据格式转换为标准的目标数据格式，并将转换过程编译、打包为插件，发布到服务端；步骤（4），在插件部署服务器上把步骤（3）传来的插件配置为新来源数据格式对应的数据清洗插件；步骤（5），数据清洗处理设备节点从插件部署服务器下载新增插件，通过动态加载进行插件的热更新；步骤（6），采用相应的插件对...

【专利技术属性】
技术研发人员：陈然，张加贝，蔡华祥，赵伟华，邹贤，宝君维，高航，卜祺，
申请(专利权)人：昆明电力交易中心有限责任公司，
类型：发明
国别省市：