一种数据处理方法、装置及计算设备制造方法及图纸

本发明专利技术提供一种数据处理方法、装置及计算设备，所述方法包括：获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态；在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息；根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件；根据每个待发布的对象事件，调用服务模块创建相应的发布队列；通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中。本发明专利技术通过扩展插件的形式添加新的数据驱动和应用支持，解决工业智能制造中数据难以统一访问的问题。的问题。的问题。

【技术实现步骤摘要】
一种数据处理方法、装置及计算设备


[0001]本专利技术涉及数据采集
，特别是指一种数据处理方法、装置及计算设备。

技术介绍

[0002]异构数据来源自工业制造现场不同的设备，不同类型的设备往往采用各自的数据输出方式，由于缺乏同时连接不同驱动协议的设备数据采集方法，难以实现工业物联平台与各种加工设备的互联互通，数据仅在设备端保存，不能形成以数据为中心的自动化和智能制造数据支持。

技术实现思路

[0003]本专利技术要解决的技术问题是提供一种数据处理方法、装置及计算设备，通过扩展插件的形式添加新的数据驱动和应用支持，解决工业智能制造中数据难以统一访问的问题。
[0004]为解决上述技术问题，本专利技术的技术方案如下：
[0005]第一方面，一种数据处理方法，所述方法包括：
[0006]获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态；
[0007]在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息；
[0008]根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件；
[0009]根据每个待发布的对象事件，调用服务模块创建相应的发布队列；
[0010]通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中。
[0011]进一步的，获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态，包括：
[0012]获取用于数据采集的预设协议；r/>[0013]根据所述预设协议，初始化所述服务模块，所述服务模块用于接收并处理来自不同数据源的异构数据，所述服务模块包括多个线程；
[0014]实时监测所述服务模块的当前工作状态。
[0015]进一步的，在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息，包括：
[0016]读取服务模块内部的配置文件；
[0017]根据服务模块内部的配置文件，对所述配置文件进行解析，以获取至少一个配置文件信息。
[0018]进一步的，根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件，包括：
[0019]根据配置文件信息，识别并确定接收的异构数据；
[0020]根据配置文件中的设置和规则，从接收的异构数据中提取关键信息；
[0021]根据所述关键信息，从异构数据中识别待发布的对象事件。
[0022]进一步的，根据每个待发布的对象事件，调用服务模块创建相应的发布队列，包括：
[0023]使用迭代器从待发布对象事件列表中获取当前对象事件，其中，当前对象事件为在迭代过程中正被处理的对象事件；
[0024]对所述当前对象事件进行处理，以得到满足发布和传输的数据；
[0025]将满足发布和传输的数据加入相应的发布队列。
[0026]进一步的，对所述当前对象事件进行处理，以得到满足发布和传输的数据，包括：
[0027]对当前对象事件中的数据进行清洗，以得到清洗数据；
[0028]将清洗数据转换为统一的数据格式，在数据格式转换后，将当前对象事件中的特定值映射为新的值，在完成值映射后，对当前对象事件进行分组，在分组后，对当前对象事件进行聚合；
[0029]将聚合后的当前对象事件封装为满足发布和传输要求的数据格式。
[0030]进一步的，通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中，包括：
[0031]为对象事件创建一个对应的发布队列；
[0032]将当前对象事件中的处理后的异构数据加入到对应的发布队列中；
[0033]为预设协议创建一个数据写入线程，使数据写入线程监听发布队列中的异构数据变动；当发布队列中存在异构数据时，数据写入线程将获取该异构数据；
[0034]数据写入线程将获取到的异构数据通过预设协议发送至目标接收端，异构数据发送成功后，从发布队列中移除已发送的异构数据。
[0035]第二方面，一种数据处理装置，包括：
[0036]获取模块，用于获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态；在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息；
[0037]处理模块，用于根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件；根据每个待发布的对象事件，调用服务模块创建相应的发布队列；通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中。
[0038]第三方面，一种计算设备，包括：
[0039]一个或多个处理器；
[0040]存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述方法。
[0041]第四方面，一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，该程序被处理器执行时实现上述方法。
[0042]本专利技术的上述方案至少包括以下有益效果：
[0043]本专利技术的上述方案，
[0044]通过获取服务模块的状态，以了解服务模块当前是否处于启动状态，通过检查服务模块的状态，可以确定是否可以进行后续的数据处理操作，在服务模块的状态为启动状
态时，获取至少一个配置文件信息，配置文件信息包含了数据处理所需的参数、规则和设置，通过获取配置文件信息，可以对数据进行有效的处理和管理，根据配置文件信息，从至少一个异构数据中提取出待发布的对象事件。异构数据可能包含不同类型、格式或结构的数据，根据配置文件的规则，可以准确地从异构数据中识别和提取出需发布的对象事件。针对每个待发布的对象事件，调用服务模块创建相应的发布队列，发布队列用于存储待发布的对象事件，以便后续的处理和使用。
[0045]通过为每个对象事件创建相应的发布队列，可以实现对不同事件的分别存储和管理，通过预设协议的数据写入线程，将至少一个异构数据写入到其对应的发布队列中，这些异构数据经过处理后，根据配置文件信息确定了它们应该被发布到哪个队列中，通过将数据写入到相应的发布队列，实现了对数据的分类和归类，方便后续的处理、分析和使用，该数据处理方法能够实现从异构数据的接收到待发布对象事件的提取和存储，并为后续的数据处理和应用提供了基础，可以提高数据处理的效率、灵活性和可扩展性。
附图说明
[0046]图1是本专利技术的实施例提供的数据处理方法的流程示意图。
[0047]图2是本专利技术的实施例提供的数据处理系统的流程示意图。
[0048]图3是本专利技术的实施例提供的数据处理系统的接口示意图。
[0049]图4是本专利技术的实施例提供的数据处理方法中的采集流程示意图。
[0050]图5是本专利技术的实施例提供的数据处理方法的将消息写入流程示意图。
[0051]图6是本专利技术的实施例提供的数据处理装置示意图。
具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态；在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息；根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件；根据每个待发布的对象事件，调用服务模块创建相应的发布队列；通过预设协议的数据写入线程，将所述至少一个异构数据写入对象事件对应的发布队列中。2.根据权利要求1所述的数据处理方法，其特征在于，获取基于预设协议的数据采集线程接收至少一个异构数据的服务模块的状态，包括：获取用于数据采集的预设协议；根据所述预设协议，初始化所述服务模块，所述服务模块用于接收并处理来自不同数据源的异构数据，所述服务模块包括多个线程；实时监测所述服务模块的当前工作状态。3.根据权利要求2所述的数据处理方法，其特征在于，在所述服务模块的状态为启动状态时，获取所述服务模块中的至少一个配置文件信息，包括：读取服务模块内部的配置文件；根据服务模块内部的配置文件，对所述配置文件进行解析，以获取至少一个配置文件信息。4.根据权利要求3所述的数据处理方法，其特征在于，根据所述配置文件信息，从接收的至少一个异构数据中获取待发布的对象事件，包括：根据配置文件信息，识别并确定接收的异构数据；根据配置文件中的设置和规则，从接收的异构数据中提取关键信息；根据所述关键信息，从异构数据中识别待发布的对象事件。5.根据权利要求4所述的数据处理方法，其特征在于，根据每个待发布的对象事件，调用服务模块创建相应的发布队列，包括：使用迭代器从待发布对象事件列表中获取当前对象事件，其中，当前对象事件为在迭代过程中正被处理的对象事件；对所述当前对象事件进行处理，以得到满足发布和传输的数据；将满足发布和传输的数据加入相应的发布队列。6.根据权利要求5所述的数据处理方法，其特征在于，对所述当前对象事件进行处理，以得...

【专利技术属性】
技术研发人员：王鸣山，寇玥，徐鑫，
申请(专利权)人：核工业理化工程研究院，
类型：发明
国别省市：