基于工业互联网和智能制造的数据处理方法及大数据平台技术

本说明书公开的基于工业互联网和智能制造的数据处理方法及大数据平台，首先周期性地从每个工业设备中采集待处理工业数据，其次基于获取到的处理记录确定与待处理工业数据对应的线程配置参数并对业务处理线程进行更新，然后运行更新后的业务处理线程以对待处理工业数据进行分类得到有效工业数据和冗余工业数据，在将有效工业数据上传至云端时并行地提取冗余工业数据的冗余特征以识别得到冗余标签，最后将冗余标签进行存储并删除冗余工业数据。如此，将进行冗余数据筛选和剔除的大数据平台部署在云端之前，这样能够确保进入云端的数据是有用的工业数据，进而在确保工业控制系统的安全可靠运行的前提下降低云端负载并提高工业控制的时间精度。

【技术实现步骤摘要】
基于工业互联网和智能制造的数据处理方法及大数据平台
本申请涉及工业互联网的数据处理
，尤其涉及基于工业互联网和智能制造的数据处理方法及大数据平台。
技术介绍
随着科技的发展，制造业在发展过程中逐渐由满足产品和服务功能的阶段转向个性化定制的阶段，生产模式也由单一的管道型转变为生态型。在这种大环境下，工业制造与工业互联网的联系越来越紧密，工业制造正朝着数字化、网络化、自动化和智能化方向发展。然而，随着工业制造规模的不断扩大，一些问题也逐渐暴露出来。例如，在规模较大的工业制造体系中，常常出现云端负载过高且工业控制的时间精度差的技术问题。
技术实现思路
本说明书提供了一种基于工业互联网和智能制造的数据处理方法及大数据平台，以解决或者部分解决现有技术存在的技术问题。本说明书公开了一种基于工业互联网和智能制造的数据处理方法，所述方法包括：根据基于每个工业设备的协议层标识与每个工业设备预先建立的api接口，周期性地从每个工业设备中采集待处理工业数据；基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数，并基于所述线程配置参数对所述业务处理线程进行更新；运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据；在将所述有效工业数据上传至云端时并行地提取所述冗余工业数据的冗余特征，并对所述冗余特征进行识别得到冗余标签；将所述冗余标签进行存储并删除所述冗余工业数据。可替换地，所述方法还包括：在对下一时段的待处理工业数据进行筛分时，采用所存储的冗余标签对业务处理线程进行更新。可替换地，采用所存储的冗余标签对业务处理线程进行更新，包括：根据所述冗余标签对应的标签编码序列在所述业务处理线程中的映射编码序列，提取所述业务处理线程的线程配置清单以及业务互动轨迹曲线；分别构建所述线程配置清单对应的线程配置列表以及所述业务互动轨迹曲线对应的互动轨迹列表；确定所述线程配置列表的第一列表特征数组以及所述互动轨迹列表对应的第二列表特征数组，确定所述第一列表特征数组与所述第二列表特征数组之间的逐位比较结果集，确定所述逐位比较结果集中用于表征所述第一列表特征数组和所述第二列表特征数组在相同数组位上的数值为相同的目标比较结果的数量在所述逐位比较结果集中的占比；基于所述占比确定所述业务处理线程对应的参数更新列表并从所述参数更新列表中抽取存在列表分隔标识的多个列表单元，计算每两个列表单元之间的列表距离；对列表距离大于设定距离的列表单元进行标记，并确定标记次数最大的列表单元为目标列表单元；将所述目标列表单元对应的列表描述数据列出，并生成与所述列表描述数据对应的描述轨迹曲线；计算所述描述轨迹曲线与所述业务互动轨迹曲线的曲线特征相似度，并根据所述曲线特征相似度确定所述描述轨迹曲线与所述业务互动轨迹曲线之间的目标曲线交点对应的待更新数据；将所述冗余标签以目标格式添加到所述待更新数据中以实现对业务处理线程的更新。可替换地，运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据，包括：运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度；根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集；其中，所述第一筛分集用于表征所述有效工业数据，所述第二筛分集用于表征所述冗余工业数据；计算所述第一筛分集与所述第二筛分集的重叠率；在所述重叠率大于设定比率时基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度；基于所述第二数量个筛分维度执行与根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集类似的步骤，直至计算得到的重叠率小于等于所述设定比率；将计算得到的重叠率小于等于所述设定比率时对应的第一目标筛分集确定为有效工业数据，将计算得到的重叠率小于等于所述设定比率时对应的第二目标筛分集确定为冗余工业数据。可替换地，运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度，包括：通过更新后的业务处理线程提取所述待处理工业数据的数据字段序列；从所述数据字段序列中确定出多个序列分段标识；根据所述序列分段标识对应的标识指向确定所述待处理工业数据的第一数量个筛分维度。可替换地，根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集，包括：基于确定出的用于表征所述待处理工业数据的数据流分段标识的数量对所述待处理工业数据进行切分以得到多段在时序上连续的数据流，并将每段数据流中不随时序变化而变化的数据单元进行标定，根据每段数据流中所标定的数据单元在对应的数据流中的时序相对位置分布确定每段数据流的数据特征集合；其中，所述数据特征集合中包括多个特征描述值，不同特征描述值对应不同的描述权重；确定所述第一数量个筛分维度中的每个筛分维度的维度指向信息以及每个筛分维度的筛分优先级，建立每个维度指向信息与对应的筛分优先级之间的关联关系并摘取所述关联关系的关系型数据列表，将摘取到的关系型数据列表按照对应的筛分优先级的由大到小的顺序进行排序得到关系型数据列表序列，并根据所述关系型列表序列的列表序列集中度为所述关系型列表中的每个关系型数据列表设置筛分持续时长以及与筛分持续时长所对应的调整因子；按照所述关系型数据列表序列中的关系型数据列表的先后顺序依次对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集；其中，在基于所述关系型数据列表序列中的每个关系型数据列表对所述数据流对应的数特征集合进行聚类得到第一聚类集和第二聚类集的过程中，如果聚类时长达到对应的筛分持续时长但还未完成聚类，则根据聚类时长达到的对应的筛分持续时长所对应的调整因子对该筛分持续时长进行延长；如果聚类时长在达到延长后的筛分持续时长时仍未完成聚类，则将聚类时长在达到延长后的筛分持续时长时的聚类结果作为该次针对该关系型数据库对所述待处理工业数据的聚类结果；对获取到的多个聚类结果进行整合以得到第一筛分集和第二筛分集；其中，对获取到的多个聚类结果进行整合具体包括对多个第一聚类集的整合以及对多个第二聚类集的整合。可替换地，基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度，包括：提取所述第一数据分布矩阵的第一矩阵特征以及所述第二数据分布矩阵的第二矩阵特征，并计算所述第一数据分布矩阵与所述第二数据分布矩阵中的每个相对的矩阵单元组之间的映射指标系数、所述第一数据分布矩阵中的每个第一矩阵单元的第一关联中心度以及所述第二数据分布矩阵中的每个第二矩阵单元的第二关联中心度；基于所述第一矩阵特征以及所述第二矩阵特征对所述第一数据分布矩阵与所述第二数据分布本文档来自技高网...

【技术保护点】
1.一种基于工业互联网和智能制造的数据处理方法，其特征在于，所述方法包括：/n根据基于每个工业设备的协议层标识与每个工业设备预先建立的api接口，周期性地从每个工业设备中采集待处理工业数据；/n基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数，并基于所述线程配置参数对所述业务处理线程进行更新；/n运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据；/n在将所述有效工业数据上传至云端时并行地提取所述冗余工业数据的冗余特征，并对所述冗余特征进行识别得到冗余标签；/n将所述冗余标签进行存储并删除所述冗余工业数据。/n

【技术特征摘要】
1.一种基于工业互联网和智能制造的数据处理方法，其特征在于，所述方法包括：
根据基于每个工业设备的协议层标识与每个工业设备预先建立的api接口，周期性地从每个工业设备中采集待处理工业数据；
基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数，并基于所述线程配置参数对所述业务处理线程进行更新；
运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据；
在将所述有效工业数据上传至云端时并行地提取所述冗余工业数据的冗余特征，并对所述冗余特征进行识别得到冗余标签；
将所述冗余标签进行存储并删除所述冗余工业数据。


2.如权利要求1所述的方法，其特征在于，所述方法还包括：
在对下一时段的待处理工业数据进行筛分时，采用所存储的冗余标签对业务处理线程进行更新。


3.如权利要求2所述的方法，其特征在于，采用所存储的冗余标签对业务处理线程进行更新，包括：
根据所述冗余标签对应的标签编码序列在所述业务处理线程中的映射编码序列，提取所述业务处理线程的线程配置清单以及业务互动轨迹曲线；分别构建所述线程配置清单对应的线程配置列表以及所述业务互动轨迹曲线对应的互动轨迹列表；
确定所述线程配置列表的第一列表特征数组以及所述互动轨迹列表对应的第二列表特征数组，确定所述第一列表特征数组与所述第二列表特征数组之间的逐位比较结果集，确定所述逐位比较结果集中用于表征所述第一列表特征数组和所述第二列表特征数组在相同数组位上的数值为相同的目标比较结果的数量在所述逐位比较结果集中的占比；
基于所述占比确定所述业务处理线程对应的参数更新列表并从所述参数更新列表中抽取存在列表分隔标识的多个列表单元，计算每两个列表单元之间的列表距离；对列表距离大于设定距离的列表单元进行标记，并确定标记次数最大的列表单元为目标列表单元；
将所述目标列表单元对应的列表描述数据列出，并生成与所述列表描述数据对应的描述轨迹曲线；计算所述描述轨迹曲线与所述业务互动轨迹曲线的曲线特征相似度，并根据所述曲线特征相似度确定所述描述轨迹曲线与所述业务互动轨迹曲线之间的目标曲线交点对应的待更新数据；将所述冗余标签以目标格式添加到所述待更新数据中以实现对业务处理线程的更新。


4.如权利要求1-3任一项所述的方法，其特征在于，运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据，包括：
运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度；
根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集；其中，所述第一筛分集用于表征所述有效工业数据，所述第二筛分集用于表征所述冗余工业数据；
计算所述第一筛分集与所述第二筛分集的重叠率；在所述重叠率大于设定比率时基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度；基于所述第二数量个筛分维度执行与根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集类似的步骤，直至计算得到的重叠率小于等于所述设定比率；将计算得到的重叠率小于等于所述设定比率时对应的第一目标筛分集确定为有效工业数据，将计算得到的重叠率小于等于所述设定比率时对应的第二目标筛分集确定为冗余工业数据。


5.如权利要求4所述的方法，其特征在于，运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度，包括：
通过更新后的业务处理线程提取所述待处理工业数据的数据字段序列；
从所述数据字段...

【专利技术属性】
技术研发人员：薛东，
申请(专利权)人：薛东，
类型：发明
国别省市：云南;53