本发明专利技术公开了一种基于深度强化学习的离散制造工业数据表征方法，包括采集离散制造工业数据，构建时空数据库；将离散制造工业数据划分为离散特征和连续特征，构建数据耦合编码网络，并将编码网络中编码向量转换为表征向量，构建数据表征模型；通过聚类评价指标量化表征数据类别的区分度；将不同维度的聚类评价指标加权作为动态奖励，构建深度强化学习模型，通过表征模型与离散制造决策分析系统的交互关系，更新深度强化学习的神经网络参数。本发明专利技术能够表征动态变化的混合数据，基于深度强化学习将离散制造工业数据进行表征增强处理，通过聚类评价指标与离散工业系统进行交互，不断反馈动态奖励信息，以获得最优的数据表征形式。式。式。
【技术实现步骤摘要】
一种基于深度强化学习的离散制造工业数据表征方法
[0001]本专利技术涉及一种数据表征方法，尤其涉及一种基于深度强化学习的离散制造工业数据表征方法。
技术介绍
[0002]在离散制造业上，数据具有多源异构、海量、高维、多尺度、多时空等特点，导致传统的表征方法无法对这类数据进行有效的处理。通过数据对象的相似度矩阵来表征数据是一种常见的方法，在学习相似度时可以融入数据之间的耦合关系，如ALGO通过计算数据特征值之间的条件概率来描述特征值耦合关系；COS综合分析了特征之间与特征内部的耦合关系；CMS在COS的基础上提出了数据对象之间的距离度量。CURE在数据表征的学习中捕获不同层次的特征值和特征之间的耦合关系，且能根据不同的任务方案化为不同的表征算法。这类数据的表征方法通常适用于离散数据。
[0003]但是在离散制造业上数据的形式一般是由连续数据与离散数据组成的混合数据，而针对混合数据的表征方法大多是通过数据转换的方式得到的，例如spectralCAT用一种自动化的方式将连续特征离散化，通过对连续特征聚类和类标签来构造新的离散特征，但是这种转换后的数据被当作独立特征应用于聚类模型中忽视了不同类型数据特征之间的关系；CoupledMC在对连续特征离散化的基础上通过采用相似度来表示离散特征，但是离散化连续变量带来了信息丢失，所以仅仅采用皮尔逊相关系数不能很好地捕获连续特征与离散特征之间的关系。随着深度学习技术发展，一些研究者将深度学习应用于离散工业制造领域，但现有的深度学习算法仅仅针对静态的离散工业制造环境，难以适应于复杂动态的离散工业制造问题。
[0004]深度强化学习是一种交互的学习方式，智能体通过与环境交互进行学习，能够处理动态复杂环境问题，因此适用于离散工业制造问题。但是现有的深度强化学习算法的奖励往往通过人工经验设定正负奖励值，难以让数据表征决策为离散工业制造系统提供最优解。
技术实现思路
[0005]专利技术目的：本专利技术旨在提供一种能够表征动态变化的混合数据的基于深度强化学习的离散制造工业数据表征方法。
[0006]技术方案：本专利技术所述的一种基于深度强化学习的离散制造工业数据表征方法，包括以下步骤：
[0007](1)采集离散制造工业数据，构建时空数据库；
[0008](2)将离散制造工业数据划分为离散特征和连续特征，构建数据耦合编码网络，并将数据编码网络中编码向量转换为表征向量，构建数据表征模型；
[0009](3)通过聚类评价指标量化表征数据类别的区分度；
[0010](4)将不同维度的聚类评价指标加权作为动态奖励，构建深度强化学习模型，通过
表征模型与离散制造决策分析系统的交互关系，更新深度强化学习的神经网络参数。
[0011]优选地，所属步骤(1)中离散制造工业数据包括实时车间设备数据、APS排产数据、PDM产品数据、ERP进销存数据、MES生产执行数据。
[0012]优选地，所述步骤(2)中构建数据耦合编码网络包括：构建离散特征与连续特征之间的相关关系矩阵
[0013][0014]其中，为连续特征；v
j
为离散特征；λ为比例系数；τ为阀值参数；为联合概率密度；且联合概率密度的计算函数表达式为：
[0015][0016]上式中，N为数据对象个数，为离散特征值和v
j
之间的核函数，为连续特征的核函数，表示变量A
i
在第k个数据对象上的连续特征值f
i
，表示变量A
i
在第x个数据对象上的连续特征值f
i
，h
i
表示连续特征的带宽参数；其中核函数的表达式为：
[0017][0018]上式中，表示离散特征v
j
在第k个数据对象上对应的特征值，λ为比例系数；
[0019]将相关关系矩阵作为数据耦合编码向量
[0020][0021]耦合编码矩阵M
x
表征了离散特征和连续特征的异构耦合关系，将耦合编码矩阵M
x
量化为编码向量f。
[0022]优选地，所述步骤(2)中将数据编码网络中编码向量转换为表征向量包括：采用全连接网络将编码向量f转换为表征向量
[0023]h＝σ(f，W)上式中，σ为logistic函数，W∈R包含所有特征之间的交互强度。
[0024]优选地，所述步骤(4)中深度强化学习模型为DQN，其Q路由器表为
[0025]Q
′
(s，a)＝Q(s，a)+λ{R
‑
Q{s，a)}
[0026]其中，Q(s，a)为节点s执行动作a的Q值，其中Q为构建Q路由表，s为表征模型节点，a状态动作，λ表示学习率，R表示奖励信息，Q
′
(s，a)表示更新的Q值，Q(s，a)表示更新前的Q值。
[0027]优选地，所述步骤(4)中深度强化学习的奖励信息为动态奖励
[0028][0029]其中，r
i
为不同维度聚类评价指标，α
i
为不同维度聚类评价指标的权重系数，R为动态奖励信息。
[0030]优选地，所述不同维度聚类评价指标包括CH指数、DBI指数和/或轮廓系数。
[0031]优选地，所述步骤(4)中深度强化学习模型还包括DDPG、A3C/A2C、PPO/TRPO、SAC、TD3其中的一种。
[0032]有益效果：与现有技术相比，本专利技术具有如下显著优点：既能表征混合数据，又能表征动态变化数据，且利用深度强化学习将离散制造业上工业大数据进行表征增强处理，采用动态奖励形式，通过聚类评价指标与离散工业系统进行交互，并且不断反馈动态奖励信息，最大程度优化数据表征维度，以获得最优的数据表征形式。
附图说明
[0033]图1为本专利技术的表征方法流程图；
[0034]图2为本专利技术的深度强化学习结构图。
具体实施方式
[0035]下面结合附图对本专利技术的技术方案作进一步说明。
[0036]如图1所示，本专利技术所述的一种基于深度强化学习的离散制造工业数据表征方法，包括以下步骤：
[0037](1)采集离散制造工业数据，构建时空数据库。
[0038]采集的离散制造工业数据包括实时车间设备数据、APS排产数据、PDM产品数据、ERP进销存数据、MES生产执行数据。
[0039](2)将离散制造工业数据划分为离散特征和连续特征，构建数据耦合编码网络，并将数据编码网络中编码向量转换为表征向量，构建数据表征模型。具体包括：
[0040](2.1)构建离散特征与连续特征之间的相关关系矩阵
[0041][0042]其中，为连续特征；v
j
为离散特征；λ为比例系数；τ为阀值参数；为联合概率密度；且联合概率密度的计算函数表达式为：
[0043][0044]上式中，N为数据对象个数，为离散特征值和v
j
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度强化学习的离散制造工业数据表征方法，其特征在于，包括以下步骤：(1)采集离散制造工业数据，构建时空数据库；(2)将离散制造工业数据划分为离散特征和连续特征，构建数据耦合编码网络，并将数据编码网络中编码向量转换为表征向量，构建数据表征模型；(3)通过聚类评价指标量化表征数据类别的区分度；(4)将不同维度聚类评价指标加权作为动态奖励，构建深度强化学习模型，通过表征模型与离散制造决策分析系统的交互关系，更新深度强化学习的神经网络参数。2.根据权利要求1所述的数据表征方法，其特征在于，所属步骤(1)中离散制造工业数据包括实时车间设备数据、APS排产数据、PDM产品数据、ERP进销存数据、MES生产执行数据。3.根据权利要求1所述的数据表征方法，其特征在于，所述步骤(2)中构建数据耦合编码网络包括：构建离散特征与连续特征之间的相关关系矩阵码网络包括：构建离散特征与连续特征之间的相关关系矩阵其中，为连续特征；v
j
为离散特征；λ为比例系数；τ为阀值参数；为联合概率密度；且联合概率密度的计算函数表达式为：上式中，N为数据对象个数，为离散特征值和v
j
之间的核函数，为连续特征的核函数，表示变量A
i
在第k个数据对象上的连续特征值f
i
，表示变量A
i
在第x个数据对象上的连续特征值f
i
，h
i
表示连续特征的带宽参数；其中核函数的表达式为：上式中，表示离散特征v
j
在第k个数据对象上对应的特征值，λ...
【专利技术属性】
技术研发人员：杨海根，王聪，林东煌，曾凡玉，戴尔晗，刘佶鑫，葛艳，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。