基于深度强化学习和专家知识库的无人车故障诊断方法技术

本发明专利技术属于无人驾驶应用技术领域，尤其涉及一种基于深度强化学习和专家知识库的无人车故障诊断方法。本发明专利技术通过深度强化学习和专家知识的深度融合，使二者在无人车故障诊断领域更好地发挥其优势。本发明专利技术技术方案中，基于专家知识库和完整的训练样本，通过深度强化学习算法进行模型训练，得到深度强化学习知识系统；根据深度强化学习知识系统和专家知识库，建立故障名称和诊断数据之间的解释库；基于深度强化学习知识系统实现对预处理后的无人车数据的诊断，并通过解释库输出故障名称，若该故障无解则更新知识系统和解释库，从而有效提升了故障的检测范围，减少了无人车因故障引起的安全事故的发生。的安全事故的发生。的安全事故的发生。

【技术实现步骤摘要】
基于深度强化学习和专家知识库的无人车故障诊断方法


[0001]本专利技术属于无人驾驶应用
，尤其涉及一种基于深度强化学习和专家知识库的无人车故障诊断方法。

技术介绍

[0002]无人车是无人驾驶无人车、自动驾驶无人车或电脑驾驶无人车的简称，能够对道路和障碍物进行探测和识别，是一种通过电脑系统控制，替代人做出各种决策，以实现无人驾驶功能的智能化无人车。
[0003]随着智慧化矿山的建设，电机车无人驾驶正在被越来越多的矿山企业所认可。无人驾驶系统的实施，可以减少运输水平作业人员，包括井下电机车司机和溜井放矿工，在井上控制室一个人可以监管多台车的运行，改善劳动环境，增加设备运行时间，提高生产能力，达到本质安全水平，真正实现机械化换人、自动化减人的目标。
[0004]然而，无人车依赖于核心中控电脑实现对各种子系统的控制，并保证车辆的正常行驶，一旦某个子系统或设备发生故障，但未能及时的诊断和检测，就会产生极大的安全隐患。所以无人车的故障诊断与检测是极为重要的，及时定位故障类型并发出提醒，能有效避免严重事故的发生，提升无人车的行驶安全性。

技术实现思路

[0005]本专利技术针对上述的无人车所存在的技术问题，提出一种方法简单、操作方便且能够将深度强化学习和专家知识应用于无人车故障诊断领域，能根据专家经验和自主学习有效检测故障类型，降低了无人车因故障检测不及时而带来的安全隐患的基于深度强化学习和专家知识库的无人车故障诊断方法。
[0006]为了达到上述目的，本专利技术采用的技术方案为，本专利技术提供一种基于深度强化学习和专家知识库的无人车故障诊断方法，其特征在于，包括以下步骤：
[0007]S1:获取专家知识库和完整的训练样本，作为模型训练数据；
[0008]S2:对所述模型训练数据，通过深度强化学习算法进行训练学习，得到深度强化学习知识系统；
[0009]S3:根据所述深度强化学习知识系统和专家知识库，建立深度强化学习知识系统输出结果和故障类型之间的解释库；
[0010]S4:获取无人车的图像、传感器状态以及设备配置等数据，作为待处理数据；
[0011]S5:对所述待处理数据进行数据预处理后，作为待检测数据；
[0012]S6:将无人车的待检测数据输入深度强化学习知识系统，输出故障标志位和待解释的诊断结果；
[0013]S7:若故障标志位为0，表示无故障发生；
[0014]若故障标志位为1，表示有故障发生，则执行步骤S8；
[0015]S8:将待解释的诊断结果输入到解释库，若解释库中有解，则输出故障的具体信
息，并保存故障信息到数据库，若无解，则执行步骤S9；
[0016]S9：根据深度强化学习知识系统的诊断，更新专家知识和解释库；其中，所述S2步骤中，深度强化学习算法进行模型训练的过程如下：
[0017]a、将训练样本随机分为70％的训练集和30％的测试集；
[0018]b、设置初始配置：输入训练集故障数据作为状态空间S，输入训练集故障类型作为动作空间A，折扣率γ，学习率η和贪心率ε，初始化经验池D，容量为N，初始化Q网络的参数θ，初始化目标Q网络的参数θ
‑
，初始化状态s并设置训练轮数epi；
[0019]c、状态s下，采用贪心策略得到动作a
i
，Agent执行动作a，数据环境根据输出故障类型与真实故障对比得到奖励值r，并给出下一个数据状态s
′
，状态s
′
下，采用贪心策略得到动作a
i
′
；
[0020]d、将e
t
＝(s,a,r,s
′
)存放在初始化经验池D中；
[0021]e、从D中随机选取k个经验样本(s
j
,a
j
,r
j
,s
j
′
)，j＝1,2,...,k,k＜N；
[0022]f、
[0023][0024]对损失函数L(θ)执行梯度下降算法，更新神经网络参数θ，每C次更新目标网络参数θ
‑
＝θ；
[0025]g、循环除初始参数配置以外的上述步骤，直到Q(s,a
·
,θ
i
)收敛或者达到最大的训练轮数epi，并使用测试集进行模型测试，得到深度强化学习知识系统。
[0026]作为优选，所述步骤S1中，专家知识库数据指：根据专家经验，在无人车行驶过程中，由何种设备或系统故障导致的何种驾驶故障的发生，并以此形成故障数据的输入、输出关系表，构建专家知识库；所述完整的训练样本是指无人车行驶过程中的正常和故障数据。
[0027]作为优选，步骤S3中，解释库的建立过程如下：首先，基于深度强化学习知识系统，以专家知识库中的各故障现象作为输入，输出结果值；然后，根据结果值和专家知识库中的故障类型，建立输出结果和故障类型之间的映射关系表，存储到数据库后完成解释库的建立。
[0028]作为优选，步骤S5中，数据的预处理过程如下：根据不同类型的输入数据，采用不同方法进行数据清洗工作，以随时间线性增长的数据为例，设传感器1输入为D＝{d1,d2,d3,...,d
n
}；对D进行缺失值的识别和处理：在R语言里使用函数is.na判别，函数complete.cases识别样本数据是否完整，并采用替换法对缺失值进行替换；对D进行异常值的识别和处理：识别D中远离正常值范围的点，并采用平均值修正的方法处理并替换该异常值；数据清洗结束后将该组数据标记为无人车的待检测数据。
[0029]作为优选，步骤S6中，深度强化学习知识系统故障诊断的流程如下：输入故障数据s到深度强化学习知识系统模型；输出正常或故障的诊断结果r，并将故障标志位flag对应置0或1；当故障标志位flag为0时无故障，为1时输入到解释库，在映射表中查表匹配到故障类型并输出最终的诊断结果，将该结果保存到数据库后推送至用户处理。
[0030]作为优选，步骤S9中，更新专家知识库和解释库的流程如下：保存深度强化学习知
识系统模型的输入参数组为S
u
，保存模型的诊断结果为R
u
；更新专家知识库中的故障表项信息，添加故障征兆S
u
和对应的故障类型R
u
，并将待更新位置1，等待用户确认并更新该条故障记录；更新解释库中的故障映射表信息，添加故障类型R
u
和故障名称N
w
，并将待更新位置1，等待用户确认并更新该条记录的故障名称N
w
。用户完成专家知识库和解释库的更新确认，并进行故障名称设置后，下次该故障数据将会被诊断为对应的故障类型。
[0031]与现有技术相比，本专利技术的优点和积极效果在于，
[0032]本专利技术提出基于深度强化学习和专家知识库的无人车故障诊断方法，通过深度强化学习和专家知本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习和专家知识库的无人车故障诊断方法，其特征在于，包括以下步骤：S1:获取专家知识库和完整的训练样本，作为模型训练数据；S2:对所述模型训练数据，通过深度强化学习算法进行训练学习，得到深度强化学习知识系统；S3:根据所述深度强化学习知识系统和专家知识库，建立深度强化学习知识系统输出结果和故障类型之间的解释库；S4:获取无人车的图像、传感器状态以及设备配置等数据，作为待处理数据；S5:对所述待处理数据进行数据预处理后，作为待检测数据；S6:将无人车的待检测数据输入深度强化学习知识系统，输出故障标志位和待解释的诊断结果；S7:若故障标志位为0，表示无故障发生；若故障标志位为1，表示有故障发生，则执行步骤S8；S8:将待解释的诊断结果输入到解释库，若解释库中有解，则输出故障的具体信息，并保存故障信息到数据库，若无解，则执行步骤S9；S9：根据深度强化学习知识系统的诊断，更新专家知识和解释库；其中，所述S2步骤中，深度强化学习算法进行模型训练的过程如下：a、将训练样本随机分为70％的训练集和30％的测试集；b、设置初始配置：输入训练集故障数据作为状态空间S，输入训练集故障类型作为动作空间A，折扣率γ，学习率η和贪心率ε，初始化经验池D，容量为N，初始化Q网络的参数θ，初始化目标Q网络的参数θ
‑
，初始化状态s并设置训练轮数epi；c、状态s下，采用贪心策略得到动作a
i
，Agent执行动作a，数据环境根据输出故障类型与真实故障对比得到奖励值r，并给出下一个数据状态s
′
，状态s
′
下，采用贪心策略得到动作a
′
i
；d、将e
t
＝(s,a,r,s
′
)存放在初始化经验池D中；e、从D中随机选取k个经验样本(s
j
,a
j
,r
j
,s
j
′
)，j＝1,2,...,k,k＜N；f、对损失函数L(θ)执行梯度下降算法，更新神经网络参数θ，每C次更新目标网络参数θ
‑
＝θ；g、循环除初始参数配置以外的上述步骤，直到Q(s,a
·
,θ
i
)收敛或者达到最大的训练轮数epi，并使用测试集进行模型测试，得到深度强化学习知识系统。2.根据权利要求1所述的基于深度强化学习和专家知识库的无人车故障诊断方法，其特征在于，所述步骤S1中，专家知...

【专利技术属性】
技术研发人员：冯炫，许荣鸽，兰巍，马文博，郭强，
申请(专利权)人：陕西智引科技有限公司，
类型：发明
国别省市：