一种基于双模态数据的电厂设备维修决策支持方法及系统技术方案

本发明专利技术公开了一种基于双模态数据的电厂设备维修决策支持方法及系统，方法包括：获取目标图像并获取所述目标图像中的目标设备对应的设备特征向量；获取第一语音信号和第二语音信号，所述第一语音信号反映所述目标设备的设备状态，所述第二语音信号反映所述目标设备的维修目标，将所述第一语音信号转化为第一语音特征向量，将所述第二语音信号转化为第二语音特征向量；将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配，获取所述目标设备对应的目标维修方案。本发明专利技术可以提升维修方案查找效率。率。率。

【技术实现步骤摘要】
一种基于双模态数据的电厂设备维修决策支持方法及系统


[0001]本专利技术涉及设备控制
，尤其涉及一种基于双模态数据的电厂设备维修决策支持方法及系统。

技术介绍

[0002]传统模式下，维修人员需要携带大量维修文件和手册进场，根据设备的实际故障手工查阅文档选择维修方案，整体效率低下。
[0003]因此，现有技术还有待改进和提高。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于双模态数据的电厂设备维修决策支持方法及系统，旨在解决现有技术中维修人员需要手工查阅文档来查找维修方案，效率低的问题。
[0005]为了解决上述技术问题，本专利技术所采用的技术方案如下：
[0006]第一方面，本专利技术提供一种基于双模态数据的电厂设备维修决策支持方法，其中，所述方法包括：
[0007]获取目标图像并获取所述目标图像中的目标设备对应的设备特征向量；
[0008]获取第一语音信号和第二语音信号，所述第一语音信号反映所述目标设备的设备状态，所述第二语音信号反映所述目标设备的维修目标，将所述第一语音信号转化为第一语音特征向量，将所述第二语音信号转化为第二语音特征向量；
[0009]将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配，获取所述目标设备对应的目标维修方案。
[0010]所述的基于双模态数据的电厂设备维修决策支持方法，其中，所述获取目标图像之前，包括：
[0011]接收第三语音信号，采用已训练的第一神经网络对所述第三语音信号进行识别，获取所述第三语音信号对应的第三语音特征向量；
[0012]当所述第三语音特征向量与预设的触发词特征向量之间的相似度大于第一预设阈值时，获取所述目标图像；
[0013]其中，所述第一神经网络为门控神经网络。
[0014]所述的基于双模态数据的电厂设备维修决策支持方法，其中，所述将所述第一语音信号转化为第一语音特征向量，将所述第二语音信号转化为第二语音特征向量，包括：
[0015]采用所述第一神经网络将所述第一语音信号和所述第二语音信号转化为所述第一语音特征向量和所述第二语音特征向量。
[0016]所述的基于双模态数据的电厂设备维修决策支持方法，其中，所述获取所述目标图像中的目标设备对应的设备特征向量，包括：
[0017]将所述目标图像输入至已训练的目标检测模型，通过所述目标检测模型检测所述
目标图像中的所述目标设备并获取所述目标设备对应的所述设备特征向量。
[0018]所述的基于双模态数据的电厂设备维修决策支持方法，其中，所述目标检测模型基于多组训练数据训练完成，每组训练数据包括样本图像以及该样本图像中的设备标注结果，所述设备标注结果中包括该样本图像中设备所占区域框的坐标位置以及设备的类型。
[0019]所述的基于双模态数据的电厂设备维修决策支持方法，其中，所述将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配之前，包括：
[0020]将多组预设的维修方案文本分别输入至已训练的所述第二神经网络，获取所述第二神经网络输出的所述多组预设的维修方案分别对应的文本特征向量；
[0021]其中，所述第一神经网络和所述第二神经网络的训练过程为：
[0022]在第一训练数据集中选取至少一个目标第一训练数据，在第二训练数据集中选取至少一个目标第二训练数据；
[0023]将所述至少一个目标第一训练数据输入至所述第一神经网络，获取所述第一神经网络输出的各个所述目标第一训练数据分别对应的样本语音特征向量，将所述至少一个目标第二训练数据输入至所述第二神经网络，获取所述第二神经网络输出的各个所述目标第二训练数据分别对应的样本文本特征向量；
[0024]获取各个所述目标第一训练数据之间的第一相似度，获取各个所述样本语音特征向量之间的第二相似度，根据所述第一相似度和所述第二相似度获取第一损失；
[0025]获取各个所述目标第二训练数据之间的第三相似度，获取各个所述样本文本特征向量之间的第四相似度，根据所述第三相似度和所述第四相似度获取第二损失；
[0026]构建至少一个训练数据对，每个所述训练数据对中包括一个所述目标第一训练数据和一个所述目标第二训练数据，获取每个所述训练数据对中的所述目标第一训练数据和所述目标第二训练数据的第五相似度以及对应的所述样本语音特征向量和所述样本文本特征向量之间的第六相似度；
[0027]根据所有所述训练数据对应的所述第五相似度和所述第六相似度获取第三损失；
[0028]根据所述第一损失和所述第三损失更新所述第一神经网络的参数，根据所述第二损失和所述第三损失更新所述第二神经网络的参数。
[0029]所述的基于双模态数据的电厂设备维修决策支持方法，其中，所述将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配，获取所述目标设备对应的目标维修方案，包括：
[0030]将所述第一设备特征向量和所述第一语音特征向量组合，得到组合特征向量；
[0031]根据所述组合特征向量分别与所述设备特征向量对应的至少一组预设的维修方案对应的文本特征向量之间的相似度在所述至少一组预设的维修方案中确定所述目标维修方案。
[0032]第二方面，本专利技术实施例还提供一种基于双模态数据的电厂设备维修决策支持系统，所述系统包括：
[0033]图像向量获取模块，用于获取目标图像并获取所述目标图像中的目标设备对应的设备特征向量；
[0034]语音向量获取模块，用于获取第一语音信号和第二语音信号，所述第一语音信号
反映所述目标设备的设备状态，所述第二语音信号反映所述目标设备的维修目标，将所述第一语音信号转化为第一语音特征向量，将所述第二语音信号转化为第二语音特征向量；
[0035]匹配模块，用于将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配，获取所述目标设备对应的目标维修方案。
[0036]第三方面，本专利技术实施例还提供一种终端，终端包括存储器、处理器及存储在存储器中并可在处理器上运行的基于双模态数据的电厂设备维修决策支持程序，处理器执行基于双模态数据的电厂设备维修决策支持程序时，实现如上述方案中任一项的基于双模态数据的电厂设备维修决策支持方法的步骤。
[0037]第四方面，本专利技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有基于双模态数据的电厂设备维修决策支持程序，基于双模态数据的电厂设备维修决策支持程序被处理器执行时，实现如上述方案中任一项的基于双模态数据的电厂设备维修决策支持方法的步骤。
[0038]有益效果：与现有技术相比，本专利技术提供了一种基于双模态数据的电厂设备维修决策支持方法，先获取目标图像，识别目标图像中的设备并获取对应的设备特征向量，再获取反映目标设备的设备状本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述方法包括：获取目标图像并获取所述目标图像中的目标设备对应的设备特征向量；获取第一语音信号和第二语音信号，所述第一语音信号反映所述目标设备的设备状态，所述第二语音信号反映所述目标设备的维修目标，将所述第一语音信号转化为第一语音特征向量，将所述第二语音信号转化为第二语音特征向量；将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配，获取所述目标设备对应的目标维修方案。2.根据权利要求1所述的基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述获取目标图像之前，包括：接收第三语音信号，采用已训练的第一神经网络对所述第三语音信号进行识别，获取所述第三语音信号对应的第三语音特征向量；当所述第三语音特征向量与预设的触发词特征向量之间的相似度大于第一预设阈值时，获取所述目标图像；其中，所述第一神经网络为门控神经网络。3.根据权利要求2所述的基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述将所述第一语音信号转化为第一语音特征向量，将所述第二语音信号转化为第二语音特征向量，包括：采用所述第一神经网络将所述第一语音信号和所述第二语音信号转化为所述第一语音特征向量和所述第二语音特征向量。4.根据权利要求1所述的基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述获取所述目标图像中的目标设备对应的设备特征向量，包括：将所述目标图像输入至已训练的目标检测模型，通过所述目标检测模型检测所述目标图像中的所述目标设备并获取所述目标设备对应的所述设备特征向量。5.根据权利要求3所述的基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述目标检测模型基于多组训练数据训练完成，每组训练数据包括样本图像以及该样本图像中的设备标注结果，所述设备标注结果中包括该样本图像中设备所占区域框的坐标位置以及设备的类型。6.根据权利要求3所述的基于双模态数据的电厂设备维修决策支持方法，其特征在于，所述将所述设备特征向量、所述第一语音特征向量和所述第二语音特征向量与预设的维修方案进行匹配之前，包括：将多组预设的维修方案文本分别输入至已训练的所述第二神经网络，获取所述第二神经网络输出的所述多组预设的维修方案分别对应的文本特征向量；其中，所述第一神经网络和所述第二神经网络的训练过程为：在第一训练数据集中选取至少一个目标第一训练数据，在第二训练数据集中选取至少一个目标第二训练数据；将所述至少一个目标第一训练数据输入至所述第一神经网络，获取所述第一神经网络输出的各个所述目标第一训练数据分别对应的样本语音特征向量，将所述至少一个目标第二训练数据输入至所述第二神经网络，获取所述第二神经网络输出的各个所...

【专利技术属性】
技术研发人员：文超，赵守运，赵溢丰，季怀杰，侯梦龙，张小宇，郑琪，杨铭轩，聂靓靓，钟建栩，沈华哲，
申请(专利权)人：南方电网调峰调频发电有限公司检修试验分公司，
类型：发明
国别省市：