基于深度学习的机器人智能巡检中的仪表数据识别方法技术

本申请基于深度学习的机器人智能巡检中的仪表数据识别方法，涉及图像处理领域。该方法包括：获取仪表盘视频；对仪表盘视频进行关键帧提取，得到待测关键帧；对待测关键帧进行图像分割，得到待测图像；将待测图像输入示数读取模型，输出得到仪表示数读取结果；对仪表示数读取结果进行处理，得到仪表读数。在进行对于包含有仪表的图片进行识别的过程中，通过提取关键帧，并分割关键图片的方式，获取与仪表示数相关的图片，并输入识别模型中，最终得到仪表读数。在识别过程中结合关键帧识别、图像分割以及人工智能技术，使得机器人智能巡检过程中，对于指示仪表当中的数据的自动识别准确率得到提高。确率得到提高。确率得到提高。

【技术实现步骤摘要】
基于深度学习的机器人智能巡检中的仪表数据识别方法


[0001]本申请涉及图像处理领域，特别涉及一种基于深度学习的机器人智能巡检中的仪表数据识别方法。

技术介绍

[0002]在数字化、人工智能的发展下，大部分工业场景可以使用数字式仪表对机器的工作状态进行监测。
[0003]相关技术中，通常基于传统计算机视觉技术进行数字式仪表机器的内容监测，在一个示例中，通过图像采集设备进行仪表参数获取后，通过人工识别的方式进行仪表数据识别，或配合计算机设备中的程序，在不改变图像清晰度的情况下直接识别仪表内容。
[0004]然而，基于传统计算机视觉技术的数字式仪表机器的内容检测方式对于图像的成像质量具有较高要求，当图像质量较低时，对于仪表数据识别的效率较差。

技术实现思路

[0005]本申请关于一种基于深度学习的机器人智能巡检中的仪表数据识别方法，能够提高对于机器人智能巡检过程中的指示仪表数据识别准确率，该方法包括：
[0006]获取仪表盘视频，仪表盘视频为机器人智能巡检过程中的指示仪表进行拍摄得到的视频片段；
[0007]对仪表盘视频进行关键帧提取，得到待测关键帧；
[0008]对待测关键帧进行图像分割，得到待测图像，待测图像中包括指示仪表以及所示指示仪表的示数；
[0009]将待测图像输入示数读取模型，输出得到仪表示数读取结果，仪表示数读取结果包括仪表指针读取结果以及数字读取结果中的至少一种，示数读取模型为基于机器学习的人工智能模型；
[0010]对仪表示数读取结果进行处理，得到仪表读数。
[0011]在一个可选的实施例中，对仪表盘视频进行关键帧提取，得到待测关键帧，包括：
[0012]确定关键帧提取间隔；
[0013]基于关键帧提取间隔，对仪表盘视频进行关键帧提取，得到待测关键帧。
[0014]在一个可选的实施例中，该方法还包括：
[0015]确定与待测关键帧对应的置信度数值；
[0016]响应于置信度数值低于置信度数值阈值，对待测关键帧进行筛除。
[0017]在一个可选的实施例中，对待测关键帧进行图像分割，得到待测图像，包括：
[0018]将待测关键帧输入仪表识别模型，输出得到与待测关键帧对应的仪表位置信息，仪表识别模型为基于YOLOv5网络建立的识别模型；
[0019]基于仪表位置信息对待测关键帧进行图像分割，得到仪表位置图像；
[0020]对仪表位置图像进行调整，得到待测图像。
[0021]在一个可选的实施例中，对仪表位置图像进行调整，得到待测图像，包括：
[0022]确定与指示仪表对应的原始形状；
[0023]基于仪表位置图像，确定与指示仪表对应的畸变程度；
[0024]基于畸变程度对仪表位置图像进行变换，得到待测图像，变换包括透视变换与仿射变换中的至少一种。
[0025]在一个可选的实施例中，示数读取模型为基于图像分割网络的人工智能模型，示数读取模型包括依次连接的解码模块、残差模块、条约连接模块以及编码模块。
[0026]在一个可选的实施例中，该方法还包括：
[0027]获取样本集，样本集中包括至少两个样本待测图像，样本待测图像标注有样本读取结果；
[0028]将样本待测图像输入示数读取模型，得到测量读取结果；
[0029]将测量读取结果与样本读取结果进行比对，得到比对结果；
[0030]基于比对结果，根据Adam梯度下降法以及反向传播原理，对示数读取模型进行调整。
[0031]在一个可选的实施例中，仪表示数读取结果实现为仪表指针读取结果；
[0032]对仪表示数读取结果进行处理，得到仪表读数，包括：
[0033]确定与指示仪表对应的仪表度量；
[0034]结合主成分分析技术，确定与仪表示数读取结果对应的仪表指向向量；
[0035]结合仪表指向向量以及仪表度量，确定仪表读数。
[0036]在一个可选的实施例中，该方法还包括:
[0037]获取与仪表盘视频对应的音频数据；
[0038]对音频数据进行音频内容声纹识别，得到音频内容声纹识别结果，音频内容声纹识别结果包括警报结果、异常结果以及正常结果；
[0039]将音频内容声纹识别结果与仪表读数进行匹配，得到提示音准确性判断结果。
[0040]在一个可选的实施例中，，对音频数据进行音频内容声纹识别，得到音频内容声纹识别结果，包括：
[0041]将音频数据输入音频识别模型，输出得到音频内容声纹识别结果，音频内容识别模型是基于Mel频率倒谱系数MFCC参数训练得到的人工智能模型。
[0042]本申请提供的技术方案带来的有益效果至少包括：
[0043]在进行对于包含有仪表的图片进行识别的过程中，通过提取关键帧，并分割关键图片的方式，获取与仪表示数相关的图片，并输入识别模型中，最终得到仪表读数。在识别过程中结合关键帧识别、图像分割以及人工智能技术，使得机器人智能巡检过程中，对于指示仪表当中的数据的自动识别准确率得到提高。
附图说明
[0044]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]图1示出了本申请一个示例性实施例提供的一种基于深度学习的机器人智能巡检中的仪表数据识别方法的流程示意图。
[0046]图2示出了本申请一个示例性实施例提供的另一种基于深度学习的机器人智能巡检中的仪表数据识别方法的流程示意图。
[0047]图3示出了本申请一个示例性实施例提供的一种示数读取模型的框架示意图。
具体实施方式
[0048]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0049]图1示出了本申请一个示例性实施例提供的一种基于深度学习的机器人智能巡检中的仪表数据识别方法的流程示意图，以该方法应用于计算机设备中为例进行说明，该方法包括：
[0050]步骤101，获取仪表盘视频。
[0051]本申请实施例中，仪表盘视频为机器人智能巡检过程中的指示仪表进行拍摄得到的视频。也即，在机器人智能巡检过程中，机器人将配置图像采集设备，或，智能巡检的环境中配置有图像采集设备，图像采集设备能够对应预设方向进行图像采集，以采集到包括指示仪表工作动态的视频。
[0052]步骤102，对仪表盘视频进行关键帧提取，得到待测关键帧。
[0053]该过程为对于仪表盘视频进行关键帧截取的过程。可选地，通过随机抽帧或按照预设规则抽帧的方式，计算机设备得到至少两个待测关键帧。
[0054]步骤103，对待测关键帧进行图像分割，得到待测图像。
[0055]本申请实施例中，待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的机器人智能巡检中的仪表数据识别方法，其特征在于，所述方法应用于计算机设备中，所述方法包括：获取仪表盘视频，所述仪表盘视频为机器人智能巡检过程中的指示仪表进行拍摄得到的视频片段；对所述仪表盘视频进行关键帧提取，得到待测关键帧；对所述待测关键帧进行图像分割，得到待测图像，所述待测图像中包括指示仪表以及所示指示仪表的示数；将所述待测图像输入示数读取模型，输出得到仪表示数读取结果，所述仪表示数读取结果包括仪表指针读取结果以及数字读取结果中的至少一种，所述示数读取模型为基于机器学习的人工智能模型；对所述仪表示数读取结果进行处理，得到仪表读数。2.根据权利要求1所述的方法，其特征在于，所述对所述仪表盘视频进行关键帧提取，得到待测关键帧，包括：确定关键帧提取间隔；基于所述关键帧提取间隔，对所述仪表盘视频进行关键帧提取，得到所述待测关键帧。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定与所述待测关键帧对应的置信度数值；响应于所述置信度数值低于置信度数值阈值，对所述待测关键帧进行筛除。4.根据权利要求1所述的方法，其特征在于，所述对所述待测关键帧进行图像分割，得到待测图像，包括：将所述待测关键帧输入所述仪表识别模型，输出得到与所述待测关键帧对应的仪表位置信息，所述仪表识别模型为基于YOLOv5网络建立的识别模型；基于所述仪表位置信息对所述待测关键帧进行图像分割，得到仪表位置图像；对所述仪表位置图像进行调整，得到所述待测图像。5.根据权利要求4所述的方法，其特征在于，所述对所述仪表位置图像进行调整，得到所述待测图像，包括：确定与所述指示仪表对应的原始形状；基于所述仪表位置图像，确定与所述指示仪表对应的畸变程度；基于所述畸变程度对所述仪...

【专利技术属性】
技术研发人员：纪元，邱奇，顾锡华，徐甍，俞亚，周玮，黄源航，周琪，张怡然，强梦烨，
申请(专利权)人：国网江苏省电力有限公司无锡供电分公司，
类型：发明
国别省市：