基于深度学习的检修识别方法、系统、设备和存储介质技术方案

本申请涉及一种基于深度学习的检修识别方法、系统、设备和存储介质。该方法基于地铁车辆检修断送电作业视频数据，采用人体骨架识别判断人体关键点，结合深度学习目标检测，然后根据断送电具体操作流程综合分析人体姿态、位置、目标状态，得出违规结果并控制喇叭输出报警声提醒工作人员并保存违章图片，从而规范作业人员行为，确保安全作业。该实施例基于地铁检修断送电操作安全规程建立规则引擎，使用多路视频联合识别，根据实际作业顺序以及项点按照不同时段建立不同的报警规则，对模型检测出来的结果进行综合判断得出违章结果。对地铁检修断送电作业起到了实时监督提醒的作用，有效减少了实际工作中因误操作带来的安全隐患。减少了实际工作中因误操作带来的安全隐患。减少了实际工作中因误操作带来的安全隐患。

【技术实现步骤摘要】
基于深度学习的检修识别方法、系统、设备和存储介质


[0001]本申请涉及有轨列车领域，特别是涉及一种基于深度学习的检修识别方法、系统、设备和存储介质。

技术介绍

[0002]地铁交通是现在城市主要的公共交通之一，在缓解城市交通拥堵问题发挥了巨大的作用。地铁车辆频繁地运行难免导致各个部件的磨损，因此为了保证地铁的运行安全各个车辆段的检修工作尤其重要。在地铁开进检修车间后需要对接触网进行断电然后开始检修，检修完后又需要送电并将地铁开出检修车间。为了保证断送电作业过程员工的安全，车辆段有关部门制定了一套安全操作规范。然而实际操作过程中不严格按照操作规范进行断送电作业的情况时有发生，而传统的检测方式是事后人工检查监控视频，不仅耗时耗力，也难以实时检查分析多路视频。因此，现有技术中对于地铁的检修存在很多安全性的问题，需要进一步的技术创新。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种基于深度学习的检修识别方法、系统、设备和存储介质。
[0004]第一方面，本专利技术实施例提供了一种基于深度学习的检修识别方法，该方法包括：
[0005]根据边缘端摄像头采集地铁的检修过程，获取地铁检修的实时视频数据流，对所述实时视频数据流进行图像增强处理，并在处理后传输给视频分析服务器；
[0006]通过所述视频分析服务器的深度学习目标检测模型判断检修的物体状态，并通过人体姿态预估模型判断检修人员的人体特征及行为，将所述物体状态、人体特征及行为传入规则引擎；
[0007]根据规则引擎的安全操作规程判断是否出现违章行为及安全隐患，将结果信号发送给文件输出模块；
[0008]文件输出模块根据违章结果判断是否发出报警信号，同时输出视频分析结果数据流，并将违章结果、日志信息保存至视数据库服务器。
[0009]进一步的，所述通过所述视频分析服务器的深度学习目标检测模型判断检修的物体状态，并通过人体姿态预估模型判断检修人员的人体特征及行为，将所述物体状态、人体特征及行为传入规则引擎，包括：
[0010]通过人体姿态识别算法对地铁检修断送电作业人员进行骨架识别，同时通过目标识别算法对检修过程中的验电器、接地棒、配电箱、劳保用品进行检测，得到检修目标的对应状态、位置；
[0011]分别对检修人员的佩戴安全帽情况、穿戴绝缘手套情况、穿戴绝缘靴情况、穿戴反光背心情况、手持电话情况进行目标识别；
[0012]分别对检修接地棒的悬挂状态和水平放置状态、验电器的悬挂状态和水平放置状
态、配电柜的打开状态和关闭状态、隔离开关的闭合状态和断开状态进行目标识别；
[0013]使用人体姿态识别算法对人体姿态进行识别，并从输入的图片中检测到人体及对应的关键点位置，通过所述关键点位置判断当前是否属于断送电关键动作。
[0014]进一步的，所述根据规则引擎的安全操作规程判断是否出现违章行为及安全隐患，将结果信号发送给文件输出模块，包括：
[0015]通过目标检测算法和人体姿态预估算法识别后将识别结果存入内存数据库；
[0016]通过FastDB、Memcached或者Redis内存数据库储存识别结果；
[0017]规则引擎从内存数据库中读取识别结果，判断当前所处的状态，同时判断有无违章行为发生，如有违章会生成违章代码，文件输出模块根据违章状态码进行报警。
[0018]进一步的，所述文件输出模块根据违章结果判断是否发出报警信号，同时输出视频分析结果数据流，并将违章结果、日志信息保存至视数据库服务器，包括：
[0019]视频处理终端占用一个IP地址，视频终端里面储存音频文件、根据来自视频分析服务器的报警信息向扬声器输出音频信号，控制扬声器实时报警，提醒现场工作人员；
[0020]音频文件储存在视频分析服务器，IP喇叭将占用一个IP地址、通过接受来自视频分析服务器的音频信号进行实时报警，提醒现场工作人员；
[0021]视频分析服务器通过音频线向监控室的扬声器输出报警信号，控制扬声器发出报警声，提醒监控室工作人员。
[0022]另一方面，本专利技术实施例还提供了一种基于深度学习的检修识别系统，包括：
[0023]检修采集模块，用于根据边缘端摄像头采集地铁的检修过程，获取地铁检修的实时视频数据流，对所述实时视频数据流进行图像增强处理，并在处理后传输给视频分析服务器；
[0024]视频识别模块，用于通过所述视频分析服务器的深度学习目标检测模型判断检修的物体状态，并通过人体姿态预估模型判断检修人员的人体特征及行为，将所述物体状态、人体特征及行为传入规则引擎；
[0025]检修判断模块，用于根据规则引擎的安全操作规程判断是否出现违章行为及安全隐患，将结果信号发送给文件输出模块；
[0026]检修报警模块，用于对文件输出模块根据违章结果判断是否发出报警信号，同时输出视频分析结果数据流，并将违章结果、日志信息保存至视数据库服务器。
[0027]进一步的，所述视频识别模块包括算法识别单元，所述算法识别单元用于：
[0028]通过人体姿态识别算法对地铁检修断送电作业人员进行骨架识别，同时通过目标识别算法对检修过程中的验电器、接地棒、配电箱、劳保用品进行检测，得到检修目标的对应状态、位置；
[0029]分别对检修人员的佩戴安全帽情况、穿戴绝缘手套情况、穿戴绝缘靴情况、穿戴反光背心情况、手持电话情况进行目标识别；
[0030]分别对检修接地棒的悬挂状态和水平放置状态、验电器的悬挂状态和水平放置状态、配电柜的打开状态和关闭状态、隔离开关的闭合状态和断开状态进行目标识别；
[0031]使用人体姿态识别算法对人体姿态进行识别，并从输入的图片中检测到人体及对应的关键点位置，通过所述关键点位置判断当前是否属于断送电关键动作。
[0032]进一步的，所述检修判断模块包括数据处理单元，所述数据处理单元用于：
[0033]通过目标检测算法和人体姿态预估算法识别后将识别结果存入内存数据库；
[0034]通过FastDB、Memcached或者Redis内存数据库储存识别结果；
[0035]规则引擎从内存数据库中读取识别结果，判断当前所处的状态，同时判断有无违章行为发生，如有违章会生成违章代码，文件输出模块根据违章状态码进行报警。
[0036]进一步的，所述检修报警模块包括报警选择单元，所述报警选择单元用于：
[0037]视频处理终端占用一个IP地址，视频终端里面储存音频文件、根据来自视频分析服务器的报警信息向扬声器输出音频信号，控制扬声器实时报警，提醒现场工作人员；
[0038]音频文件储存在视频分析服务器，IP喇叭将占用一个IP地址、通过接受来自视频分析服务器的音频信号进行实时报警，提醒现场工作人员；
[0039]视频分析服务器通过音频线向监控室的扬声器输出报警信号，控制扬声器发出报警声，提醒监控室工作人员。
[0040]本专利技术实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的检修识别方法，其特征在于，所述方法包括：根据边缘端摄像头采集地铁的检修过程，获取地铁检修的实时视频数据流，对所述实时视频数据流进行图像增强处理，并在处理后传输给视频分析服务器；通过所述视频分析服务器的深度学习目标检测模型判断检修的物体状态，并通过人体姿态预估模型判断检修人员的人体特征及行为，将所述物体状态、人体特征及行为传入规则引擎；根据规则引擎的安全操作规程判断是否出现违章行为及安全隐患，将结果信号发送给文件输出模块；文件输出模块根据违章结果判断是否发出报警信号，同时输出视频分析结果数据流，并将违章结果、日志信息保存至视数据库服务器。2.根据权利要求1所述的基于深度学习的检修识别方法，其特征在于，所述通过所述视频分析服务器的深度学习目标检测模型判断检修的物体状态，并通过人体姿态预估模型判断检修人员的人体特征及行为，将所述物体状态、人体特征及行为传入规则引擎，包括：通过人体姿态识别算法对地铁检修断送电作业人员进行骨架识别，同时通过目标识别算法对检修过程中的验电器、接地棒、配电箱、劳保用品进行检测，得到检修目标的对应状态、位置；分别对检修人员的佩戴安全帽情况、穿戴绝缘手套情况、穿戴绝缘靴情况、穿戴反光背心情况、手持电话情况进行目标识别；分别对检修接地棒的悬挂状态和水平放置状态、验电器的悬挂状态和水平放置状态、配电柜的打开状态和关闭状态、隔离开关的闭合状态和断开状态进行目标识别；使用人体姿态识别算法对人体姿态进行识别，并从输入的图片中检测到人体及对应的关键点位置，通过所述关键点位置判断当前是否属于断送电关键动作。3.根据权利要求1所述的基于深度学习的检修识别方法，其特征在于，所述根据规则引擎的安全操作规程判断是否出现违章行为及安全隐患，将结果信号发送给文件输出模块，包括：通过目标检测算法和人体姿态预估算法识别后将识别结果存入内存数据库；通过FastDB、Memcached或者Redis内存数据库储存识别结果；规则引擎从内存数据库中读取识别结果，判断当前所处的状态，同时判断有无违章行为发生，如有违章会生成违章代码，文件输出模块根据违章状态码进行报警。4.根据权利要求1所述的基于深度学习的检修识别方法，其特征在于，所述文件输出模块根据违章结果判断是否发出报警信号，同时输出视频分析结果数据流，并将违章结果、日志信息保存至视数据库服务器，包括：视频处理终端占用一个IP地址，视频终端里面储存音频文件、根据来自视频分析服务器的报警信息向扬声器输出音频信号，控制扬声器实时报警，提醒现场工作人员；音频文件储存在视频分析服务器，IP喇叭将占用一个IP地址、通过接受来自视频分析服务器的音频信号进行实时报警，提醒现场工作人员；视频分析服务器通过音频线向监控室的扬声器输出报警信号，控制扬声器发出报警声，提醒监控室工作人员。5.一种基于深度学习的检修识别系统，其特征在于，包括：
检修采集模块，用于...

【专利技术属性】
技术研发人员：王傲林，刘昕武，徐章，曾利程，苏震，熊敏君，颜家云，姚巍巍，黎孟，彭联贴，李晨，张慧源，
申请(专利权)人：株洲中车时代电气股份有限公司，
类型：发明
国别省市：