基于人工智能和计算机视觉的火车安全监控方法和装置制造方法及图纸

本发明专利技术涉及一种基于人工智能和计算机视觉的火车安全监控方法和装置，获取火车驾驶员的手势识别语音启动指令，若手势识别语音启动指令是有效语音启动指令，则获取至少两帧火车驾驶员的手势动作图像，进而得到各帧手势动作图像的手势动作数据以及各帧手势动作数据的节点和边的特征向量，将各帧手势动作数据的节点和边的特征向量输入至预设的手势动作识别模型中，识别得到目标手势动作，将目标手势动作输入至预设的火车状态识别模型中，得到目标火车状态信息。本发明专利技术提供的火车安全监控方法能够准确得到与火车驾驶员的实际手势动作相对应的真实火车状态信息，提升火车状态信息获取的精度，进而提升火车监控的安全性。

【技术实现步骤摘要】
基于人工智能和计算机视觉的火车安全监控方法和装置
本专利技术涉及一种基于人工智能和计算机视觉的火车安全监控方法和装置。
技术介绍
火车驾驶员在火车行驶前或者行驶过程中，需要将行驶状态以及车内仪器检测情况等信息通过手势演示出来，传统的火车安全监控方式为：其他工作人员在看到手势之后，根据手势与火车状态之间的对应关系，获取到与手势相关的数据信息，并将数据信息输出给后台监控中心。后台监控中心实时掌握到火车的状态信息，以确保火车的安全行驶，防止事故的发生。后来，为了实现智能化控制，一些基于图像处理的手势识别方法相继被研发出来，但是目前的这些手势识别方法的手势识别精度比较低，若应用到火车安全监控中，可能会获取到错误的识别结果，进而根据错误的识别结果得到错误的火车状态信息，影响火车的安全监控。
技术实现思路
本专利技术提供一种基于人工智能和计算机视觉的火车安全监控方法和装置，用于解决现有的火车安全监控方法的准确性比较低，会影响火车的安全监控的技术问题。本专利技术采用以下技术方案：一种基于人工智能和计算机视觉的火车安全监控方本文档来自技高网...

【技术保护点】
1.一种基于人工智能和计算机视觉的火车安全监控方法，其特征在于，包括如下步骤：/n获取火车驾驶员的手势识别语音启动指令；/n对所述手势识别语音启动指令进行判断，获取所述手势识别语音启动指令是否是有效语音启动指令的判别结果；/n若所述判别结果为所述手势识别语音启动指令是有效语音启动指令，则获取至少两帧火车驾驶员的手势动作图像；/n根据各帧手势动作图像，获取各帧手势动作图像的手势动作数据；/n根据各帧手势动作数据，获取各帧手势动作数据的节点和边的特征向量；/n将所述各帧手势动作数据的节点和边的特征向量输入至预设的手势动作识别模型中，识别得到目标手势动作；/n将所述目标手势动作输入至预设的火车状态识...

【技术特征摘要】
1.一种基于人工智能和计算机视觉的火车安全监控方法，其特征在于，包括如下步骤：
获取火车驾驶员的手势识别语音启动指令；
对所述手势识别语音启动指令进行判断，获取所述手势识别语音启动指令是否是有效语音启动指令的判别结果；
若所述判别结果为所述手势识别语音启动指令是有效语音启动指令，则获取至少两帧火车驾驶员的手势动作图像；
根据各帧手势动作图像，获取各帧手势动作图像的手势动作数据；
根据各帧手势动作数据，获取各帧手势动作数据的节点和边的特征向量；
将所述各帧手势动作数据的节点和边的特征向量输入至预设的手势动作识别模型中，识别得到目标手势动作；
将所述目标手势动作输入至预设的火车状态识别模型中，获取与所述目标手势动作相对应的目标火车状态信息。


2.根据权利要求1所述的基于人工智能和计算机视觉的火车安全监控方法，其特征在于，所述对所述手势识别语音启动指令进行判断，获取所述手势识别语音启动指令是否是有效语音启动指令的判别结果具体为：
对所述手势识别语音启动指令进行语音识别，得到手势识别文字启动指令；
将所述手势识别文字启动指令与预设的手势识别文字启动标准指令进行比对，若所述手势识别文字启动指令是所述手势识别文字启动标准指令，则所述手势识别语音启动指令是有效语音启动指令，若所述手势识别文字启动指令不是所述手势识别文字启动标准指令，则所述手势识别语音启动指令不是有效语音启动指令。


3.根据权利要求1所述的基于人工智能和计算机视觉的火车安全监控方法，其特征在于，所述各帧手势动作数据的节点的特征向量包括节点的三维世界坐标以及节点在三维坐标系中的速度；所述各帧手势动作数据的边的特征向量包括边所对应的两个节点之间的空间欧式距离以及边所对应的两个节点的连线与三维坐标系中三个坐标轴之间的夹角。


4.根据权利要求1所述的基于人工智能和计算机视觉的火车安全监控方法，其特征在于，所述手势动作识别模型的创建过程具体为：
获取火车驾驶员的各个手势动作所对应的手势动作样本数据集，所述手势动作样本数据集包括与对应的手势动作相对应的至少两帧手势动作样本数据；
对于任意一个手势动作，获取该手势动作的手势动作样本数据集中各帧手势动作样本数据的节点和边的特征向量；
将该手势动作对应的节点和边的特征向量输入至预设的图网络结构进行计算；
对经过计算后的图网络结构进行训练，获取该手势动作的手势动作识别子模型；
获取火车驾驶员的所有手势动作对应的手势动作识别子模型，所述火车驾驶员的所有手势动作对应的手势动作识别子模型构成所述手势动作识别模型。


5.根据权利要求4所述的基于人工智能和计算机视觉的火车安全监控方法，其特征在于，所述将该手势动作对应的节点和边的特征向量输入至预设的图网络结构进行计算具体为：
初始化该手势动作的每一帧手势动作样本数据的全局属性的特征向量；
构建与该手势动作的手势动作样本数据的帧数相同个数的图网络结构，将每一帧手势动作样本数据的节点和边的特征向量以及初始化的全局属性的特征...

【专利技术属性】
技术研发人员：祝斯佳，陈雪磊，
申请(专利权)人：郑州博瀚智能科技有限公司，
类型：发明
国别省市：河南;41