【技术实现步骤摘要】
本专利技术涉及特种设备运输监控，尤其涉及一种基于声音视频ai分析的特种设备智能运输监控方法。
技术介绍
1、风电项目建设的过程，就是工程物资材料消耗的过程，在运输中需要借助特种吊装和运输设备，因此传统物流企业往往无力承担其运输任务。总体看，风电项目建设中的工程物流是时效性强、风险性高的一次性物流，期间涉及超重、超大、超长零配件的运输，对运输质量和运输技术要求都非常高。
2、例如公开号为cn116055520a的中国专利公开了运输车辆信息远程监控系统，包括：数据采集模块：用于采集运输车辆信息数据；数据处理模块：用于对采集的运输车辆数据进行处理；告警模块：用于根据数据处理模块处理结果进行告警；通信模块：用于运输车辆与监控终端模块的通信；监控终端模块：用于接收运输车辆信息并进行远程监控。该专利技术通过传感器、酒精检测、疲劳驾驶检测对运输车辆和驾驶员状态进行监测，保证驾驶员的安全驾驶，通过位置采集实时更新车辆远程定位数据。便于监控终端实时掌握运输车辆定位数据，为运输车辆提供及时的帮助。
3、以上专利均存在本
技术介绍
提出的问题：在实际应用中，由于环境噪声、设备运行噪音、视频质量因素的影响，导致ai算法的识别准确度不高，在运输过程中，由于设备处于驾驶人员视野盲区，可能存在潜在的安全风险，例如，设备之间的碰撞、设备内部的零件松动等，由于运输路程远、运输时间长的原因，驾驶人员在进入驾驶疲劳状态时会增大出现事故的风险，为解决以上问题，本申请设计了一种基于声音视频ai分析的特种设备智能运输监控方法。
<
1、本专利技术所要解决的技术问题是针对现有技术的不足，提供了一种基于声音视频ai分析的特种设备智能运输监控方法，首先通过声学传感器获取车辆行驶过程中车厢内特种设备异常响动发出的声音信号，对特种设备运输过程中的特种设备状态进行识别，其次，通过摄像设备获取车辆行驶过程中驾驶人员的面部视频信息，进行驾驶人员面部特征提取，根据驾驶人员面部特征对特种设备运输过程中的驾驶人员疲劳状态进行识别，最后根据特种设备状态和驾驶人员疲劳状态对特种设备运输过程进行实时监控，对特种设备运输过程中的状态进行分析，根据分析结果进行预警。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于声音视频ai分析的特种设备智能运输监控方法，包括以下步骤：
4、s1：通过声学传感器获取车辆行驶过程中车厢内特种设备异常响动发出的声音信号，对声音信号进行预处理，根据预处理后的声音信号对特种设备运输过程中的特种设备状态进行识别；
5、s2：通过摄像设备获取车辆行驶过程中驾驶人员的面部视频信息，进行驾驶人员面部特征提取，根据驾驶人员面部特征对特种设备运输过程中的驾驶人员疲劳状态进行识别；
6、s3：根据特种设备状态和驾驶人员疲劳状态对特种设备运输过程进行实时监控，对特种设备运输过程中的状态进行分析，根据分析结果进行预警；
7、所述s1中所述预处理包括声音信号增强、声音信号去噪和声音信号归一化，所述特种设备运输过程中的状态包括正常运输状态、异常震动状态和刮擦碰撞状态；
8、所述s1具体步骤如下：
9、s1.1：通过声学传感器获取声音信号，对声音信号进行预处理；
10、s1.2：对预处理后的声音信号进行特征提取，获取声音特征信号，对声音特征信号进行短时傅里叶变换，计算声音特征信号的时域频谱特征；
11、s1.3：对时域频谱特征进行对数运算和尺寸重构，获得特种设备状态识别网络的输入参数，对输入参数进行卷积，计算输入参数的输入特征，输入特征的计算公式为：
12、
13、其中，f表示输入参数的输入特征，f3x3表示3x3的卷积核卷积操作，ftest表示训练阶段的历史输入参数，μ表示历史输入参数的标准差，表示历史输入参数的方差，ε表示训练阶段误差，表示向量点乘操作，fin表示输入参数；
14、s1.4：根据输入参数的输入特征，特种设备状态识别网络对特种设备状态进行识别，通过注意力机制计算特种设备状态类别参数，根据特种设备状态类别参数输出分类结果，特种设备状态类别参数的计算公式为：
15、sescp＝σ{f3×3[avgpool(γ·f+β)],maxpool(f')}，
16、其中，sescp表示特种设备状态类别参数，σ{·}表示激活函数，avgpool(·)表示平均池化函数，γ表示尺度因子，β表示平移因子，maxpool(·)表示最大池化函数，f'表示通过注意力机制的输入特征；
17、所述s2中所述驾驶人员面部特征包括驾驶人员眼部特征、驾驶人员嘴部特征和驾驶人员头部特征；
18、所述s2具体步骤如下：
19、s2.1：获取车辆行驶过程中驾驶人员的面部视频信息，按视频流时间截取帧间面部图像，通过行梯度算子将帧间面部图像转换为面部行梯度图；
20、s2.2：在梯度方向上检查面部行梯度图每个像素的梯度响应，设定响应阈值，将面部行梯度图中小于响应阈值的梯度响应置零，只保留面部行梯度图中大于等于响应阈值的梯度响应，并根据中值滤波消除面部行梯度图中的噪声；
21、s2.3：根据滤波后的面部行梯度图，进行驾驶人员面部特征提取，将驾驶人员面部特征作为驾驶人员疲劳识别网络的输入，通过多尺度卷积下采样进行特征重构，并根据重构误差函数补偿，计算驾驶人员的疲劳率，输出驾驶人员的疲劳状态，驾驶人员疲劳率的计算公式为：
22、
23、其中，fr表示驾驶人员疲劳率，re{·}表示重构误差函数，fm表示多尺度卷积，ωe表示眼部疲劳权重，ec表示驾驶人员的眼部特征，enc表示特征重构后的驾驶人员的眼部特征，be表示眼部状态偏置项，ωm表示嘴部疲劳权重，mc表示驾驶人员嘴部特征，mnc表示特征重构后的驾驶人员的嘴部特征，bm表示嘴部状态偏置项，ωh表示头部疲劳权重，hc表示驾驶人员头部特征，hnc表示特征重构后的驾驶人员的头部特征，bh表示头部状态偏置项；
24、所述驾驶人员眼部特征的特征提取步骤如下：
25、s601：对滤波后的面部行梯度图进行水平投影，根据水平投影函数的最值划分眼部区域的上下边界和左右边界，将上下边界和左右边界处函数值与面部行梯度图进行匹配，获取双眼区域图；
26、s602：根据双眼区域图的黑色像素纵横比，计算双眼区域图眼睛的闭合程度，与闭合阈值进行对比，如果大于闭合阈值，表示处于睁眼状态，如果小于等于闭合阈值，表示处于闭眼状态；
27、s603：对面部视频信息每一帧眼睛的闭合程度进行统计，计算驾驶人员眼部特征，驾驶人员眼部特征的计算公式为：
28、
29、其中，el表示驾驶人员左眼眼睑比，er表示驾驶人员右眼眼睑比，nc表示面部视频信息的闭眼总帧数，nt表示面部视频信息的总帧数，no表示面部视频信息的睁眼总帧数，t表示面部视频信息单帧时间，n本文档来自技高网...
【技术保护点】
1.一种基于声音视频AI分析的特种设备智能运输监控方法，其特征在于，包括以下步骤；
2.根据权利要求1所述一种基于声音视频AI分析的特种设备智能运输监控方法，其特征在于，所述S1中所述预处理包括声音信号增强、声音信号去噪和声音信号归一化，所述特种设备运输过程中的状态包括正常运输状态、异常震动状态和刮擦碰撞状态。
3.根据权利要求2所述一种基于声音视频AI分析的特种设备智能运输监控方法，其特征在于，所述S1具体步骤如下：
4.根据权利要求3所述一种基于声音视频AI分析的特种设备智能运输监控方法，其特征在于，所述S2中所述驾驶人员面部特征包括驾驶人员眼部特征、驾驶人员嘴部特征和驾驶人员头部特征。
5.根据权利要求4所述一种基于声音视频AI分析的特种设备智能运输监控方法，其特征在于，所述S2具体步骤如下：
6.根据权利要求5所述一种基于声音视频AI分析的特种设备智能运输监控方法，其特征在于，所述驾驶人员眼部特征的特征提取步骤如下：
7.根据权利要求6所述一种基于声音视频AI分析的特种设备智能运输监控方法，其特征在于
8.根据权利要求7所述一种基于声音视频AI分析的特种设备智能运输监控方法，其特征在于，所述驾驶人员头部特征的特征提取步骤如下：
...【技术特征摘要】
1.一种基于声音视频ai分析的特种设备智能运输监控方法，其特征在于，包括以下步骤；
2.根据权利要求1所述一种基于声音视频ai分析的特种设备智能运输监控方法，其特征在于，所述s1中所述预处理包括声音信号增强、声音信号去噪和声音信号归一化，所述特种设备运输过程中的状态包括正常运输状态、异常震动状态和刮擦碰撞状态。
3.根据权利要求2所述一种基于声音视频ai分析的特种设备智能运输监控方法，其特征在于，所述s1具体步骤如下：
4.根据权利要求3所述一种基于声音视频ai分析的特种设备智能运输监控方法，其特征在于，所述s2中所述驾驶人员面部特征包括驾驶人员...
【专利技术属性】
技术研发人员：周永霞，郑晓，
申请(专利权)人：无锡恒达智运科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。