一种基于多模态信号的烟草振槽故障检测系统技术方案

本发明专利技术涉及人工智能领域，具体为一种基于多模态信号的烟草振槽故障检测系统，包括视频拍摄、视频切割与音频分割、模型编码、提取MFCC特征、建立向量特征编码、计算余弦距离，分析数值等步骤。本发明专利技术利用人工智能技术，综合视觉和声音信号自动判定烟草振动槽的振动状况，相比于人工判断方案，系统可靠性更高，检测更加智能化，人工成本更低。人工成本更低。人工成本更低。

【技术实现步骤摘要】
一种基于多模态信号的烟草振槽故障检测系统


[0001]本专利技术涉及人工智能领域，具体为一种基于多模态信号的烟草振槽故障检测系统。

技术介绍

[0002]目前烟草振槽的振动状态判定是通过人工的方式进行，通过人的人工巡检，检查振动槽的振动状态，听振动槽的振动声音，判定是否有异常振动，现在方案的缺点是没有自动化，效率低，人工成本高，可靠性较低，大部分时候人工检查的时候质量无法得到保证，一旦出现故障无法及时发现，造成停工停产的后果。

技术实现思路

[0003]本专利技术利用人工智能技术，综合视觉和声音信号自动判定烟草振动槽的振动状况，相比于人工判断方案，系统可靠性更高，检测更加智能化，人工成本更低。
[0004]为解决现有技术存在的问题，本专利技术提供了一种基于多模态信号的烟草振槽故障检测系统，包括视频拍摄、视频切割与音频分割、模型编码、提取MFCC特征、建立向量特征编码、计算余弦距离，分析数值等步骤，具体步骤如下：
[0005](1)视频拍摄：拍摄一段振槽视频，并且将其转化成一帧一帧的图片；/>[0006](2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态信号的烟草振槽故障检测系统，包括视频拍摄、视频切割与音频分割、模型编码、提取MFCC特征、建立向量特征编码、计算余弦距离，分析数值等步骤，其特征在于具体步骤如下：(1)视频拍摄：拍摄一段振槽视频，并且将其转化成一帧一帧的图片；(2)视频切割与音频分割；(3)模型编码；(4)提取MFCC特征：对于每一帧音频，提取其MFCC特征并用CMVN算法进行归一化，提取过程主要分为预加重、分帧、加窗、快速傅里叶变换、Mel滤波器组、倒谱分析几个步骤；(5)建立向量特征编码；(6)计算余弦距离；(7)分析数值。2.根据权利要求1所述的一种基于多模态信号的烟草振槽故障检测系统，其特征在于：所述步骤(2)具体方法为：将视频抽成一帧一帧后，把该视频等长的切割成多份，每份包含T帧图片，同时将对应时间段的音频分成N段。3.根据权利要求1所述的一种基于多模态信号的烟草振槽故障检测系统，其特征在于：所述步骤(3)具体方法为：对于每一帧图片，将其输入到5层的CNN卷积模型编码为一...

【专利技术属性】
技术研发人员：黄羿衡，倪勇，陈桂兴，
申请(专利权)人：江苏苏云信息科技有限公司，
类型：发明
国别省市：