一种基于多模态识别的视频解析监控装置制造方法及图纸

本实用新型专利技术公开的属于监控装置技术领域，具体为一种基于多模态识别的视频解析监控装置，包括前端系统和光端机，所述前端系统电性输出连接所述光端机，所述光端机电性输出连接视频分配器，所述视频分配器电性双向连接硬盘录像机，所述视频分配器电性输出连接矩阵，所述矩阵电性输入连接矩阵键盘，所述矩阵电性输出连接监控器，所述前端系统包括深度信念系统、CNN、深度自动编码器、控制器和摄像机，所述深度自动编码器电性输入连接所述深度信念系统和所述CNN，所述深度自动编码器电性输出连接所述控制器，该实用新型专利技术实现了将音频信号和视频图像信号进行同步进行处理，实现多模态的识别的综合效果。

A video analytical monitoring device based on multimode identification

【技术实现步骤摘要】
一种基于多模态识别的视频解析监控装置
本技术涉及监控装置
，具体为一种基于多模态识别的视频解析监控装置。
技术介绍
视频监控是安全防范系统的重要组成部分，传统的监控系统包括前端摄像机、传输线缆、视频监控平台。摄像机可分为网络数字摄像机和模拟摄像机，可作为前端视频图像信号的采集。它是一种防范能力较强的综合系统。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。随着网络技术的发展以及云端服务的普及化，许多业者会将视频上传至网络，以令用户可以得到比文字更为丰富的内容。现有技术当中的监控装置采用的是单独的进行处理音频信号或者是视频图像信号，不能实现将音频信号和视频图像信号进行同步进行处理，因此不能实现多模态的识别，实现不了智能的对信号进行比对处理，因此亟需研发一种基于多模态识别的视频解析监控装置。
技术实现思路
本技术的目的在于提供一种基于多模态识别的视频解析监控装置，以解决上述
技术介绍
中提出的基于多模态识别的视频解析监控装置采用的是单独的进行处理音频信号或者是视频图像信号，不能实现将音频信号和视频图像信号进行同步进行处理，因此不能实现多模态的识别，实现不了智能的对信号进行比对处理等特性的问题。为实现上述目的，本技术提供如下技术方案：一种基于多模态识别的视频解析监控装置，包括前端系统和光端机，所述前端系统电性输出连接所述光端机，所述光端机电性输出连接视频分配器，所述视频分配器电性双向连接硬盘录像机，所述视频分配器电性输出连接矩阵，所述矩阵电性输入连接矩阵键盘，所述矩阵电性输出连接监控器，所述前端系统包括深度信念系统、CNN、深度自动编码器、控制器和摄像机，所述深度自动编码器电性输入连接所述深度信念系统和所述CNN，所述深度自动编码器电性输出连接所述控制器，所述控制器电性输入连接所述摄像机。优选的，所述深度信念系统由多个RBM结构堆叠而成的深度信念网络。优选的，所述CNN的基本结构包括特征提取层和特征映射层。优选的，所述深度自动编码器为无监督逐层贪心预训练和系统性参数优化的多层非线性网络，深度自动编码器由编码器、解码器和隐含层组成。与现有技术相比，本技术的有益效果是：该技术提供了一种基于多模态识别的视频解析监控装置，设置了深度信念系统和CNN，利用深度信念系统和CNN与深度自动编码器进行配合，实现将音频信号和视频图像信号进行同步进行处理，实现多模态的识别，实现智能的对信号进行比对处理，利于检索相同信号。附图说明图1为本技术结构的系统框图；图2为本技术结构前端系统框图。图中：100前端系统、110深度信念网络、120CNN、130深度自动编码器、140控制器、150摄像机、200光端机、300视频分配器、400硬盘录像机、500矩阵、600矩阵键盘、700监控器。具体实施方式下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。本技术提供一种技术方案：一种基于多模态识别的视频解析监控装置，用于实现将音频信号和视频图像信号进行同步进行处理，实现多模态的识别，请参阅图1，包括前端系统100和光端机200，前端系统100电性输出连接光端机200，光端机200电性输出连接视频分配器300，视频分配器300电性双向连接硬盘录像机400，视频分配器300电性输出连接矩阵500，矩阵500电性输入连接矩阵键盘600，矩阵500电性输出连接监控器700，请参阅图2，前端系统100包括深度信念系统110、CNN120、深度自动编码器130、控制器140和摄像机150，深度自动编码器130电性输入连接深度信念系统110和CNN120，深度信念系统110由多个RBM结构堆叠而成的深度信念网络，RBM为玻尔兹曼机，可通过输入数据集学习概率分布的随机生成神经网络，具有较好的泛化能力，深度信念系统110能提取出多层抽象的特征，从而用于分类和目标识别，CNN120的基本结构包括特征提取层和特征映射层，特征提取层用于每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来；特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等，深度自动编码器130电性输出连接控制器140，控制器140电性输入连接摄像机150，深度自动编码器130为无监督逐层贪心预训练和系统性参数优化的多层非线性网络，能够从无标签数据中提取高维复杂输入数据的分层特征，并得到原始数据的分布式特征表示的深度学习神经网络结构，深度自动编码器130由编码器、解码器和隐含层组成，深度信念系统110和CNN120用于共同处理音频信号和视频图像信号。在具体的使用过程中，当需要本技术在使用的过程中首先利用深度信念系统110和CNN120与深度自动编码器130进行配合，实现将音频信号和视频图像信号进行同步进行处理，利用控制器140接收来自摄像机150的传感信号，实现多模态的识别，实现智能的对信号进行比对处理，利于检索相同信号，同时利用光端机200将前端系统100的信号传递给视频分配器300,视频分配器300与硬盘录像机400相连接，实现数据的存储和读取，利用矩阵500将图像通过矩阵键盘600的操作实现输出到监控器700上进行显示。虽然在上文中已经参考实施例对本技术进行了描述，然而在不脱离本技术的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本技术所披露的实施例中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本技术并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。本文档来自技高网...

【技术保护点】
1.一种基于多模态识别的视频解析监控装置，其特征在于：包括前端系统(100)和光端机(200)，所述前端系统(100)电性输出连接所述光端机(200)，所述光端机(200)电性输出连接视频分配器(300)，所述视频分配器(300)电性双向连接硬盘录像机(400)，所述视频分配器(300)电性输出连接矩阵(500)，所述矩阵(500)电性输入连接矩阵键盘(600)，所述矩阵(500)电性输出连接监控器(700)，所述前端系统(100)包括深度信念系统(110)、CNN(120)、深度自动编码器(130)、控制器(140)和摄像机(150)，所述深度自动编码器(130)电性输入连接所述深度信念系统(110)和所述CNN(120)，所述深度自动编码器(130)电性输出连接所述控制器(140)，所述控制器(140)电性输入连接所述摄像机(150)。/n

【技术特征摘要】
1.一种基于多模态识别的视频解析监控装置，其特征在于：包括前端系统(100)和光端机(200)，所述前端系统(100)电性输出连接所述光端机(200)，所述光端机(200)电性输出连接视频分配器(300)，所述视频分配器(300)电性双向连接硬盘录像机(400)，所述视频分配器(300)电性输出连接矩阵(500)，所述矩阵(500)电性输入连接矩阵键盘(600)，所述矩阵(500)电性输出连接监控器(700)，所述前端系统(100)包括深度信念系统(110)、CNN(120)、深度自动编码器(130)、控制器(140)和摄像机(150)，所述深度自动编码器(130)电性输入连接所述深度信念系统(110)和所述CNN(120)，所述深度自动编码器...

【专利技术属性】
技术研发人员：戴青，
申请(专利权)人：云南天罡北斗信息科技有限公司，
类型：新型
国别省市：云南;53