一种声视频融合监控方法技术

本发明专利技术涉及一种声视频融合监控方法，包括：采集声频与视频信号，对所采集的信号进行调理；对经过调理的信号做协同预处理；对所得到的信号是否同时包含声频信号与视频信号加以判断，当同时包含两种信号时，对声频信号与视频信号做融合分析，根据融合分析的结果查找出所述声视频信号中所包含的目标信息，若仅包含声频信号，对声频信号做独立的分析与处理，得到所述声频信号中所包含的目标信息；根据所得到的目标信息决定是否需要对摄像机的姿态进行调整，若需要调整，调整摄像机的姿态，然后重新执行；其中，所述对摄像机的姿态进行调整包括调焦、补光、调整角度。

【技术实现步骤摘要】

本专利技术涉及监控领域，特别涉及。
技术介绍
视频监控是监控领域中的一种主要手段。传统的视频监控主要基于低分辨率单眼视频传感器，面对日益复杂的动态场景和智能实时预警的要求，其技术存在两大挑战:第一，视频传感器存在视角较窄、易受遮挡的问题，容易受到复杂气象条件及光线强度的影响，例如风雨雪雾天气及昼夜变化；第二，视频监控基于连续大量的视频数据流进行检测、定位与跟踪的算法复杂度较高，尤其是基于高清视频实现智能分析的实时性较差，成本与能耗也是问题，这限制了高清视频传感器在监控领域的应用。 为了应对这些挑战，国内外针对视频监控的智能性和实时性开展了广泛研究，其中一种思路是基于视频高级处理算法来扩展和深化视频的智能分析技术，全景、立体摄像和3-D建模等方法在一定程度上弥补了单眼视频传感器视角较窄的缺陷；另外一种思路是基于多传感器数据融合理论，利用来自同类或者异类多传感器提取的特征实现面向目标的智能化分析。近年来在视频监控领域已经开展了多摄像头联动以及融合GPS、雷达、激光、红外等异类信号的探索。 但是声音作为自然界一个重要信号，至今还没有在监控领域引起重视，主要受限于传声器阵列的技术滞后。随着阵列和传感技术的发展，基于传声器阵列的声探测研究有了较大的进展，已经在医疗监护、消费电子、边界防护、工业控制等领域开展了应用示范。由于基于传声器阵列的声探测方法增强了对离散目标和短时活动的检测、定位和跟踪能力，具有低能耗、全天候、无遮挡、无盲区和实时性好的特点，非常适合在监控领域的应用。但是由于监控场景环境复杂、背景嘈杂，现有传声器阵列定位技术不能直接应用于监控场景分析。另外由于声探测获取的信息量相对较少，无法仅凭传声器阵列独立满足监控领域的需求。目前还没有一套适应于监控领域的声视频融合监控的完整技术方案。
技术实现思路
本专利技术的目的在于克服单一视频监控视野较窄、易受环境影响、获取信息量少等缺陷，从而提供一种基于传声器阵列与云台摄像机的声视频融合监控方法。 为了实现上述目的，本专利技术提供了，包括: 步骤I)、采集声频与视频信号，对所采集的信号进行调理； 步骤2)、对步骤I)所得到的、经过调理的信号做协同预处理；所述协同预处理包括对信号做压缩、滤波、去噪与增强； 步骤3)、对步骤2)所得到的信号是否同时包含声频信号与视频信号加以判断，当同时包含两种信号时，执行步骤4)，若仅包含声频信号，则执行步骤5)； 步骤4)、对声频信号与视频信号做融合分析，根据融合分析的结果查找出所述声视频信号中所包含的目标信息，然后执行步骤6)； 步骤5)、对声频信号做独立的分析与处理，得到所述声频信号中所包含的目标信息，然后执行步骤6); 步骤6)、根据步骤4)或步骤5)所得到的目标信息决定是否需要对摄像机的姿态进行调整，若需要调整，调整摄像机的姿态，然后重新执行步骤I);其中，所述对摄像机的姿态进行调整包括调焦、补光、调整角度。 上述技术方案中，还包括: 步骤7)、对当前的声视频信号进行模式识别，以获取目标事件的包括关键词、时间、方位、类别、状态在内的语义信息；所述模式识别包括行为理解、判别控制和状态评估，其中，所述行为理解通过运动特征的提取，获取目标事件的关键词；所述判别控制根据行为理解的结果，进一步获取事件的时间、方位等信息，与对应的关键词阈值相比较，检测判断目标事件的类别；所述状态评估根据判别目标事件的类别，依据类别的预设特征值估计目标事件的重要度，根据估计结果给目标事件设定警告等级； 步骤8)、从经过模式识别的声视频信号中抓取关键信息和核心片段，将多个片段拼接和编辑形成一个反映监控信息的语义情报，将这些语义情报压缩后编码，最后通过网络实现传输。 上述技术方案中，所述的步骤4)包括: 步骤4-1)、从背景噪声数据库中抽取背景噪声数据，实现背景建模；其中，所述背景噪声数据库用于存储多种气象条件下、多种典型场景的背景噪声；所述气象条件包括风、雨、雪、雾在内的特殊气象条件，所述典型场景包括呼救、鸣笛、碰撞、爆炸、鸣枪、低空飞行、人群聚集； 步骤4-2)、从目标特征数据库中抽取多种目标特征信息，将这些目标特征信息与步骤4-1)中所建立的背景噪声模型相结合，得到虚拟目标特征；其中，所述目标特征数据库用于存储目标的特征信息，所述特征包括声频或视频信号的基本特征、变换域特征、统计特征、运动特征，以及这些特征在时间、空间、谱、相位等方面的信息； 步骤4-3)、对步骤2)生成的声视频信号与步骤4-2)生成的虚拟目标特征进行比对，实现对步骤2)生成的声视频信号的目标特征提取； 步骤4-4)、根据步骤4-3)得到的目标特征提取结果利用贝叶斯分析进行概率判断，通过最大后验概率发现所采集的声视频信号中所包含的事件； 步骤4-5)、对步骤4-4)中所检测到的目标采用基于目标特征和背景噪声模型的波束形成和波达方向估计方法，依据声信号传播规律计算开空间及封闭空间两类环境条件下运动声源目标所具有的能量、相位及多普勒效应以实现定位，确定该目标的坐标值； 步骤4-6 )、对经过定位的目标进行跟踪。 上述技术方案中，在所述的步骤4-3)与步骤4-4)之间，还包括多次执行所述步骤4-1) 一步骤 4-3)。 上述技术方案中，在所述的步骤4-3)中，将声视频信号与虚拟目标特征比对的结果是一组目标特征值，将这些目标特征值按照相似度从高到低进行排序，排序结果中高于某一预先设定阈值的目标特征值为声视频信号的目标特征提取结果。 上述技术方案中，在所述的步骤4-6)中，所述跟踪包括根据传声器阵列确定的坐标值控制摄像机姿态，实现调焦、补光、调整角度。 上述技术方案中，所述步骤5)包括: 步骤5-1)、从背景噪声数据库中抽取背景噪声数据，实现背景建模；从目标特征数据库中抽取目标特征； 步骤5-2)、采用基于目标特征和背景噪声模型的波束形成和波达方向估计方法，依据声信号传播规律计算开空间及封闭空间两类环境条件下运动声源目标所具有的能量、相位及多普勒效应对分布式目标检测、定位及跟踪模型的贡献，从而对声源目标进行优化识别、分类、定位和跟踪。 上述技术方案中，在所述的步骤6)中，重新执行步骤I)的次数不超过3次。 本专利技术的优点在于: I)本专利技术将声学特征信号作为参数引入视频检测与跟踪算法，声学信号处理具有算法复杂度小、实时性好的特点，能够提高视频目标识别与跟踪算法的性能。 2)本专利技术提取融合声频与视频两种异类信号的复合特征，弥补传统视频监控的缺点，具有全天候、无遮挡、无盲区的检测、定位与跟踪能力，能够提高监控系统的反应速度。 3)本专利技术对声视频数据进行自动分析和语义理解，抓取监控场景中关键信息和核心片段，拼接和编辑形成一个反映监控信息的语义情报，压缩编码后通过网络传输，能够避免监控网络海量数据日益膨胀的问题。 4)本专利技术将多通道声视频信号的采集、分析、计算和通信功能融为一体化装置，解决传声器阵列尺寸过大不易安装的问题，同时支持无线传输及PLC功能，能够避免连接线缆较多造成的成本较高等问题。 【附图说明】 图1是本专利技术的声视频融合监控方法的流程图； 图2是对摄像机姿态进行调整的示意图。 【具体实施方本文档来自技高网...

【技术保护点】
一种声视频融合监控方法，包括：步骤1）、采集声频与视频信号，对所采集的信号进行调理；步骤2）、对步骤1）所得到的、经过调理的信号做协同预处理；所述协同预处理包括对信号做压缩、滤波、去噪与增强；步骤3）、对步骤2）所得到的信号是否同时包含声频信号与视频信号加以判断，当同时包含两种信号时，执行步骤4），若仅包含声频信号，则执行步骤5）；步骤4）、对声频信号与视频信号做融合分析，根据融合分析的结果查找出所述声视频信号中所包含的目标信息，然后执行步骤6）；步骤5）、对声频信号做独立的分析与处理，得到所述声频信号中所包含的目标信息，然后执行步骤6）；步骤6）、根据步骤4）或步骤5）所得到的目标信息决定是否需要对摄像机的姿态进行调整，若需要调整，调整摄像机的姿态，然后重新执行步骤1）；其中，所述对摄像机的姿态进行调整包括调焦、补光、调整角度。

【技术特征摘要】
1.一种声视频融合监控方法，包括: 步骤I)、采集声频与视频信号，对所采集的信号进行调理； 步骤2)、对步骤I)所得到的、经过调理的信号做协同预处理；所述协同预处理包括对信号做压缩、滤波、去噪与增强； 步骤3)、对步骤2)所得到的信号是否同时包含声频信号与视频信号加以判断，当同时包含两种信号时，执行步骤4)，若仅包含声频信号，则执行步骤5)； 步骤4)、对声频信号与视频信号做融合分析，根据融合分析的结果查找出所述声视频信号中所包含的目标信息，然后执行步骤6)； 步骤5)、对声频信号做独立的分析与处理，得到所述声频信号中所包含的目标信息，然后执行步骤6)； 步骤6)、根据步骤4)或步骤5)所得到的目标信息决定是否需要对摄像机的姿态进行调整，若需要调整，调整摄像机的姿态，然后重新执行步骤I);其中，所述对摄像机的姿态进行调整包括调焦、补光、调整角度。2.根据权利要求1所述的声视频融合监控方法，其特征在于，还包括: 步骤7)、对当前的声视频信号进行模式识别，以获取目标事件的包括关键词、时间、方位、类别、状态在内的语义信息；所述模式识别包括行为理解、判别控制和状态评估，其中，所述行为理解通过运动特征的提取，获取目标事件的关键词；所述判别控制根据行为理解的结果，进一步获取事件的时间、方位等信息，与对应的关键词阈值相比较，检测判断目标事件的类别；所述状态评估根据判别目标事件的类别，依据类别的预设特征值估计目标事件的重要度，根据估计结果给目标事件设定警告等级； 步骤8)、从经过模式识别的声视频信号中抓取关键信息和核心片段，将多个片段拼接和编辑形成一个反映监控信息的语义情报，将这些语义情报压缩后编码，最后通过网络实现传输。3.根据权利要求1或2所述的声视频融合监控方法，其特征在于，所述的步骤4)包括: 步骤4-1)、从背景噪声数据库中抽取背景噪声数据，实现背景建模；其中，所述背景噪声数据库用于存储多种气象条件下、多种典型场景的背景噪声；所述气象条件包括风、雨、雪、雾在内的特殊气象条件，所述典型场景包括呼救、鸣笛、碰撞、爆炸、鸣枪、低空飞行、人群聚集； 步骤4-2)、从目标特征数据库中抽取多种目标特征信息，将这些目标特征信息与步骤4-1...

【专利技术属性】
技术研发人员：陈孝良，李晓东，
申请(专利权)人：中国科学院声学研究所，
类型：发明
国别省市：北京;11