一种提取蜜蜂访花视频片段的方法和装置制造方法及图纸

本发明专利技术提供一种提取蜜蜂访花视频片段的方法和装置，通过根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段；从而利用在视频中，蜜蜂飞过时蜜蜂蜂鸣声的音频信号具有非常显著特征的特点，从视频中音频信号的特征入手，确定蜜蜂访花视频片段在视频中的起始与终止的两个时间戳，再由视频提取软件根据两个时间戳自动提取蜜蜂访花视频片段，相比于人工提取的方法节省了人工成本，相比于利用软件的图像识别方法运算简单，识别的时间短，并提高了对蜜蜂访花视频片段的识别精度与提取精度。

【技术实现步骤摘要】
一种提取蜜蜂访花视频片段的方法和装置
本专利技术涉及视频处理
，更具体地，涉及一种提取蜜蜂访花视频片段的方法和装置。
技术介绍
在对蜜蜂访问花朵的研究中，需要收集大量蜜蜂访花的视频资料，多个摄像机同时拍摄多个地点的包含有蜜蜂访问花朵的视频，由于无法确定蜜蜂何时会造访所拍摄的花朵，因此只能连续不间断拍摄，再提取出包含蜜蜂的视频片段。目前提取出包含蜜蜂的视频片段的方法，一种是由人工提取的方法，提取人员根据观察视频的图像或者收听视频的声音查找视频中包含蜜蜂的视频片段，并手工截取这些视频片段；另一种是利用软件的图像识别方法，即利用视频中有蜜蜂存在时图像的特征，并利用软件设识别这些特征，确定包含蜜蜂的视频片段并提取这些视频片段。人工提取的方法，需要人工一秒一秒的查找，并手工记录时间节点，人工工作量太大；视频中包含有蜜蜂的视频片段往往只有几秒钟，无法根据手工记录的时间戳来自动分割包含蜜蜂的视频片段；而且无论是采用听觉还是视觉来查找，都只能确定包含蜜蜂的视频片段的大概范围，而不能精确到帧(40毫秒级别)，导致提取的精确度低。利用软件的图像识别方法，由于蜜蜂运动速度较快，且在整个图像中的蜜蜂的目标很小，从视频图像序列中识别蜜蜂的运算过程复杂，识别过程的时间非常长，且极容易发生误识或漏识。
技术实现思路
为了克服上述问题或者至少部分地解决上述问题，本专利技术提供一种提取蜜蜂访花视频片段的方法和装置。根据本专利技术的一个方面，提供一种提取蜜蜂访花视频片段的方法，包括：根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。其中，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，包括：获取视频中音频信号的时域波形；根据包含蜜蜂蜂鸣声的样本视频片段，获取蜜蜂蜂鸣声对应的音频信号能量的阈值范围；根据时域波形和阈值范围，确定第一时间戳和第二时间戳。其中，根据时域波形和阈值范围，确定第一时间戳和第二时间戳，包括：根据时域波形确定时域波形的包络线；在包络线上选取包络线片段，包络线片段上任意一点的纵坐标的绝对值在阈值范围之内；将包络线片段的起始点在视频中对应的时刻作为第一时间戳，将包络线片段的终止点在视频中对应的时刻作为第二时间戳。其中，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳之后，还包括：获取第一时间戳和第二时间戳之间的视频中音频信号的梅尔频率倒谱系数；将梅尔频率倒谱系数输入到已训练的分类器；通过分类器确认第一时间戳和第二时间戳之间的视频中包含蜜蜂。其中，分类器的训练的步骤包括：获取第一预设数量的蜜蜂蜂鸣声的音频信号的第一梅尔频率倒谱系数和第二预设数量的噪声的音频信号的第二梅尔频率倒谱系数，第一预设数量和第二预设数量处于同一数量级；将第一预设数量的第一梅尔频率倒谱系数和第二预设数量的第二梅尔频率倒谱系数输入到分类器，对分类器进行训练。其中，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段，包括：根据第一时间戳和第二时间戳分割视频；保留第一时间戳和第二时间戳之间的视频片段，作为蜜蜂访花视频片段。本专利技术的另一方面，提供一种提取蜜蜂访花视频片段的装置，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述的方法。本专利技术的又一方面，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使计算机执行上述的方法。本专利技术的又一方面，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使计算机执行上述的方法。本专利技术提供的一种提取蜜蜂访花视频片段的方法和装置，通过根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段；从而利用在视频中，蜜蜂飞过时蜜蜂蜂鸣声的音频信号具有非常显著特征的特点，从视频中音频信号的特征入手，确定蜜蜂访花视频片段在视频中的起始与终止的两个时间戳，再由视频提取软件根据两个时间戳自动提取蜜蜂访花视频片段，相比于人工提取的方法节省了人工成本，相比于利用软件的图像识别方法运算简单，识别的时间短，并提高了对蜜蜂访花视频片段的识别精度与提取精度。附图说明为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术实施例的提取蜜蜂访花视频片段的方法的流程图；图2为根据本专利技术实施例的相同视频片段中音频信号的时域波形和时域波形的包络线的对照图；图3为根据本专利技术实施例的相同视频片段中音频信号的时域波形和梅尔频率倒谱系数的对照图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的一个实施例中，参考图1，提供一种提取蜜蜂访花视频片段的方法，包括：S11，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；S12，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。具体的，在摄像机拍摄蜜蜂访问花朵的视频的过程中，将摄像机定点在花朵旁边长时间拍摄，在拍摄下的视频中，大部分的视频片段中没有蜜蜂，仅小部分的视频片段中有蜜蜂，本实施例中，将视频中出现蜜蜂的视频片段称之为蜜蜂访花视频片段；摄像机在拍摄视频时，附带有声音传感器(如麦克风)，声音传感器会同步记录下周围的声音信息，成为视频中的音频信号；蜜蜂在摄像机定点拍摄的范围内飞行时，蜜蜂飞行时的声音(即蜂鸣声)具有非常显著的特征，蜜蜂蜂鸣声对应的音频信号也具有非常显著的特征，通过分析视频中音频信号的特征，并结合蜜蜂蜂鸣声的音频信号的特征，可确定蜜蜂访花视频片段在视频中的起始时间与终止时间。本实施例中，通过获取视频中音频信号的特征，确定视频中第一时间戳和第二时间戳，该第一时间戳即蜜蜂访花视频片段在视频中的起始时间，该第二时间戳即蜜蜂访花视频片段在视频中的终止时间，再利用视频提取软件根据第一时间戳与第二时间戳提取这两个时间戳之间的视频片段，将蜜蜂访花视频片段从视频中分离出来，以获得时长短的蜜蜂访花视频片段。本实施例利用在视频中，蜜蜂飞过时蜜蜂蜂鸣声的音频信号具有非常显著特征的特点，从视频中音频信号的特征入手，确定蜜蜂访花视频片段在视频中的起始与终止的两个时间戳，再由视频提取软件根据两个时间戳自动提取蜜蜂访花视频片段，相比于人工提取的方法节省了人工成本，相比于利用软件的图像识别方法运算简单，识别的时间短，并提高了对蜜蜂访花视频片段的识别精度与提本文档来自技高网...

【技术保护点】
一种提取蜜蜂访花视频片段的方法，其特征在于，包括：根据视频中音频信号的特征确定所述视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据所述第一时间戳和所述第二时间戳提取所述蜜蜂访花视频片段。

【技术特征摘要】
1.一种提取蜜蜂访花视频片段的方法，其特征在于，包括：根据视频中音频信号的特征确定所述视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据所述第一时间戳和所述第二时间戳提取所述蜜蜂访花视频片段。2.根据权利要求1所述的方法，其特征在于，所述根据视频中音频信号的特征确定所述视频中第一时间戳和第二时间戳，包括：获取所述视频中音频信号的时域波形；根据包含蜜蜂蜂鸣声的样本视频片段，获取所述蜜蜂蜂鸣声对应的音频信号能量的阈值范围；根据所述时域波形和所述阈值范围，确定所述第一时间戳和所述第二时间戳。3.根据权利要求2所述的方法，其特征在于，所述根据所述时域波形和所述阈值范围，确定所述第一时间戳和所述第二时间戳，包括：根据所述时域波形确定所述时域波形的包络线；在所述包络线上选取包络线片段，所述包络线片段上任意一点的纵坐标的绝对值在所述阈值范围之内；将所述包络线片段的起始点在所述视频中对应的时刻作为所述第一时间戳，将所述包络线片段的终止点在所述视频中对应的时刻作为所述第二时间戳。4.根据权利要求1所述的方法，其特征在于，所述根据视频中音频信号的特征确定所述视频中第一时间戳和第二时间戳之后，还包括：获取所述第一时间戳和所述第二时间戳之间的视频中音频信号的梅尔频率倒谱系数；将所述梅尔频率倒谱系数输入到已训练的分类器；通过所述分类器确认所述第一时间戳和所述第二时间戳...

【专利技术属性】
技术研发人员：杨慧鹏，黄家兴，靳婷婷，罗术东，李继莲，吴杰，
申请(专利权)人：中国农业科学院蜜蜂研究所，
类型：发明
国别省市：北京,11