一种视频语义提取方法及装置制造方法及图纸

本发明专利技术涉及视频语义分析技术领域，公开了一种视频语义提取方法，包括以下步骤：获取目标场景的样本视频，对所述样本视频中背景特征进行标注；通过标注后的样本视频对神经网络进行训练得到背景抽取模型；通过所述背景抽取模型抽取出目标视频中的背景特征，得到目标特征；建立多种目标物体的特征模型，并为每一种特征模型定义相对应的特征语义，得到特征语义库；在所述特征语义库中搜索与所述目标特征相匹配的目标特征模型，以所述目标特征模型所对应的特征语义作为所述目标视频的语义。本发明专利技术具有视频语义分析精度高、算法简单的技术效果。果。果。

【技术实现步骤摘要】
一种视频语义提取方法及装置


[0001]本专利技术涉及视频语义分析
，具体涉及一种视频语义提取方法及装置。

技术介绍

[0002]随着数字影像技术和互联网技术的迅速发展，互联网中的图像、视频越来越多。如何对图像、视频进行快速的识别，以便筛选出相关的目标图像、视频，是需要解决的问题。
[0003]目前，图像语义标注一般基于全局信息进行，这种方法由于掺杂了背景信息，因此精度不高，只适用于背景单一的图像。对于背景复杂的图像通常需要基于区域划分进行语义标注，然而区域划分无疑会增加语义标注的算法复杂度，降低标注效率，特别是对于视频语义标注来说，这种问题显得更为突出。

技术实现思路

[0004]本专利技术的目的在于克服上述技术不足，提供一种视频语义提取方法及装置，解决现有技术中视频语义标注精度低、算法复杂的技术问题。
[0005]为达到上述技术目的，本专利技术的技术方案提供一种视频语义提取方法，包括以下步骤：
[0006]获取目标场景的样本视频，对所述样本视频中背景特征进行标注；
[0007]通过标注后的样本视频对神经网络进行训练得到背景抽取模型；
[0008]通过所述背景抽取模型抽取出目标视频中的背景特征，得到目标特征；
[0009]建立多种目标物体的特征模型，并为每一种特征模型定义相对应的特征语义，得到特征语义库；
[0010]在所述特征语义库中搜索与所述目标特征相匹配的目标特征模型，以所述目标特征模型所对应的特征语义作为所述目标视频的语义。/>[0011]本专利技术还提供一种视频语义提取装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述视频语义提取方法。
[0012]本专利技术还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述视频语义提取方法。
[0013]与现有技术相比，本专利技术的有益效果包括：本专利技术对样本视频进行背景标注，以标注后的样本视频作为样本数据对神经网络进行训练，得到背景抽取模型，通过背景抽取模型可以快速抽取目标视频中背景特征，得到目标特征，在抽取得到目标特征后，将目标特征与特征语义库中特征模型进行对比匹配，得到相应的特征语义，各目标特征的特征语义组成目标视频的语义。由于摒除了背景特征对视频语义提取的影响，从而提高了语义提取的精度，且直接采用背景抽取模型抽取背景，简化了背景划分算法。
附图说明
[0014]图1是本专利技术提供的视频语义提取方法一实施方式的流程图。
具体实施方式
[0015]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0016]实施例1
[0017]如图1所示，本专利技术的实施例1提供了视频语义提取方法，包括以下步骤：
[0018]S1、获取目标场景的样本视频，对所述样本视频中背景特征进行标注；
[0019]S2、通过标注后的样本视频对神经网络进行训练得到背景抽取模型；
[0020]S3、通过所述背景抽取模型抽取出目标视频中的背景特征，得到目标特征；
[0021]S4、建立多种目标物体的特征模型，并为每一种特征模型定义相对应的特征语义，得到特征语义库；
[0022]S5、在所述特征语义库中搜索与所述目标特征相匹配的目标特征模型，以所述目标特征模型所对应的特征语义作为所述目标视频的语义。
[0023]本专利技术实施例对样本视频进行背景标注，以标注后的样本视频作为样本数据对神经网络进行训练，得到背景抽取模型，通过背景抽取模型可以快速抽取目标视频中背景特征，得到目标特征，在抽取得到目标特征后，将目标特征与特征语义库中特征模型进行对比匹配，得到相应的特征语义，各目标特征的特征语义组成目标视频的语义。由于摒除了背景特征对视频语义提取的影响，从而提高了语义提取的精度，且直接采用背景抽取模型抽取背景，简化了背景划分算法。
[0024]具体的，特征语义库根据具体的目标场景以及应用场景进行建立，选取应用场景相关的目标物体进行特征模型的建模，从而加快匹配速度，提高匹配精度。例如，用于在监控视频中检测异常行为时，物体模型可以是各种异常行为的模型，从而识别存在异常行为的目标特征，达到异常行为检测的目的，这对于监控视频的快速浏览和有效浏览非常有效，检测的。再比如，在工业中对工件进行质检，则以不同工件作为目标物体，进行特征模型的建立，然后拍摄工件在传送带上传送的视频，通过识别视频中目标特征，并将目标特征与特征模型进行比较，筛选出符合质检要求的工件，筛除不符合质检要求的工件。再比如，用于学生的口语训练过程中，用于自动生成相关的关键字，以及生成参考答案，播放素材视频，学生根据素材视频描述视频内容进行口语训练，当学生的语音信息中断时，输出相应画面的目标特征的语义作为提示词进行提醒，帮助学生不断提高口语能力。总之特征语义库的建立根据具体应用场景进行设定，本专利技术提供的视频语义提取方法可应用于各行各业，以上仅为举例说明，并不用于限定本专利技术。
[0025]本专利技术通过建立背景抽取模型实现目标视频的背景抽取，仅需少量的样本视频就可实现目标视频的背景抽取，且抽取效率快，算法简单。背景抽取后，根据目标物体建立的特征语义库贴近应用场景，因此匹配语义精度高。
[0026]优选的，对样本视频中环境背景进行标注，具体为：
[0027]将所述样本视频分为多帧样本图像；
[0028]分别对每一所述样本图像进行分割得到多个样本特征；
[0029]对比各所述样本图像的样本特征，筛选出各所述样本图像中共同的样本特征作为所述背景特征。
[0030]对于同一目标场景下的样本视频，其背景一般具有共同性，因此，先对样本图像进行分割，通过对比各样本图像找出背景特征。样本特征的对比通过轮廓对比实现即可。例如，将学生口语训练的素材视频进行标注，素材视频的各帧样本图像种包括人物、交通工具等运动物体，还包括山、水、建筑物等静止物体，通过标注，可标注山、水、建筑物等环境背景。
[0031]优选的，对所述样本图像进行分割得到多个样本特征，具体为：
[0032]计算所述样本图像中相邻色素点之间的色差值，在色差值超过设定阈值处设置边界，通过所述边界将所述样本图像分割为不同区域，得到所述样本特征。
[0033]通过色差值对样本图像进行分割，设定阈值的选取根据具体的目标场景进行设定，如背景与特征之间色差较大，可将设定阈值调高，如背景与特征之间色差较小，可将设定阈值调低。
[0034]优选的，通过标注后的样本视频对神经网络进行训练得到背景抽取模型，具体为：
[0035]以所述样本图像为输入，以所述样本图像除所述背景特征外的其他样本特征作为输出，对所述神经网络进行训练，得到所述背景抽取模型。
[0036]通过样本图像进行训练，在样本图像输入神经网络前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频语义提取方法，其特征在于，包括以下步骤：获取目标场景的样本视频，对所述样本视频中背景特征进行标注；通过标注后的样本视频对神经网络进行训练得到背景抽取模型；通过所述背景抽取模型抽取出目标视频中的背景特征，得到目标特征；建立多种目标物体的特征模型，并为每一种特征模型定义相对应的特征语义，得到特征语义库；在所述特征语义库中搜索与所述目标特征相匹配的目标特征模型，以所述目标特征模型所对应的特征语义作为所述目标视频的语义。2.根据权利要求1所述的视频语义提取方法，其特征在于，对样本视频中环境背景进行标注，具体为：将所述样本视频分为多帧样本图像；分别对每一所述样本图像进行分割得到多个样本特征；对比各所述样本图像的样本特征，筛选出各所述样本图像中共同的样本特征作为所述背景特征。3.根据权利要求2所述的视频语义提取方法，其特征在于，对所述样本图像进行分割得到多个样本特征，具体为：计算所述样本图像中相邻色素点之间的色差值，在色差值超过设定阈值处设置边界，通过所述边界将所述样本图像分割为不同区域，得到所述样本特征。4.根据权利要求2所述的视频语义提取方法，其特征在于，通过标注后的样本视频对神经网络进行训练得到背景抽取模型，具体为：以所述样本图像为输入，以所述样本图像除所述背景特征外的其他样本特征作为输出，对所述神经网络进行训...

【专利技术属性】
技术研发人员：伍永豪，刘念，李聪，伍绍儒，
申请(专利权)人：武汉科技大学城市学院，
类型：发明
国别省市：