面向视频的目标片段定位方法、系统、存储介质及设备技术方案

本发明专利技术涉及跨媒体检索技术领域，本发明专利技术公开了面向视频的目标片段定位方法、系统、存储介质及设备，包括：获取视频和查询，并分别进行特征提取；分别对视频特征和查询特征进行编码后，计算查询和视频之间的相似度，得到视频级别分数；对于编码后视频特征，使用时序卷积学习视频帧之间的时序关系后，生成若干候选片段，并得到每个候选片段的细粒度特征；同时，基于编码后查询特征，获取查询的细粒度特征；通过构造哈希空间，计算查询和候选片段之间的相似度，得到片段级别分数；对于每个查询，基于视频级别分数和片段级别分数，在所有视频的候选片段中筛选出目标片段。提高了检索速度、并实现了可扩展性。现了可扩展性。现了可扩展性。

【技术实现步骤摘要】
面向视频的目标片段定位方法、系统、存储介质及设备


[0001]本专利技术涉及跨媒体检索
，具体的说，是涉及面向视频的目标片段定位方法、系统、存储介质及设备。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着城市化进程的加速和人口数量的增长，城市管理变得越来越复杂。为了实现城市智慧化，各种智能化技术被广泛采用，其中包括监控系统。监控系统已经成为城市管理的重要组成部分，它可以用于安全监控、交通管制、环境监测等多个方面。而监控视频由于冗长、信息密度低等特性，耗费了越来越多的人力成本和硬件资源，这为监控视频的智能化技术提出了新的挑战。
[0004]智慧城市中对监控视频的管理与分析是一个多学科交叉领域，涉及到计算机视觉、图像处理、深度学习、人工智能等多个
，现有的技术涵盖了视频数据采集、处理、分析、存储等多个方面。具体来说，包括以下几类：首先是视频数据采集技术，这是视频监控系统的基础；进而是视频数据预处理技术，对该技术的良好运用可以有效提高视频处理效率，预处理技术包括视频去噪、运动补偿、图像增强、图像分割等多个方面，其中，运动补偿技术可以降低视频帧率，从而减少数据量，提高处理效率；然后是视频数据分析技术，这是智慧城市中监控视频应用的关键技术之一，视频数据分析技术可以分为两类，一类是基于规则的分析技术，另一类是基于机器学习的分析技术，基于规则的分析技术通常需要人工定义规则，而基于机器学习的分析技术则可以自动学习规律，提高分析效率和准确性，目前，视频数据分析技术主要应用于物体检测、行为识别、异常检测等方面；最后是视频数据存储和传输技术。
[0005]大规模目标片段定位技术是一种视频数据分析技术，其能够使用自然语言查询语句，面向信息密度较低的监控视频，对目标片段进行检索和定位的技术。该技术可以在语义层面上对查询语句和大规模语料库中的视频进行理解，从而定位到与查询语句在语义上最相关的目标视频片段，按照相关性返回片段的序列。通过大规模目标片段定位技术，可以实现对监控视频中的目标片段的追踪、分析和预测。
[0006]快速大规模目标片段定位方法的良好运用能够充分发挥监控视频的效用。比如，在城市交通管制方面，可以利用该技术快速分析大规模监控数据集，从而优化路况、预测事故、提高交通效率。在环境监测方面，可以利用该技术监控视频数据，从而检测污染源、预测气象变化等。此外，在智慧教育中，快速大规模目标片段定位方法可以实施即时监控与分析，如预测学生的行为模式，以及及时处理异常行为，从而应用于校园安全、学生行为监测等方面。总的来说，面向监控视频的快速大规模目标片段定位是智慧城市、智慧教育等领域的关键技术之一。
[0007]近年来，深度学习技术在视频检索领域取得了显著的进展，深度学习技术可以自
动提取视频中的特征，通过学习和优化模型，可以实现更加准确和高效的视频检索。
[0008]但是，现有的快速大规模目标片段定位方法，使用实值特征对视频特征和文本特征进行存储，这增加了检索库中的存储空间；同时，视频特征和文本特征的提取过程是互相依赖的，这限制了模型的可扩展性。

技术实现思路

[0009]本专利技术为了解决上述问题，本专利技术提供面向视频的目标片段定位方法、系统、存储介质及设备，通过构造哈希空间进行检索，并将不同模态的特征提取和哈希编码过程分开进行，从而大大提高检索速度、并实现可扩展性。
[0010]为了实现上述目的，本专利技术采用如下技术方案：本专利技术的第一个方面提供面向视频的目标片段定位方法，其包括：获取视频和查询，并分别进行特征提取，得到视频特征和查询特征；分别对视频特征和查询特征进行编码，得到编码后视频特征和编码后查询特征后，计算查询和视频之间的相似度，得到视频级别分数；对于编码后视频特征，使用时序卷积学习视频帧之间的时序关系后，生成若干候选片段，并得到每个候选片段的细粒度特征；同时，基于编码后查询特征，获取查询的细粒度特征；基于候选片段的细粒度特征和查询的细粒度特征，通过构造哈希空间，计算查询和候选片段之间的相似度，得到片段级别分数；对于每个查询，基于视频级别分数和片段级别分数，在所有视频的候选片段中筛选出目标片段。
[0011]进一步地，对于某个视频，提取外观特征和动作特征后，对外观特征和动作特征均进行池化，得到片段级特征；通过连接外观特征的片段级特征和动作特征的片段级特征，并进行归一化，得到的每个视频片段的特征；所有视频片段的特征构成所述视频的视频特征。
[0012]进一步地，对于某个查询，提取出上下文文本特征，并对查询语句进行微调后，将提取的上下文文本特征降维，并添加位置编码，得到查询特征。
[0013]进一步地，所述视频级别分数的计算方法为：对于某个视频和某个查询，基于编码后查询特征，计算查询中的每个查询单词相对于视频的注意力分数；基于注意力分数，对查询中的每个查询单词的编码后查询特征进行加权求和，生成模块化查询向量；基于编码后视频特征和模块化查询向量，通过余弦相似度计算，得到该查询和该视频之间的视频级别分数。
[0014]进一步地，对于编码后查询特征，利用多层感知机来获取查询的细粒度特征。
[0015]进一步地，所述片段级别分数的计算方法为：对于某个候选片段和某个查询，使用逐元素符号函数分别作用于候选片段的细粒度特征和查询的细粒度特征，得到候选片段的二值哈希码和查询的二值哈希码；基于候选片段的二值哈希码和查询的二值哈希码，通过海明距离计算，得到该查询和该候选片段之间的片段级别分数。
[0016]进一步地，所述目标片段的筛选步骤包括：使用超参数来调节视频级别分数及片段级别分数，得到综合分数；基于综合分数的排序，在所有视频的候选片段中选择出目标片段。
[0017]本专利技术的第二个方面提供一种基于第一方面所述的生物序列分析系统的生物序列分析系统，其包括：特征提取模块，其被配置为：获取视频和查询，并分别进行特征提取，得到视频特征和查询特征；粗粒度特征提取模块，其被配置为：分别对视频特征和查询特征进行编码，得到编码后视频特征和编码后查询特征后，计算查询和视频之间的相似度，得到视频级别分数；细粒度特征提取模块，其被配置为：对于编码后视频特征，使用时序卷积学习视频帧之间的时序关系后，生成若干候选片段，并得到每个候选片段的细粒度特征；同时，基于编码后查询特征，获取查询的细粒度特征；跨模特哈希模块，其被配置为：基于候选片段的细粒度特征和查询的细粒度特征，通过构造哈希空间，计算查询和候选片段之间的相似度，得到片段级别分数；定位模块，其被配置为：对于每个查询，基于视频级别分数和片段级别分数，在所有视频的候选片段中筛选出目标片段。
[0018]本专利技术的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的面向视频的目标片段定位方法中的步骤。
[0019]本专利技术的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向视频的目标片段定位方法，其特征在于，包括：获取视频和查询，并分别进行特征提取，得到视频特征和查询特征；分别对视频特征和查询特征进行编码，得到编码后视频特征和编码后查询特征后，计算查询和视频之间的相似度，得到视频级别分数；对于编码后视频特征，使用时序卷积学习视频帧之间的时序关系后，生成若干候选片段，并得到每个候选片段的细粒度特征；同时，基于编码后查询特征，获取查询的细粒度特征；基于候选片段的细粒度特征和查询的细粒度特征，通过构造哈希空间，计算查询和候选片段之间的相似度，得到片段级别分数；对于每个查询，基于视频级别分数和片段级别分数，在所有视频的候选片段中筛选出目标片段。2.如权利要求1所述的面向视频的目标片段定位方法，其特征在于，对于某个视频，提取外观特征和动作特征后，对外观特征和动作特征均进行池化，得到片段级特征；通过连接外观特征的片段级特征和动作特征的片段级特征，并进行归一化，得到的每个视频片段的特征；所有视频片段的特征构成所述视频的视频特征。3.如权利要求1所述的面向视频的目标片段定位方法，其特征在于，对于某个查询，提取出上下文文本特征，并对查询语句进行微调后，将提取的上下文文本特征降维，并添加位置编码，得到查询特征。4.如权利要求1所述的面向视频的目标片段定位方法，其特征在于，所述视频级别分数的计算方法为：对于某个视频和某个查询，基于编码后查询特征，计算查询中的每个查询单词相对于视频的注意力分数；基于注意力分数，对查询中的每个查询单词的编码后查询特征进行加权求和，生成模块化查询向量；基于编码后视频特征和模块化查询向量，通过余弦相似度计算，得到该查询和该视频之间的视频级别分数。5.如权利要求1所述的面向视频的目标片段定位方法，其特征在于，对于编码后查询特征，利用多层感知机来获取查询的细粒度特征。6.如权利要求1所述的面向视频的目标片段定位方法，其特征在于，所述片段级别分数的...

【专利技术属性】
技术研发人员：罗昕，王妍，陈振铎，许信顺，
申请(专利权)人：山东大学，
类型：发明
国别省市：