一种视频识别方法和装置制造方法及图纸

本申请提供了一种视频识别方法和装置，该方法包括：将包含第一内容的第一视频的第一特征信息输入到第一模型，计算得到第三特征信息，以及将包含第二内容的第二视频的第二特征信息输入到第二模型，计算得到第四特征信息，其中，所述第一内容与所述第二内容属于同一类别；基于第三特征信息和/或第四特征信息，计算或更新所述第一模型中的第一参数；基于所述第一参数，确定所述第一内容在所述第一视频中的位置。

【技术实现步骤摘要】
一种视频识别方法和装置
本申请涉及数据处理
，具体而言，涉及一种视频识别方法和装置。
技术介绍
目前，随着视频数据的爆炸性增长，针对海量视频数据进行处理并提取视频内容中的有效信息成为目前的研究热点。视频识别能够利用视频信息(如:视觉信息、听觉信息、动作信息等)对视频进行处理和分析，判断、识别或定位出视频中出现的内容(如：动作、事件等)，进而在海量视频数据中获取有效信息。视频识别的应用非常广泛，例如：进行智能监控、视频数据管理等。视频内容的定位属于视频识别的范畴，能够识别视频所包含的内容所处的位置(即时间点或时间段)。由于视频中的内容(如：体育运动等)往往比较复杂，定位视频中不同内容所出的位置更为复杂，现有的处理模型的准确度难以满足应用的需要，为了满足准确度，通常需要人工查看视频，将视频中包含动作的视频片段进行标注，以完成视频内容的定位。但是，在实际应用中，无论是现有处理模型的训练、识别定位，还是通过手动标注的方式，都存在效率比较低，消耗时间长的问题，导致付出的代价比较大，难以满足大规模视频数据识别的需要。
技术实现思路
有鉴于此，本申请的目的在于提供一种视频识别方法和装置，用于解决现有技术中对视频中内容定位的准确率低、效率低的问题。第一方面，本申请实施例提供了一种视频识别方法，该方法包括：将包含第一内容的第一视频的第一特征信息输入到第一模型，计算得到第三特征信息，以及将包含第二内容的第二视频的第二特征信息输入到第二模型，计算得到第四特征信息，其中，所述第一内容与所述第二内容属于同一类别；基于第三特征信息和/或第四特征信息，计算或更新所述第一模型中的第一参数；基于所述第一参数，确定所述第一内容在所述第一视频中的位置。可选地，所述第一特征信息由所述第一视频的视频帧特征信息和视频光流特征信息计算得到。可选地，所述第一模型包括第一神经网络模型以及第一自注意力机制模型，以及所述第一参数为所述第一自注意力机制模型的权重向量；和/或，所述第二模型包括第二神经网络模型以及第二自注意力机制模型。可选地，所述方法还包括：基于第三特征信息和/或第四特征信息，计算或更新所述第一模型中的第二参数，所述第二参数为所述第一神经网络模型中的模型参数。可选地，所述将包含第一内容的第一视频的第一特征信息输入到第一模型，计算得到第三特征信息，包括：由所述第一神经网络模型对所述第一特征信息进行连接处理后，基于所述第一自注意力机制模型，计算得到所述第三特征信息；和/或所述将包含第二内容的第二视频的第二特征信息输入到第二模型，计算得到第四特征信息，包括：由所述第二神经网络模型对所述第二特征信息进行连接处理后，基于所述第二自注意力机制模型，计算得到所述第四特征信息。可选地，所述基于第三特征信息和/或第四特征信息，计算或更新所述第一模型中的第一参数，包括：计算所述第三特征信息与所述第四特征信息之间的距离，以及基于所述第三特征信息对所述第一视频进行分类，计算分类损失，通过最小化所述距离和/或所述分类损失，更新所述第一模型中的所述第一参数；和/或，所述基于第三特征信息和/或第四特征信息，计算或更新所述第一模型中的第二参数，包括：通过最小化所述距离和/或所述分类损失，计算或更新所述第一模型中的所述第二参数。可选地，所述基于所述第一参数，确定所述第一内容在所述第一视频中的位置，包括：使用所述第一模型计算所述第一视频的最终分类结果；基于所述第一参数和所述最终分类结果，确定所述第一内容在所述第一视频中的时间区间。可选地，所述第一参数的维度与所述第一视频的视频帧对应。可选地，所述第一内容和所述第二内容均为行为内容。第二方面，本申请实施例提供了一种视频识别装置，该装置包括：第一计算模块，用于将包含第一内容的第一视频的第一特征信息输入到第一模型，计算得到第三特征信息，以及将包含第二内容的第二视频的第二特征信息输入到第二模型，计算得到第四特征信息，其中，所述第一内容与所述第二内容属于同一类别；第二计算模块，用于基于第三特征信息和/或第四特征信息，计算或更新所述第一模型中的第一参数；确定模块，用于基于所述第一参数，确定所述第一内容在所述第一视频中的位置。第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。本申请实施例提供的视频识别方法，将包含第一内容的第一视频的第一特征信息输入到第一模型，计算得到第三特征信息，以及将包含第二内容的第二视频的第二特征信息输入到第二模型，计算得到第四特征信息，使用第二视频对第一视频进行监督训练，从而使得计算或更新的第一模型中的第一参数的准确度更高，这样，在通过第一参数确定第一内容在第一视频中的位置时的准确度更高，同时，降低了人力成本，提高了对视频中动作内容进行定位的效率。为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的一种视频识别方法的流程示意图；图2为本申请实施例提供的一种视频帧图像的示意图；图3为本申请实施例提供的一种视频光流图像的示意图；图4为本申请实施例提供的一种视频识别装置的结构示意图；图5为本申请实施例提供的一种计算机设备的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例提供了一种视频识别方法，如图1所示，应用于视频内容定位系统中，该视频识别系统包括终端设备，如：计算机、笔记本电脑、平板电脑、移动电话、便携设备、车载设备等，也包括网络系统，如：视听服务系统、大屏幕系统、客户端/服务器系统(C/S)、浏览器/服务器系统、云计算系统，等等。此处并不限制视频识别系统的类型和架构。该方法包括以下步骤：S101，将包含第一内容的第一视频的第一特征信息输入到第一模型，计算得到第三特征信息，以及将包含第二内容的第二视频的第二特征信息输入到第二模型，计算得到第四特征信息，其中，所述第一内容与所述第二内容属于同一类别；这里，第一内容和第二内容所属的同一类别包括但不限于动作类别，第一内容和第二内容均为行为内容，其中，行为内容包括运动内容、舞蹈内容等，本申请对此不予限制；本文档来自技高网...

【技术保护点】
1.一种视频识别方法，其特征在于，该方法包括：将包含第一内容的第一视频的第一特征信息输入到第一模型，计算得到第三特征信息，以及将包含第二内容的第二视频的第二特征信息输入到第二模型，计算得到第四特征信息，其中，所述第一内容与所述第二内容属于同一类别；基于第三特征信息和/或第四特征信息，计算或更新所述第一模型中的第一参数；基于所述第一参数，确定所述第一内容在所述第一视频中的位置。

【技术特征摘要】
1.一种视频识别方法，其特征在于，该方法包括：将包含第一内容的第一视频的第一特征信息输入到第一模型，计算得到第三特征信息，以及将包含第二内容的第二视频的第二特征信息输入到第二模型，计算得到第四特征信息，其中，所述第一内容与所述第二内容属于同一类别；基于第三特征信息和/或第四特征信息，计算或更新所述第一模型中的第一参数；基于所述第一参数，确定所述第一内容在所述第一视频中的位置。2.如权利要求1所述的方法，其特征在于，所述第一特征信息由所述第一视频的视频帧特征信息和视频光流特征信息计算得到。3.如权利要求1所述的方法，其特征在于，所述第一模型包括第一神经网络模型以及第一自注意力机制模型，以及所述第一参数为所述第一自注意力机制模型的权重向量；和/或，所述第二模型包括第二神经网络模型以及第二自注意力机制模型。4.如权利要求3所述的方法，其特征在于，所述方法还包括：基于第三特征信息和/或第四特征信息，计算或更新所述第一模型中的第二参数，所述第二参数为所述第一神经网络模型中的模型参数。5.如权利要求3所述的方法，其特征在于，所述将包含第一内容的第一视频的第一特征信息输入到第一模型，计算得到第三特征信息，包括：由所述第一神经网络模型对所述第一特征信息进行连接处理后，基于所述第一自注意力机制模型，计算得到所述第三特征信息；和/或所述将包含第二内容的第二视频的第二特征信息输入到第二模型，计算得到第四特征信息，包括：由所述第二神经网络模型对所述第二特征信息进行连接处理后，基于所述第二自注意力机制模型，计算得到所述第四特征信息。...

【专利技术属性】
技术研发人员：石海超，李长升，段立新，栾琛琳，夏虎，
申请(专利权)人：国信优易数据有限公司，
类型：发明
国别省市：北京,11