本申请实施例提供了一种模型训练方法和装置、视频搜索方法和装置、设备及介质，属于人工智能技术领域。该方法包括：获取训练视频数据集；其中，所述训练视频数据集包括至少两个训练视频数据；对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列；将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列；根据所述至少两个视频索引序列对所述至少两个训练视频数据进行分类处理，得到视频标识；根据所述视频标识和所述训练视频数据集对预设的自监督学习模型进行训练，得到数据转换模型。本申请实施例能够构建精度更高的数据转换模型。够构建精度更高的数据转换模型。够构建精度更高的数据转换模型。
【技术实现步骤摘要】
模型训练方法和装置、视频搜索方法和装置、设备及介质
[0001]本申请涉及人工智能
，尤其涉及一种模型训练方法和装置、视频搜索方法和装置、设备及介质。
技术介绍
[0002]采用图像或文本模态的数据来检索视频内容，需要将视频数据转换为二进制数据或与检索数据匹配的低维数据。相关技术中，将视频数据转换为二进制数据主要采用自监督学习来构建将视频数据转换为二进制数据的数据转换模型，但是模型训练过程中存在离散优化问题，导致所构建的数据转换模型的精度下降。
技术实现思路
[0003]本申请实施例的主要目的在于提出一种模型训练方法和装置、视频搜索方法和装置、设备及介质，旨在提高数据转换模型构建的精度提高。
[0004]为实现上述目的，本申请实施例的第一方面提出了一种模型训练方法，所述方法包括：
[0005]获取训练视频数据集；其中，所述训练视频数据集包括至少两个训练视频数据；
[0006]对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列；
[0007]将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列；
[0008]根据所述至少两个视频索引序列对所述至少两个训练视频数据进行分类处理，得到视频标识；
[0009]根据所述视频标识和所述训练视频数据集对预设的自监督学习模型进行训练，得到数据转换模型。
[0010]在一些实施例，每一所述训练视频数据包括至少两个视频帧，所述对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列，包括：
[0011]对每一个所述视频帧进行特征提取，得到视频帧特征；
[0012]将所述训练视频数据的每一所述视频帧特征进行特征序列转换，得到至少两个视频帧特征序列。
[0013]在一些实施例，所述对每一个所述视频帧进行特征提取，得到视频帧特征，包括：
[0014]通过全局分层编码器对每一所述视频帧进行编码处理，得到全局视频级别特征；
[0015]通过后向分层编码器对所述全局视频级别特征进行编码处理，得到逆向视频框架特征；
[0016]通过双向分层解码器对所述逆向视频框架特征进行解码处理，得到框架级别特征；
[0017]通过前向分层编码器对所述框架级别特征进行编码处理，得到所述视频帧特征。
[0018]在一些实施例，所述双向分层解码器包括：单向卷积层和双向卷积层，所述通过所
述双向分层解码器对所述逆向视频框架特征进行解码处理，得到框架级别特征，包括：
[0019]通过所述单向卷积层对所述逆向视频框架特征进行卷积处理，得到卷积数据；
[0020]通过所述双向卷积层对所述卷积数据进行卷积处理，得到所述框架级别特征。
[0021]在一些实施例，所述将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列，包括：
[0022]将所述至少两个所述视频帧特征序列进行均值池化处理，得到视频级信息；
[0023]根据预设的邻域函数对所述视频级信息进行邻域计算，得到邻域结构；
[0024]根据所述邻域结构对所述至少两个所述视频帧特征序列进行索引转换，得到所述至少两个视频索引序列。
[0025]为实现上述目的，本申请实施例的第二方面提出了一种视频搜索方法，所述方法包括：
[0026]获取原始视频数据；
[0027]将所述原始视频数据输入数据转换模型；其中，所述数据转换模型由第一方面的模型训练方法得到；
[0028]通过所述数据转换模型将所述原始视频数据进行数据转换，得到视频序列数据；
[0029]获取查询信息；
[0030]根据所述查询信息从至少两个所述视频序列数据中筛选出目标序列数据；
[0031]根据所述目标序列数据从至少两个所述原始视频数据中筛选出目标视频数据。
[0032]在一些实施例，所述根据所述查询信息从至少两个所述视频序列数据中筛选出目标序列数据，包括：
[0033]对所述查询信息进行二进制转换，得到查询序列；
[0034]根据所述查询序列从至少两个所述视频序列数据中筛选出所述目标序列数据。
[0035]为实现上述目的，本申请实施例的第三方面提出了一种模型训练装置，所述装置包括：
[0036]数据获取模块，用于获取训练视频数据集；其中，所述训练视频数据集包括至少两个训练视频数据；
[0037]提取模块，用于对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列；
[0038]索引转换模块，用于将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列；
[0039]分类模块，用于根据所述至少两个视频索引序列对所述至少两个训练视频数据进行分类处理，得到视频标识；
[0040]训练模块，用于根据所述视频标识和所述训练视频数据集对预设的自监督学习模型进行训练，得到数据转换模型。
[0041]为实现上述目的，本申请实施例的第四方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法，或者第二方面所述的方法。
[0042]为实现上述目的，本申请实施例的第五方面提出了一种存储介质，所述存储介质
为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法，或者第二方面所述的方法。
[0043]本申请提出的模型训练方法和装置、视频搜索方法和装置、设备及介质，其通过视频标识根据视频帧特征序列得到，则根据视频标识和训练视频数据集对预设的自监督学习模型进行训练，以训练得到的数据转换模型能够将相似的视频数据转换为相似度的哈希码，而将不同的视频数据转换为不同的哈希码，因此，构建精度更高的数据转换模型。
附图说明
[0044]图1是本申请实施例提供的模型训练方法的流程图；
[0045]图2是图1中的步骤S102的流程图；
[0046]图3是图2中的步骤S201的流程图；
[0047]图4是图3中的步骤S303的流程图；
[0048]图5是图1中的步骤S103的流程图；
[0049]图6是本申请实施例提供的视频搜索方法的流程图；
[0050]图7是图6中的步骤S605的流程图；
[0051]图8是本申请实施例提供的模型训练装置的结构示意图；
[0052]图9是本申请实施例提供的视频搜索装置的结构示意图；
[0053]图10是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0054]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取训练视频数据集；其中，所述训练视频数据集包括至少两个训练视频数据；对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列；将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列；根据所述至少两个视频索引序列对所述至少两个训练视频数据进行分类处理，得到视频标识；根据所述视频标识和所述训练视频数据集对预设的自监督学习模型进行训练，得到数据转换模型。2.根据权利要求1所述的方法，其特征在于，每一所述训练视频数据包括至少两个视频帧，所述对每一所述训练视频数据进行特征提取，得到至少两个视频帧特征序列，包括：对每一个所述视频帧进行特征提取，得到视频帧特征；将所述训练视频数据的每一所述视频帧特征进行特征序列转换，得到至少两个视频帧特征序列。3.根据权利要求2所述的方法，其特征在于，所述对每一个所述视频帧进行特征提取，得到视频帧特征，包括：通过全局分层编码器对每一所述视频帧进行编码处理，得到全局视频级别特征；通过后向分层编码器对所述全局视频级别特征进行编码处理，得到逆向视频框架特征；通过双向分层解码器对所述逆向视频框架特征进行解码处理，得到框架级别特征；通过前向分层编码器对所述框架级别特征进行编码处理，得到所述视频帧特征。4.根据权利要求3所述的方法，其特征在于，所述双向分层解码器包括：单向卷积层和双向卷积层，所述通过所述双向分层解码器对所述逆向视频框架特征进行解码处理，得到框架级别特征，包括：通过所述单向卷积层对所述逆向视频框架特征进行卷积处理，得到卷积数据；通过所述双向卷积层对所述卷积数据进行卷积处理，得到所述框架级别特征。5.根据权利要求1至4任一项所述的方法，其特征在于，所述将所述至少两个所述视频帧特征序列进行索引转换，得到至少两个视频索引序列，包括：将所述至少两个所述视频帧特征序列进行均值池化处理，得到视频级信息；根据预设的邻域函数对所述视频级信息进行邻域计算，得到邻域结构；根据所述邻域结构对所述至少两个所述视频帧特征序列进行...
【专利技术属性】
技术研发人员：刘杰，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。