本发明专利技术涉及视频检索技术，揭露了一种基于多编码器的多模态视频检索方法，可用于医疗教育视频的检索。所述方法包括：获取待检索视频，对所述待检索视频进行特征提取，得到多个模态特征；将多个所述模态特征进行特征维度对齐处理，得到对齐的特征序列；将所述对齐的特征序列进行池化处理，得到待检索视频的索引向量；获取查询文本，对所述查询文本进行向量计算，得到文本特征向量；将所述文本特征向量与所述待检测视频的索引向量进行相似度计算，根据相似度计算结果得到视频检索结果。本发明专利技术还提出一种基于多编码器的多模态视频检索装置、设备以及介质。本发明专利技术可以提高医疗教育等视频检索的准确率。的准确率。的准确率。
【技术实现步骤摘要】
基于多编码器的多模态视频检索方法、装置、设备及介质
[0001]本专利技术涉及视频检索
，尤其涉及一种基于多编码器的多模态视频检索方法、装置、设备及介质。
技术介绍
[0002]当前，随着科学技术水平的发展，医疗教育视频逐渐出现在各大视频平台，在生活中给人们提供医疗帮助，医疗教育视频不仅能够捕获动态事件而且能够同时提供图像、声音、动作等信息，灵活性高，包含的医疗信息内容丰富。当用户在线寻找自己感兴趣的医疗教育视频内容时，大多数是通过输入几个关键词或一段简单的文字描述，以此来寻找自己想要的内容，因此如何有效地通过文字检索、访问庞大的医疗视频资源成为一个亟待解决问题。
[0003]传统的检索方式主要通过人工对视频进行标记，再根据内容打上合适的标题标签或内容描述，但是这种标题标签或内容描述信息无法完整概括视频内容,甚至在某些时候会出现信息缺失的情况，如视频作者自己并未添加描述信息，或者视频内容来自于网络其他来源，这种依赖“硬标签”的检索方式并不能精确地完成检索任务。综上所述，现有技术中存在医疗教育视频检索准确率较低的问题。
技术实现思路
[0004]本专利技术提供一种基于多编码器的多模态视频检索方法、装置、设备及介质，其主要目的在于解决医疗教育视频检索准确率较低的问题。
[0005]为实现上述目的，本专利技术提供的一种基于多编码器的多模态视频检索方法，包括：
[0006]获取待检索视频，对所述待检索视频进行特征提取，得到多个模态特征；
[0007]将多个所述模态特征进行特征维度对齐处理，得到对齐的特征序列；
[0008]将所述对齐的特征序列进行池化处理，得到待检索视频的索引向量；
[0009]获取查询文本，对所述查询文本进行向量计算，得到文本特征向量；
[0010]将所述文本特征向量与所述待检测视频的索引向量进行相似度计算，根据相似度计算结果得到视频检索结果。
[0011]可选地，所述将多个所述模态特征进行特征维度对齐处理，得到对齐的特征序列，包括：
[0012]对多个所述模态特征进行特征维度调整，得到固定维度的模态特征；
[0013]对所述固定维度的模态特征进行随机抽取，得到多个连续特征序列；
[0014]分别将多个所述连续特征序列的长度与预设的固定长度进行比较，得到长度比较结果；
[0015]根据所述长度比较结果对多个所述连续特征序列进行特征填充，得到对齐的特征序列。
[0016]可选地，所述对所述待检索视频进行特征提取，得到多个模态特征，包括：
[0017]对所述待检索视频进行实体识别，得到多类模态信息；
[0018]分别对多类所述模态信息进行特征计算，得到多个模态特征。
[0019]可选地，所述将所述对齐的特征序列进行池化处理，得到待检索视频的索引向量，包括：
[0020]将所述对齐的特征序列输入到预设的序列编码器中进行下采样处理，得到多个低维特征序列；
[0021]计算多个所述低维特征序列中的元素均值，得到平均池化特征序列；
[0022]对所述对齐的特征序列与所述平均池化特征序列进行求和计算，得到多个单一特征向量；
[0023]将多个所述单一特征向量进行向量拼接，得到待检索视频的索引向量。
[0024]可选地，所述对所述查询文本进行向量计算，得到文本特征向量，包括：
[0025]将所述查询文本输入到预设的文本编码器中进行特征编码，得到文本特征编码向量；
[0026]将所述文本特征编码向量进行维度对齐，得到文本特征向量。
[0027]可选地，所述将所述查询文本输入到预设的文本编码器中进行特征编码，得到文本特征编码向量，包括：
[0028]将所述查询文本进行向量嵌入，得到文本嵌入向量；
[0029]将所述文本嵌入向量进行随机掩码，得到文本特征编码向量。
[0030]可选地，所述将所述文本特征向量与所述待检测视频的索引向量进行相似度计算，包括：
[0031]利用下式进行相似度计算：
[0032][0033]其中，表示为所述文本特征向量；表示为所述待检测视频的索引向量；表示为所述文本特征向量以及所述待检测视频的索引向量的相似度计算结果。
[0034]为了解决上述问题，本专利技术还提供一种基于多编码器的多模态视频检索装置，所述装置包括：
[0035]特征提取模块，用于获取待检索视频，对所述待检索视频进行特征提取，得到多个模态特征；
[0036]维度对齐模块，用于将多个所述模态特征进行特征维度对齐处理，得到对齐的特征序列；
[0037]池化处理模块，用于将所述对齐的特征序列进行池化处理，得到待检索视频的索引向量；
[0038]文本向量计算模块，用于获取查询文本，对所述查询文本进行向量计算，得到文本特征向量；
[0039]相似度计算模块，用于将所述文本特征向量与所述待检测视频的索引向量进行相似度计算，根据相似度计算结果得到视频检索结果。
[0040]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0041]至少一个处理器；以及，
[0042]与所述至少一个处理器通信连接的存储器；其中，
[0043]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于多编码器的多模态视频检索方法。
[0044]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于多编码器的多模态视频检索方法。
[0045]本专利技术实施例将多个模态特征进行特征维度对齐处理，得到对齐的特征序列，让全局具有固定特征维度的模态特征，提高了特征提取的准确率；将对齐的特征序列进行池化处理，得到待检索视频的索引向量，能降低特征序列的维度，便于同文本特征向量进行相似度计算；根据用户所输入的查询文本，将文本特征向量与待检测视频的索引向量进行相似度计算，根据相似度计算结果自动地匹配相关度较高的视频，完成了视频的自动化索引及检索，提高了视频检索流程的效率。因此本专利技术提出的基于多编码器的多模态视频检索方法、装置、电子设备及计算机可读存储介质，可以解决进行医疗教育视频检索时准确率较低的问题。
附图说明
[0046]图1为本专利技术一实施例提供的基于多编码器的多模态视频检索方法的流程示意图；
[0047]图2为本专利技术一实施例提供的所述将多个所述模态特征进行特征维度对齐处理，得到对齐的特征序列的流程示意图；
[0048]图3为本专利技术一实施例提供的所述将所述对齐的特征序列进行池化处理，得到待检索视频的索引向量的流程示意图；
[0049]图4为本专利技术一实施例提供的基于多编码器的多模态视频检索装置的功能模块图；
[0050]图5为本专利技术一实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多编码器的多模态视频检索方法，其特征在于，所述方法包括：获取待检索视频，对所述待检索视频进行特征提取，得到多个模态特征；将多个所述模态特征进行特征维度对齐处理，得到对齐的特征序列；将所述对齐的特征序列进行池化处理，得到待检索视频的索引向量；获取查询文本，对所述查询文本进行向量计算，得到文本特征向量；将所述文本特征向量与所述待检测视频的索引向量进行相似度计算，根据相似度计算结果得到视频检索结果。2.如权利要求1所述的基于多编码器的多模态视频检索方法，其特征在于，所述将多个所述模态特征进行特征维度对齐处理，得到对齐的特征序列，包括：对多个所述模态特征进行特征维度调整，得到固定维度的模态特征；对所述固定维度的模态特征进行随机抽取，得到多个连续特征序列；分别将多个所述连续特征序列的长度与预设的固定长度进行比较，得到长度比较结果；根据所述长度比较结果对多个所述连续特征序列进行特征填充，得到对齐的特征序列。3.如权利要求1所述的基于多编码器的多模态视频检索方法，其特征在于，所述对所述待检索视频进行特征提取，得到多个模态特征，包括：对所述待检索视频进行实体识别，得到多类模态信息；分别对多类所述模态信息进行特征计算，得到多个模态特征。4.如权利要求1所述的基于多编码器的多模态视频检索方法，其特征在于，所述将所述对齐的特征序列进行池化处理，得到待检索视频的索引向量，包括：将所述对齐的特征序列输入到预设的序列编码器中进行下采样处理，得到多个低维特征序列；计算多个所述低维特征序列中的元素均值，得到平均池化特征序列；对所述对齐的特征序列与所述平均池化特征序列进行求和计算，得到多个单一特征向量；将多个所述单一特征向量进行向量拼接，得到待检索视频的索引向量。5.如权利要求1所述的基于多编码器的多模态视频检索方法，其特征在于，所述对所述查询文本进行向量计算，得到文本特征向量，包括：将所述查询文本输入到预设的文本编码器中进行特...
【专利技术属性】
技术研发人员：唐小初，苏童，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。