一种媒体内容搜索的方法、装置、计算机设备及存储介质制造方法及图纸

本公开提供了一种媒体内容搜索的方法、装置、计算机设备及存储介质，其中，该方法包括：接收针对目标媒体内容的搜索指令；基于搜索指令，确定与目标媒体内容的场景意图匹配的第一候选媒体内容集合，以及与目标媒体内容的实体意图匹配的第二候选媒体内容集合；基于第一候选媒体内容集合，以及第二候选媒体内容集合，向用户端发送与目标媒体内容对应的搜索结果。采用上述方案，可以直接基于媒体内容进行搜索，不需要用户输入文本信息进行媒体内容搜索，能够一定程度上提升用户的搜索效率及搜索的准确性。

A method, device, computer equipment and storage medium of media content search

【技术实现步骤摘要】
一种媒体内容搜索的方法、装置、计算机设备及存储介质
本公开涉及媒体内容处理
，具体而言，涉及一种媒体内容搜索的方法、装置、计算机设备及存储介质。
技术介绍
随着互联网的发展，搜索引擎成为人们上网必不可少的工具之一。传统的搜索引擎是基于文本搜索的，也即，通过文字输入进行搜索。此外，即使是有关媒体内容(例如视频)的搜索引擎也是通过媒体内容节目的名称、说明、介绍、标签等文本信息进行搜索。通常情况下，在进行媒体内容搜索的过程中，可以直接对用户输入的文本信息进行识别，然后对识别出来的结果进行搜索，例如，在用户输入的文本信息与候选媒体内容的媒体内容标签信息一致时，即可以将候选媒体内容的信息反馈至用户。可见，上述媒体内容搜索方法依赖于用户对意图搜索的媒体内容进行准确的文本描述以及文本的输入操作，这将导致搜索的效率较低，同时，在用户无法准确的进行文本描述时，往往导致媒体内容搜索的准确性较低。
技术实现思路
本公开实施例提供至少一种媒体内容搜索的方案，从目标媒体内容中的实体和场景两方面进行了相似媒体内容的自动搜索，无需通过文本输入进行媒体内容搜索，可以提升搜索效率及搜索的准确性，并且提高了得到满足用户意图的搜索结果的概率。主要包括以下几个方面：第一方面，本公开提供了一种媒体内容搜索的方法，所述方法包括：接收针对目标媒体内容的搜索指令；基于所述搜索指令，确定与所述目标媒体内容的场景意图匹配的第一候选媒体内容集合，以及与所述目标媒体内容的实体意图匹配的第二候选媒体内容集合；基于所述第一候选媒体内容集合，以及所述第二候选媒体内容集合，向用户端发送与所述目标媒体内容对应的搜索结果。一种可能的实施方式中，所述确定与所述目标媒体内容的场景意图匹配的第一候选媒体内容集合，包括：基于所述目标媒体内容在多种预设维度下的特征信息，确定所述目标媒体内容对应的目标媒体内容特征向量；通过将所述目标媒体内容特征向量与场景索引库中的各个候选媒体内容特征向量进行匹配，确定与所述目标媒体内容的场景意图匹配的至少一个第一候选媒体内容，将所述至少一个第一候选媒体内容组成所述第一候选媒体内容集合。一种可能的实施方式中，所述媒体内容为视频，所述多种预设维度包括以下维度中的多种：视觉维度、文本信息维度、音乐维度。一种可能的实施方式中，根据以下步骤生成所述场景索引库：对各个初选媒体内容进行场景意图识别，确定各个初选媒体内容中具有场景意图的第一候选媒体内容；提取所述第一候选媒体内容在多种预设维度下的特征信息；基于所述第一候选媒体内容在多种预设维度下的特征信息，生成所述第一候选媒体内容的候选媒体内容特征向量；将所述第一候选媒体内容的第一媒体内容标识和该第一候选媒体内容的所述候选媒体内容特征向量对应存储在所述场景索引库中。一种可能的实施方式中，所述通过将所述目标媒体内容特征向量与场景索引库中的各个候选媒体内容特征向量进行匹配，确定与所述目标媒体内容的场景意图匹配的至少一个第一候选媒体内容，包括：将所述目标媒体内容的目标媒体内容特征向量与场景索引库中的各个候选媒体内容特征向量进行匹配，确定与所述目标媒体内容特征向量匹配的至少一个候选媒体内容特征向量；基于所述场景索引库中，与确定的所述候选媒体内容特征向量对应的第一媒体内容标识，确定所述至少一个第一候选媒体内容。一种可能的实施方式中，所述将所述至少一个第一候选媒体内容组成所述第一候选媒体内容集合，包括：获取与所述第一媒体内容标识所标识的第一候选媒体内容对应的用户行为信息；基于所述用户行为信息，从所述第一媒体内容标识所标识的第一候选媒体内容中选取符合预设要求的第一候选媒体内容，组成所述第一候选媒体内容集合。一种可能的实施方式中，确定与所述目标媒体内容的实体意图匹配的第二候选媒体内容集合，包括：确定所述目标媒体内容中，与实体意图对应的目标实体的目标实体特征向量；将所述目标实体的目标实体特征向量与实体索引库中的各个候选实体特征向量进行匹配，确定与所述目标实体匹配的第二候选媒体内容集合；所述第二候选媒体内容集合中包含至少一个第二候选媒体内容。一种可能的实施方式中，所述确定所述目标媒体内容中，与实体意图对应的目标实体的目标实体特征向量，包括：检测出所述目标媒体内容中的实体；对检测出的至少一个实体进行意图识别，确定出至少一个所述目标实体；针对每个所述目标实体，基于该目标实体在所述目标媒体内容中对应的图像信息，生成该目标实体对应的所述目标实体特征向量。一种可能的实施方式中，根据以下步骤生成所述实体索引库：确定各个初选媒体内容中包含的实体；对所述初选媒体内容中包含的实体进行意图识别，确定候选实体及该候选实体所在的第二候选媒体内容；基于所述候选实体在对应的第二候选媒体内容中的图像信息，生成该候选实体对应的所述候选实体特征向量；将所述候选实体所在的第二候选媒体内容的第二媒体内容标识，和该候选实体的候选实体特征向量对应存储在所述实体索引库中。一种可能的实施方式中，所述将所述目标实体的目标实体特征向量与实体索引库中的各个候选实体特征向量进行匹配，确定与所述目标实体匹配的第二候选媒体内容集合，包括：将所述目标媒体内容中的目标实体的目标实体特征向量与实体索引库中的各个候选实体特征向量进行匹配，确定与所述目标媒体内容匹配的至少一个候选实体特征向量；基于所述实体索引库中，与确定的所述候选实体特征向量对应的第二媒体内容标识，确定所述第二候选媒体内容集合。一种可能的实施方式中，所述基于所述实体索引库中，与确定的所述候选实体特征向量对应的第二媒体内容标识，确定所述第二候选媒体内容集合，包括：获取与所述第二媒体内容标识所标识的第二候选媒体内容对应的用户行为信息；基于所述用户行为信息，从所述第二媒体内容标识所标识的第二候选媒体内容中选取符合预设要求的第二候选媒体内容，组成所述第二候选媒体内容集合。一种可能的实施方式中，所述基于所述第一候选媒体内容集合，以及所述第二候选媒体内容集合，向用户端发送与所述目标媒体内容对应的搜索结果，包括：生成所述第一候选媒体内容集合对应的第一集合标识信息，以及生成所述第二候选媒体内容集合中至少一个第二候选媒体内容子集分别对应的第二集合标识信息；其中，每个所述第二候选媒体内容子集对应一个与所述实体意图匹配的候选实体；将所述第一候选媒体内容集合及该第一候选媒体内容集合对应的第一集合标识信息，所述第二候选媒体内容集合中至少一个第二候选媒体内容子集及每个第二候选媒体内容子集分别对应的第二集合标识信息作为所述搜索结果发送给所述用户端。一种可能的实施方式中，所述第一集合标识信息包括第一缩略图片和/或第一文字描述信息；所述第二集合标识信息包括第二缩略图片和/或第二文字描述信息。第二方面，本公开还提供了一种本文档来自技高网...

【技术保护点】
1.一种媒体内容搜索的方法，其特征在于，所述方法包括：/n接收针对目标媒体内容的搜索指令；/n基于所述搜索指令，确定与所述目标媒体内容的场景意图匹配的第一候选媒体内容集合，以及与所述目标媒体内容的实体意图匹配的第二候选媒体内容集合；/n基于所述第一候选媒体内容集合，以及所述第二候选媒体内容集合，向用户端发送与所述目标媒体内容对应的搜索结果。/n

【技术特征摘要】
1.一种媒体内容搜索的方法，其特征在于，所述方法包括：
接收针对目标媒体内容的搜索指令；
基于所述搜索指令，确定与所述目标媒体内容的场景意图匹配的第一候选媒体内容集合，以及与所述目标媒体内容的实体意图匹配的第二候选媒体内容集合；
基于所述第一候选媒体内容集合，以及所述第二候选媒体内容集合，向用户端发送与所述目标媒体内容对应的搜索结果。


2.根据权利要求1所述的方法，其特征在于，所述确定与所述目标媒体内容的场景意图匹配的第一候选媒体内容集合，包括：
基于所述目标媒体内容在多种预设维度下的特征信息，确定所述目标媒体内容对应的目标媒体内容特征向量；
通过将所述目标媒体内容特征向量与场景索引库中的各个候选媒体内容特征向量进行匹配，确定与所述目标媒体内容的场景意图匹配的至少一个第一候选媒体内容，将所述至少一个第一候选媒体内容组成所述第一候选媒体内容集合。


3.根据权利要求2所述的方法，其特征在于，所述媒体内容为视频，所述多种预设维度包括以下维度中的多种：
视觉维度、文本信息维度、音乐维度。


4.根据权利要求2所述的方法，其特征在于，根据以下步骤生成所述场景索引库：
对各个初选媒体内容进行场景意图识别，确定各个初选媒体内容中具有场景意图的第一候选媒体内容；
提取所述第一候选媒体内容在多种预设维度下的特征信息；
基于所述第一候选媒体内容在多种预设维度下的特征信息，生成所述第一候选媒体内容的候选媒体内容特征向量；
将所述第一候选媒体内容的第一媒体内容标识和该第一候选媒体内容的所述候选媒体内容特征向量对应存储在所述场景索引库中。


5.根据权利要求4所述的方法，其特征在于，所述通过将所述目标媒体内容特征向量与场景索引库中的各个候选媒体内容特征向量进行匹配，确定与所述目标媒体内容的场景意图匹配的至少一个第一候选媒体内容，包括：
将所述目标媒体内容的目标媒体内容特征向量与场景索引库中的各个候选媒体内容特征向量进行匹配，确定与所述目标媒体内容特征向量匹配的至少一个候选媒体内容特征向量；
基于所述场景索引库中，与确定的所述候选媒体内容特征向量对应的第一媒体内容标识，确定所述至少一个第一候选媒体内容。


6.根据权利要求5所述的方法，其特征在于，所述将所述至少一个第一候选媒体内容组成所述第一候选媒体内容集合，包括：
获取与所述第一媒体内容标识所标识的第一候选媒体内容对应的用户行为信息；
基于所述用户行为信息，从所述第一媒体内容标识所标识的第一候选媒体内容中选取符合预设要求的第一候选媒体内容，组成所述第一候选媒体内容集合。


7.根据权利要求1所述的方法，其特征在于，确定与所述目标媒体内容的实体意图匹配的第二候选媒体内容集合，包括：
确定所述目标媒体内容中，与实体意图对应的目标实体的目标实体特征向量；
将所述目标实体的目标实体特征向量与实体索引库中的各个候选实体特征向量进行匹配，确定与所述目标实体匹配的第二候选媒体内容集合；所述第二候选媒体内容集合中包含至少一个第二候选媒体内容。


8.根据权利要求7所述的方法，其特征在于，所述确定所述目标媒体内容中，与实体意图对应的目标实体的目标实体特征向量，包括：
检测出所述目标媒体内容中的实体；
对检测出的至少一个实体进行意图识别，确定出至少一个所述目标实体；
针对每个所述目标实体，基于该目标实体在所述目标媒体内容中对应的图像信息，生成该目标实体对应的所述目标实体特征向量。


9.根据权利要求7所述的方法，其特征在于，根据以下步骤生成所述实体索引库：
确定各个初选媒体内容中包含的实体；
对所述初选媒体内容中包含的实体进行意图识别，确定候选实体及该候选实体所在的第二候选媒体内容；
基于所述候选实体在对应的第二候选媒体内容中的图像信息，生成该候选实体对应的所述候选实体特征向量；
将所述候选实体所在的第二候选媒体内容的第二媒体内容标识，和该候选实体的候选实体特征向量对应存储在所述实体索引库中。


10.根据权利要求9所述的方法，其特征在于，所述将所述目标实体的目标实体特征向量与实体索引库中的各个候选实体特征向量进行匹配，确定与所述目标实体匹配的第二候选媒体内容集合，包括：
将所述目标媒体内容中的目标实体的目标实体特征向量与实体索引库中的各个候选实体特征向量进行匹配，确定与所述目标媒体内容匹配的至少一个候选实体特征向量；
基于所述实体索引库中，与确定的所述候选实体特征向量对应的第二媒体内容标识，确定所述第二候选媒体内容集合。


11.根据权利要求10所述的方法，其特征在于，所述基于所述实体索引库中，与确定的所述候选实体特征向量对应的第二媒体内容标识，确定所述第二候选媒体内容集合，包括：
获取与所述第二媒体内容标识所标识的第二候选媒体内容对应的用户行为信息；
基于所述用户行为信息，从...

【专利技术属性】
技术研发人员：王子昂，张永华，张梦琳，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11