System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种多媒体数据查询方法、装置、设备及可读存储介质制造方法及图纸_技高网

一种多媒体数据查询方法、装置、设备及可读存储介质制造方法及图纸

技术编号:40825665 阅读:2 留言:0更新日期:2024-04-01 14:46
本申请实施例提供了一种多媒体数据查询方法、装置、设备及可读存储介质,将检索关键词与各个分类词进行相似度计算,得到目标分类词。基于目标标签集合,获取候选多媒体数据,获取候选多媒体数据的标签集合,作为待比对标签集合。获取待比对标签集合和检索关键词集合的匹配度。若匹配度大于预设的匹配度阈值,则确定候选多媒体数据为检索结果。由于,分类词通过对多个数据类型的多媒体数据的标签分类得到,候选多媒体数据为至少存在一个标签属于目标分类的标签集合的多媒体数据,可见本申请通过预先对多个数据类型的多媒体数据的标签进行分类将不同数据类型的多媒体数据关联,实现跨数据类型的多媒体数据的高效检索。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种多媒体数据查询方法、装置、设备及可读存储介质


技术介绍

1、随着计算机技术的发展,互联网中的图像、音频和视频等各类多媒体数据的规模也越来越大,且各类多媒体数据往往分类存储到不同的多媒体数据库中,现有技术主要针对各类多媒体数据进行单一检索,如何从大规模跨类型数据库中快速检索得到目标数据,是目前亟待解决的问题。


技术实现思路

1、本申请提供了一种多媒体数据查询方法、装置、设备及可读存储介质,如下:

2、一种多媒体数据查询方法,包括:

3、获取检索关键词集合,所述检索关键词集合包括至少一个检索关键词;

4、将所述检索关键词与各个分类词进行相似度计算,得到目标分类词,每一个所述分类词通过对多个数据类型的多媒体数据的标签分类得到,所述数据类型至少包括图像、音频以及视频;

5、基于目标标签集合,获取候选多媒体数据,所述候选多媒体数据为至少存在一个标签属于所述目标标签集合的多媒体数据,所述目标标签集合为所述目标分类对应的标签集合;

6、获取所述候选多媒体数据的标签集合,作为待比对标签集合;

7、获取所述待比对标签集合和所述检索关键词集合的匹配度;

8、若所述匹配度大于预设的匹配度阈值,则确定所述候选多媒体数据为检索结果。

9、可选地,所述获取检索关键词集合包括:

10、获取待检索数据,所述待检索数据包括图像数据、文本数据、音频数据以及视频数据中的一项或多项

11、识别得到所述待检索数据的至少一个关键词,作为检索关键词;

12、基于各个所述检索关键词,得到所述检索关键词集合。

13、可选地,多媒体数据查询方法还包括:

14、获取多个数据类型的多媒体数据;

15、分别获取各个多媒体数据的多个标签,得到各个多媒体数据的标签集合;

16、对全部数据类型的多媒体数据的标签进行分类,得到多个分类词以及各个所述分类词对应的标签集合,所述分类词的标签集合包括属于所述分类词的多个标签;

17、对应存储所述分类词和所述分类词的标签集合;

18、对应存储多媒体数据的标识和标签集合。

19、可选地,获取图像数据的标签集合,包括:

20、使用光学字符识别ocr技术识别所述图像数据中的文字,得到所述图像数据的文字数据,提取所述图像数据的文字数据的关键词,作为文字标签,所述文字数据的关键词包括语义关键词和情感关键词;

21、使用图像识别技术识别所述图像数据中的对象要素,并识别所述对象要素的图像特征,基于所述图像特征得到图像标签;

22、获取所述图像数据的标签集合,所述图像数据的标签集合包括所述图像数据的文字标签和图像标签。

23、可选地,获取音频数据的标签集合,包括:

24、使用语音识别技术,提取所述音频数据中的文字,得到所述音频数据的文字数据,提取所述音频数据的文字数据的关键词,作为文字标签,所述文字数据的关键词包括语义关键词和情感关键词;

25、获取所述音频数据的音频特征,基于所述音频数据的音频特征得到音频标签;

26、获取所述音频数据的标签集合,所述音频数据的标签集合包括所述音频数据的文字标签和音频标签。

27、可选地,获取视频数据的标签集合,包括:

28、提取所述视频数据的音频作为待识别音频;

29、使用语音识别技术,提取所述待识别音频中的文字,得到所述待识别音频的文字数据,提取所述待识别音频的文字数据的关键词,作为文字标签,所述文字数据的关键词包括语义关键词和情感关键词;

30、获取所述待识别音频的音频特征,基于所述待识别音频的音频特征得到音频标签;

31、提取所述视频数据的预设关键帧的图像,作为待识别图像;

32、使用光学字符识别ocr技术识别所述待识别图像中的文字,得到所述待识别图像的文字数据,提取所述待识别图像的文字数据的关键词,作为文字标签,所述文字数据的关键词包括语义关键词和情感关键词;

33、使用图像识别技术识别所述待识别图像中的对象要素,并识别所述对象要素的图像特征,基于所述图像特征得到图像标签;

34、获取所述视频数据的标签集合,所述视频数据的标签集合包括所述待识别音频的文字标签和音频标签、以及所述待识别图像的文字标签和图像标签。

35、可选地,获取所述待比对标签集合和所述检索关键词集合的匹配度,包括:

36、获取所述待比对标签集合与所述检索关键词集合的文本相似度;

37、获取所述候选多媒体数据和所述检索关键词集合的关联度,所述关联度与所述候选多媒体数据作为所述检索关键词集合的检索结果的次数成正相关;

38、基于所述文本相似度和所述关联度,确定所述待比对标签集合和所述检索关键词集合的匹配度,所述匹配度分别与所述文本相似度和所述关联度成正相关。

39、一种多媒体数据查询装置,包括:

40、检索信息获取单元,用于获取检索关键词集合,所述检索关键词集合包括至少一个检索关键词;

41、分类检索单元,用于将所述检索关键词与各个分类词进行相似度计算,得到目标分类词,每一个所述分类词通过对多个数据类型的多媒体数据的标签分类得到,所述数据类型至少包括图像、音频以及视频;

42、数据筛选单元,用于基于目标标签集合,获取候选多媒体数据,所述候选多媒体数据为至少存在一个标签属于所述目标标签集合的多媒体数据,所述目标标签集合为所述目标分类对应的标签集合;

43、待比对数据获取单元,用于获取所述候选多媒体数据的标签集合,作为待比对标签集合;

44、匹配单元,用于获取所述待比对标签集合和所述检索关键词集合的匹配度;

45、检索结果获取单元,用于若所述匹配度大于预设的匹配度阈值,则确定所述候选多媒体数据为检索结果。

46、一种多媒体数据查询设备,包括:存储器和处理器;

47、所述存储器,用于存储程序;

48、所述处理器,用于执行所述程序,实现如上所述的多媒体数据查询方法的各个步骤。

49、一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上所述的多媒体数据查询方法的各个步骤。

50、由上述技术方案可以看出,本申请实施例提供的多媒体数据查询方法、装置、设备及可读存储介质,获取检索关键词集合,检索关键词集合包括至少一个检索关键词。将检索关键词与各个分类词进行相似度计算,得到目标分类词,基于目标标签集合,获取候选多媒体数据,获取候选多媒体数据的标签集合,作为待比对标签集合。获取待比对标签集合和检索关键词集合的匹配度。若匹配度大于预设的匹配度阈值,则确定候选多媒体数据为检索结果。由于,分类词通过对多个数据类型的多媒体数据的标签本文档来自技高网...

【技术保护点】

1.一种多媒体数据查询方法,其特征在于,包括:

2.根据权利要求1所述的多媒体数据查询方法,其特征在于,所述获取检索关键词集合包括:

3.根据权利要求1所述的多媒体数据查询方法,其特征在于,所述多媒体数据查询方法还包括:

4.根据权利要求3所述的多媒体数据查询方法,其特征在于,获取图像数据的标签集合,包括:

5.根据权利要求3所述的多媒体数据查询方法,其特征在于,获取音频数据的标签集合,包括:

6.根据权利要求3所述的多媒体数据查询方法,其特征在于,获取视频数据的标签集合,包括:

7.根据权利要求3所述的多媒体数据查询方法,其特征在于,所述获取所述待比对标签集合和所述检索关键词集合的匹配度,包括:

8.一种多媒体数据查询装置,其特征在于,包括:

9.一种多媒体数据查询设备,其特征在于,包括:存储器和处理器;

10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~7中任一项所述的多媒体数据查询方法的各个步骤。

【技术特征摘要】

1.一种多媒体数据查询方法,其特征在于,包括:

2.根据权利要求1所述的多媒体数据查询方法,其特征在于,所述获取检索关键词集合包括:

3.根据权利要求1所述的多媒体数据查询方法,其特征在于,所述多媒体数据查询方法还包括:

4.根据权利要求3所述的多媒体数据查询方法,其特征在于,获取图像数据的标签集合,包括:

5.根据权利要求3所述的多媒体数据查询方法,其特征在于,获取音频数据的标签集合,包括:

6.根据权利要求3所述的多媒体数...

【专利技术属性】
技术研发人员:张生
申请(专利权)人:北京真视通科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1