多模态数据检索方法、装置、设备及可读存储介质制造方法及图纸

技术编号:40776892 阅读:26 留言:0更新日期:2024-03-25 20:22
本公开涉及一种多模态数据检索方法、装置、设备及可读存储介质。通过获取多模态数据,对半结构化数据进行结构化提取,得到半结构化数据对应的转化后结构化数据,对非结构化数据进行语义化特征提取,得到非结构化数据对应的转化后结构化数据,将结构化数据以及转化后结构化数据存储到数据仓库中,基于目标关键词对数据仓库进行检索,得到检索结果。相较于现有技术,本公开实施例解决了现有检索方法容易造成双向偏差,使得检索结果出现较大误差的问题,通过对非结构化数据进行语义化特征提取,得到转化后结构化数据,非结构化数据的语义化特征容易理解、可解释,易于纠偏维护,避免检索时双向特征向量化造成的偏差,检索结果误差较小。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及一种多模态数据检索方法、装置、设备及可读存储介质


技术介绍

1、随着社会、科技的不断发展和进步,各行各业的数据越来越呈现出不同数据源的数据,将不同种类数据进行融合成为一种趋势。由于现实世界中信息的复杂性,单一模态的数据往往无法全面、准确地表示出事物的真实情况,因此需要将不同模态的数据进行融合,以提高数据的精度和可靠性。

2、随着跨多种模态数据混合使用的场景和需求不断增加,对多模态数据的存储、管理和查询提出了更高的要求。现有技术中,通常利用人工智能深度学习、大模型技术对多模态数据进行特征提取,使各种模态的数据特征对齐,并存储到向量数据库中。

3、但是,现有技术提取出来的特征通常以向量矩阵的形式存在,难以被用户理解,且无法对错误特征向量进行纠偏。当对多模态数据检索时,需要将检索关键词转化为特征向量,再用该特征向量与多模态数据提取的特征向量进行比较,计算两个特征向量的相似度,这种检索方法容易造成双向偏差,使得检索结果出现较大误差。


技术实现思路

>1、为了解决上述技本文档来自技高网...

【技术保护点】

1.一种多模态数据检索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述半结构化数据进行结构化提取,得到所述半结构化数据对应的转化后结构化数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述对所述非结构化数据进行语义化特征提取,得到所述非结构化数据对应的转化后结构化数据,包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述结构化数据以及所述转化后结构化数据存储到数据仓库中,包括:

5.根据权利要求4所述的方法,其特征在于,所述技术元数据包括如下至少一种:

6.根据权利要求4所述...

【技术特征摘要】

1.一种多模态数据检索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述半结构化数据进行结构化提取,得到所述半结构化数据对应的转化后结构化数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述对所述非结构化数据进行语义化特征提取,得到所述非结构化数据对应的转化后结构化数据,包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述结构化数据以及所述转化后结构化数据存储到数据仓库中,包括:

5.根据权利要求4所述的方法,其特征在于,所述技...

【专利技术属性】
技术研发人员:林靖生张弥邹伟伟
申请(专利权)人:北京金山云网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1