【技术实现步骤摘要】
本申请涉及多模态数据处理领域，尤其涉及一种多模态数据集的构建方法、装置及存储介质。
技术介绍
1、当前，多模态大模型的预训练需要大量的图文音数据对来提高模型的性能和泛化性。然而，获取高质量的图文音数据对是一项具有挑战性的任务。现有的图文清洗方法是利用cn_clip模型，将image-text对当做一个整体，基于对比学习的方法，模型训练时尽可能地提高image与对应text的特征相似度，尽可能的降低image与不配对text的相似度，从而来训练一个通用的视觉语义模型。通过计算clip分数，从而判断图文的匹配程度，进而清洗出脏数据。上述这种图文清洗方法存在过拟合风险，尽管clip可以在没有大规模标记数据的情况下学习，但在特定任务上，如果没有足够多样化和代表性的数据，仍然存在过拟合的风险。上述图文数据清洗方法还存在数据偏见，由于clip是从大量的互联网文本和图像数据中学习的，因此可能受到这些数据的偏见影响，导致对某些群体或概念的不公平偏见。再次，互联网采集的图文数据，包含图片是高质量，但是文字可能包含广告、url等与图片内容无关的信息，仅仅是...
【技术保护点】
1.一种多模态数据集的构建方法，其步骤如下：
2.根据权利要求1所述的多模态数据集构建方法，步骤S1筛选出高质量的图片是从已经下载的图文对中，筛选出高质量图文数据集，筛选的规则如下：过滤小于5KB的图片；过滤长/宽或者宽/长比大于3的图片；过滤长或宽小于512px的图片；通过水印检测工具，过滤水印分数大于0.5的图片；通过NSFW不适应公开内容检测工具，过滤分数大于0.5的图片。
3.根据权利要求1所述的多模态数据集构建方法，步骤S2中，采用基于大语言模型的视觉模型，生成图片的描述。
4.根据权利要求1所述的多模态数据集构建方法，步...
【技术特征摘要】
1.一种多模态数据集的构建方法，其步骤如下：
2.根据权利要求1所述的多模态数据集构建方法，步骤s1筛选出高质量的图片是从已经下载的图文对中，筛选出高质量图文数据集，筛选的规则如下：过滤小于5kb的图片；过滤长/宽或者宽/长比大于3的图片；过滤长或宽小于512px的图片；通过水印检测工具，过滤水印分数大于0.5的图片；通过nsfw不适应公开内容检测工具，过滤分数大于0.5的图片。
3.根据权利要求1所述的多模态数据集构建方法，步骤s2中，采用基于大语言模型的视觉模型，生成图片的描述。
4.根据权利要求1所述的多模态数据集构建方法，步骤s3中，采用clip score评估生成的描述与图片的相似度，如果相似度较低，返回步骤s2重新生成图片的描述，直到生成的描述与图片的相似度达到规定的得分。
5.根据权利要求1所述的多模态数据集构建方法，步骤s4中使用音频模型，把步骤...
【专利技术属性】
技术研发人员：朱贵波，易东义，王金桥，易东，
申请(专利权)人：武汉人工智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。