本发明公开了一种基于图文多模态的目标检测标签优化方法，其包括优化模型的训练过程和推理的过程，优化模型的训练过程包括以下步骤：利用目标检测模型对样本中的图片进行目标检测，的各目标的区域图片以及预测标签；将各目标的区域图片输入图片编码器，获...

本发明公开了一种基于多语言图片文字描述数据的多模态模型预训练方法，其包括以下步骤：对训练数据集的原始文本信息内容进行翻译；对不同语言的文本信息分别进行掩码后输入到对应的文本编码器中预测被掩码的词，并计算被掩码的词和预测的词的交叉熵损失，...

本发明公开了一种基于多层级图片描述数据的视觉模型预训练算法。该方法的过程为：首先通过图片级别文字描述数据进行图级的视觉语言预训练，然后再在第一步的基础上，利用区域级别文字描述数据进行第二阶段预训练。最后上述两步反向传播训练后，获得的视觉...

本发明公开了一种基于多模态预训练持续学习的目标检测优化方法，其包括以下步骤：S1、提取表征向量；S2、计算平均距离；S3、目标检测结果过滤优化；S4、持续学习。本方案可以对目标检测结果进行优化，从而达到在不需要更新上游大模型的基础上，以...

本发明公开了一种基于视觉语言深度融合的多任务冷启动目标检测方法，其包括以下步骤：S1、将初始图像输入图像编码器，在每个输出层生成低分辨率的视觉特征图，然后利用FPN对低分辨率的视觉特征图从上到下聚合信息，输出一组多尺度视觉特征图；S2、...

本发明公开了一种基于提升方法的向量编码方法，包括模型训练方法和编码方法，模型训练方法包括以下步骤：S1、将已经训练完成的原始模型作为老师模型T，将若干个轻量模型作为学生模型；S2、按照老师

本发明公开了一种数据收集方法及装置，其方法为：S01、建立初始对话框树；S02、对对话框树中的一个节点进行采样，并使采样获得的数据样本内容多样化；S03、遍历步骤S02中所选择的节点的每一个父节点，制作一个完整的对话历史记录；S04、注...

本发明公开了一种基于提示学习的快速图片分类方法，其包括以下步骤：S1、提示初始化；S2、提示学习与模型训练；S3、使用获得的模型进行图片分类。本方案通过提示学习和图文多模态预训练模型来提高图片分类任务的性能，并且减少对于人工标注的数据量...

本发明公开了一种基于变分自编码器的半监督同义文本改写方法，包括以下步骤：S1、数据收集；S2、模型训练；S3、使用获得的模型进行文本同义改写。本方案通过一种改进版本的微分自编码器来提高文本改写的性能，并且减少对于人工标注的数据量的需求。...

本发明公开了一种基于变分自编码器的文本分类方法，其包括以下步骤：S1、选定编码器和解码器组成模型；S2、对模型进行预训练；S3、分类器训练；S4、使用训练好的分类器对文本进行分类。步骤S2具体为，先收集一个没有人工标注对的文本数据集，然...

本发明公开了一种基于大规模问题自学习的无监督机器阅读理解方法，首先将数据分为四种类型：然后按以下步骤进行：S1、对未标注的通用数据使用标准预训练模型进行训练得到预训练语言模型；S2、对已标注的通用数据使用预训练语言模型进行训练得到问题生...

本发明公开了一种基于隐关键词的文本匹配方法，基于的模型包括词向量和句子编码器，方法包括以下步骤：S1、输入为x和x

本发明公开了一种针对多模态数据离散语义编码的装置和方法，方法包括以下步骤：S1、数据编码器的输入数据为x，采用LSTM对于文本数据进行编码，采用CNN模型对于图片进行编码，输出结果为一个多维张量h；S2、将h中代表现实意义的维度作为主要...

本发明公开了一种基于多跳推理的检索方法及装置，方法包括：S1、给定一个问题作为初始的当前推理路径；S2、使用检索器从当前推理路径中生成搜索查询；S3、读取器逐次将不在推理路径中的一个段落附加到当前推理路径中得到临时推理路径，然后在临时推...

本发明公开了一种跨模态视觉与文本信息匹配方法和装置，其方法包括以下步骤：通过成熟的目标识别系统检测出图片中重要物体场景的区块，区块总数量为X；将这些区块的视觉向量信息输入到视觉编码器中，从而构建这些区块之间的关系和综合信息，获得包含上下...

本发明公开了一种基于稀疏向量匹配的高效检索方法，通过对问题句子和答案句子分词编码，然后进行单词级交互，对问题单词和答案句子之间的相关性进行计算，提升了检索细粒度，从而提升了检索准确率，通过ln、ReLU和b三者组合，有效提升算法模型的泛...