【技术实现步骤摘要】
视觉语言任务处理系统、训练方法、装置、设备及介质
[0001]本公开涉及人工智能
，具体而言，涉及一种视觉语言任务处理系统、视觉语言任务系统的训练方法、装置、设备及可读存储介质。
技术介绍
[0002]视觉和语言是人工智能的两项基本能力，两者之间的交互支持一系列独特的模拟人类大脑处理信息的能力，如视觉语言(Vision-Language，VL)理解(例如视觉问答)和VL生成(例如图像描述)。VL技术在机器人视觉、帮助视障人士等方面具有良好的应用前景。
[0003]受自然语言预训练技术的发展的启发，对VL模型进行预训练以提高模型处理VL任务的性能成为发展趋势。对VL模型进行预训练可将从资源丰富的预训练任务学习到的多模态知识迁移到对资源有限的下游任务的处理中，提高VL模型处理下游VL任务的性能。相关技术中采用由共享的多层变换器(Transformer)网络构成的统一的VL编码器-解码器模型，对其进行预训练以使其既可处理视觉语言理解任务，又可处理视觉语言生成任务，预训练后的模型处理VL任务的准确度较低，模型精度较差。...
【技术保护点】
【技术特征摘要】
1.一种视觉语言任务处理系统，其特征在于，包括：目标编码器、文本编码器和文本解码器，所述目标编码器和所述文本编码器分别与所述文本解码器相连接，其中：所述目标编码器用于输入预定图像；对所述预定图像进行编码处理获得目标表示序列；输出所述目标表示序列；所述文本编码器用于输入文本描述；对所述文本描述进行编码处理获得单词表示序列；输出所述单词表示序列；所述文本解码器用于输入所述目标表示序列和所述单词表示序列；对所述目标表示序列和所述单词表示序列进行解码处理获得多模态表示序列；输出所述多模态表示序列，所述多模态表示序列用于处理视觉语言任务。2.一种视觉语言任务系统的训练方法，其特征在于，包括：所述视觉语言任务系统包括目标编码器、文本编码器和文本解码器，所述目标编码器和所述文本编码器分别与所述文本解码器相连接；获取预训练图像、与所述预训练图像对应的文本描述和掩码训练图像，所述掩码训练图像通过对所述预训练图像进行遮盖处理获得；将所述掩码训练图像输入所述目标编码器，通过所述目标编码器对所述掩码训练图像进行编码处理获得掩码目标表示序列；将所述文本描述输入所述文本编码器，通过所述文本编码器对所述文本描述进行编码处理获得单词表示序列；通过所述文本解码器对所述掩码目标表示序列和所述单词表示序列进行解码处理获得多模态表示序列；基于所述多模态表示序列和所述预训练图像对所述目标编码器、所述文本编码器和所述文本解码器进行训练，获得预训练后的目标编码器、预训练后的文本编码器和预训练后的文本解码器以处理视觉语言任务。3.根据权利要求2所述的方法，其特征在于，还包括：对所述文本描述进行遮盖处理获得掩码文本描述；将所述掩码文本描述输入文本编码器，通过所述文本编码器对所述掩码文本描述进行编码处理获得掩码单词表示序列；基于所述多模态表示序列和所述预训练图像对所述目标编码器、所述文本编码器和所述文本解码器进行训练包括：将所述多模态表示序列通过分类器层对所述掩码训练图像进行预测，获得预测目标分类；根据所述预测目标分类和所述预训练图像获得掩码目标分类损失；将所述多模态表示序列通过短语生成器层对所述掩码训练图像进行预测，获得预测短语描述；根据所述预测短语描述和所述预训练图像获得掩码短语生成损失；通过所述文本解码器根据所述掩码目标表示序列和所述掩码单词表示序列对所述掩码训练图像进行预测，获得预测单词序列；根据所述文本描述和所述预测单词序列获得掩码句子生成损失；根据所述掩码目标分类损失、所述掩码短语生成损失和所述掩码句子生成损失对所述
目标编码器、所述文本编码器和所述文本解码器进行训练。4.根据权利要求3所述的方法，其特征在于，还包括：将所述预训练图像输入所述目标编码器，通过所述目标编码器对所述预训练图像进行编码处理获得目标表示序列；将所述目标表示序列与所述单词表示序列进行匹配，获得图文匹配损失；所述根据所述掩码目标分类损失、所述掩码短语生成损失和所述掩码句子生成损失对所述目标编码器、所述文本编码器和所述文本解码器进行训练包括：根据所述掩码目...
【专利技术属性】
技术研发人员：潘滢炜，李业豪，姚霆，梅涛，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。