模型训练方法、图像理解方法、装置、介质与电子设备制造方法及图纸

本公开提供一种用于图像理解的模型训练方法、图像理解方法、装置、存储介质与电子设备，涉及人工智能技术领域。该模型训练方法包括：获取样本图像以及样本图像对应的第一文本，通过解析第一文本得到第一文本对应的第一标签；利用图像标签识别模型输出样本图像对应的第二标签，根据第二标签的组合生成样本图像对应的第二文本；将样本图像和第二文本映射为相同模态的信息，通过对映射后的样本图像和第二文本进行匹配以确定第一损失函数值；基于第一标签和第二标签确定第二损失函数值；根据第一损失函数值和第二损失函数值更新图像标签识别模型的参数。本公开有利于提高图像理解的准确性与全面性。准确性与全面性。准确性与全面性。

【技术实现步骤摘要】
模型训练方法、图像理解方法、装置、介质与电子设备


[0001]本公开涉及人工智能
，尤其涉及一种用于图像理解的模型训练方法、图像理解方法、装置、存储介质与电子设备。

技术介绍

[0002]图像理解是计算机图像处理中较高层次的任务，是指从语义层面上研究图像中的对象、对象之间的关系、图像场景等，使得计算机能够像人类一样理解图像。
[0003]相关技术中，图像理解的准确性有待提高。

技术实现思路

[0004]本公开提供一种用于图像理解的模型训练方法、图像理解方法、用于图像理解的模型训练装置、图像理解装置、计算机可读存储介质与电子设备，以至少在一定程度上提高图像理解的准确性。
[0005]根据本公开的第一方面，提供一种用于图像理解的模型训练方法，包括：获取样本图像以及所述样本图像对应的第一文本，通过解析所述第一文本得到所述第一文本对应的第一标签；利用图像标签识别模型输出所述样本图像对应的第二标签，根据所述第二标签的组合生成所述样本图像对应的第二文本；将所述样本图像和所述第二文本映射为相同模态的信息，通过对映射后的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于图像理解的模型训练方法，其特征在于，包括：获取样本图像以及所述样本图像对应的第一文本，通过解析所述第一文本得到所述第一文本对应的第一标签；利用图像标签识别模型输出所述样本图像对应的第二标签，根据所述第二标签的组合生成所述样本图像对应的第二文本；将所述样本图像和所述第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配以确定第一损失函数值；基于所述第一标签和所述第二标签确定第二损失函数值；根据所述第一损失函数值和所述第二损失函数值更新所述图像标签识别模型的参数。2.根据权利要求1所述的方法，其特征在于，所述将所述样本图像和所述第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配以确定第一损失函数值，包括：将所述样本图像、所述第一文本和所述第二文本映射为相同模态的信息，通过对映射后的所述样本图像、所述第一文本和所述第二文本进行匹配确定第一损失函数值。3.根据权利要求2所述的方法，其特征在于，所述将所述样本图像、所述第一文本和所述第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配以确定第一损失函数值，包括：利用图像映射模型输出所述样本图像对应的样本图像特征信息；利用文本映射模型输出所述第一文本对应的第一文本特征信息和所述第二文本对应的第二文本特征信息；所述样本图像特征信息、所述第一文本特征信息和所述第二文本特征信息为相同模态的信息；通过对所述样本图像特征信息、所述第一文本特征信息和所述第二文本特征信息进行匹配以确定第一损失函数值。4.根据权利要求3所述的方法，其特征在于，所述通过对所述样本图像特征信息、所述第一文本特征信息和所述第二文本特征信息进行匹配以确定第一损失函数值，包括：通过匹配所述样本图像特征信息与所述第一文本特征信息，以及匹配所述样本图像特征信息与所述第二文本特征信息，确定第一损失函数值；在根据所述第一损失函数值和所述第二损失函数值更新所述图像标签识别模型的参数时，所述方法还包括：根据所述第一损失函数值和所述第二损失函数值更新所述图像映射模型和所述文本映射模型中的至少一者的参数。5.根据权利要求1所述的方法，其特征在于，所述基于所述第一标签和所述第二标签确定第二损失函数值，包括：对比所述第一标签和所述第二标签，以确定所述第一标签中的缺失标签；所述第一标签中的缺失标签为所述第二标签中包含、所述第一标签中未包含的标签；根据所述第一标签中的缺失标签更新所述第一标签；基于更新后的所述第一标签和所述第二标签的差别，确定第二损失函数值。6.根据权利要求1所述的方法，其特征在于，所述通过解析所述第一文本得到所述第一文本对应的第一标签，包括：
对多个第一文本进行分词，以得到候选词；统计所述候选词在所述多个第一文本中的出现次数，根据统计结果从所述候选词中确定标签集；将所述第一文本中属于所述标签集的词作为所述第一文本对应的第一标签。7.一种图像理解方法，其特征在于，包括：获取经过训练的图像标签识别模型；其中，所述图像标签识别模型是根据第一损失函数值和第二损失函数值更新所述图像标签识别模型的参数而训练得到；所述第一损失函数值是将样本图像和第二文本映射为相同模态的信息，通过对映射后的所述样本图像和所述第二文本进行匹配所确定的；所述第二损失函数值是基于第一标签和第二标签所确定的；所述第一标签是通过解析所述样本图像对应的第一文本所得到的；所述第二标签是利用所述图像标签识别模型输出的所述样本图像对应的图像标签，所述第二文本是根据所述第二标签的组合所生成的；利用所述图像标签识别模型处理目标图像，以输出所述目标图像的图像标签。8.根据权利要求7所述的方法，其特征在于，所述方...

【专利技术属性】
技术研发人员：张有才，李亚乾，郭彦东，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：