用于图像描述模型的奖赏的确定方法及电子设备技术

本发明专利技术涉及图像描述技术领域，具体涉及用于图像描述模型的奖赏的确定方法及电子设备，其中奖赏的确定方法包括：获取测试图像的标签描述以及预设图像描述模型基于所述测试图像的生成描述；基于所述测试图像及其生成描述，确定测试图像与所述生成描述的相关性；在训练集中提取所述测试图像的全局最相似图像；计算所述测试图像相对于所述全局最相似图像与所述生成描述的相关性差值，以确定第一全局奖赏；基于所述第一全局奖赏以及所述n元组的奖赏，更新所述生成描述中的每个单词的奖赏。通过计算得到的第一全局奖赏表示全局判别性的约束项，该约束项会使得测试图像与全局最相似图像之间的描述具有区分性与判别性，提高了图像描述的准确性。

Award determination method and electronic equipment for image description model

【技术实现步骤摘要】
用于图像描述模型的奖赏的确定方法及电子设备
本专利技术涉及图像描述
，具体涉及用于图像描述模型的奖赏的确定方法及电子设备。
技术介绍
图像描述这一任务是日常生活中的常见任务。其目的是根据图像的内容生成一句描述图像内容的符合语法规则的自然语言描述。这一任务在现实生活中可以应用于儿童早教，导航引导等方面。计算机视觉和自然语言处理的交叉领域是人工智能的两大领域，虽然这两个领域都有采用类似于的人工智能和机器学习的方法进行领域研究，但两个领域间的交互还很少。然而，近年来，自然语言处理和计算机视觉领域在分析和生成文本以及理解图像和视频方面取得了巨大的进步。图像描述作为计算机视觉和自然语言处理的交叉领域，近年来取得了显著的进展。目前有很多方法模型被提出来解决图像描述的问题，然而现有的利用现有的方法模型所得到的生成描述的通常过于死板的句子，由一些最常见的单词/短语组成，从而导致不准确和难以区分的描述。专利技术人通过研究发现，导致上述问题的原因在于，基本事实题注的单词分布不均匀，这鼓励了高频率的短语的生成，同时抑制了频率较低但更具体的短语。
技术实现思路
有鉴于此，本专利技术实施例提供了一种用于图像本文档来自技高网...

【技术保护点】
1.一种用于图像描述模型的奖赏的确定方法，其特征在于，包括：获取测试图像的标签描述以及预设图像描述模型基于所述测试图像的生成描述；基于所述测试图像及其生成描述，确定测试图像与所述生成描述的相关性；在训练集中提取所述测试图像的全局最相似图像；计算所述测试图像相对于所述全局最相似图像与所述生成描述的相关性差值，以确定第一全局奖赏；基于所述标签描述以及所述生成描述，计算所述生成描述中n元组的奖赏；根据所述第一全局奖赏以及所述n元组的奖赏，更新所述生成描述中的每个单词的奖赏。

【技术特征摘要】
1.一种用于图像描述模型的奖赏的确定方法，其特征在于，包括：获取测试图像的标签描述以及预设图像描述模型基于所述测试图像的生成描述；基于所述测试图像及其生成描述，确定测试图像与所述生成描述的相关性；在训练集中提取所述测试图像的全局最相似图像；计算所述测试图像相对于所述全局最相似图像与所述生成描述的相关性差值，以确定第一全局奖赏；基于所述标签描述以及所述生成描述，计算所述生成描述中n元组的奖赏；根据所述第一全局奖赏以及所述n元组的奖赏，更新所述生成描述中的每个单词的奖赏。2.根据权利要求1所述的方法，其特征在于，采用如下公式计算所述第一全局奖赏：式中，[x]+＝max(x,0)；其中，为所述第一全局奖赏；Ig为所述全局最相似图像；I为所述测试图像；为所述测试图像的生成描述；为所述全局最相似图像与所述生成描述的相关性；为所述测试图像与所述测试图像的生成描述的相关性；ε为常数。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一全局奖赏以及所述n元组的奖赏，更新所述生成描述中的每个单词的奖赏，还包括：在所述训练集中提取预设数量的图像，以得到批量图像；从所述批量图像中获取所述测试图像的批量最相似图像以及所述批量最相似图像的生成描述；根据所述测试图像及其生成描述、所述批量最相似图像及其生成描述，计算第二全局奖赏；计算所述第一全局奖赏以及第二全局奖赏之和，以得到全局奖赏；利用所述全局奖赏以及所述n元组的奖赏，更新所述生成描述中的每个单词的奖赏；其中，更新后的所述每个单词的奖赏为所述全局奖赏与对应的所述n元组的奖赏之和。4.根据权利要求3所述的方法，其特征在于，所述根据所述测试图像及其生成描述、所述批量最相似图像及其生成描述，计算第二全局奖赏，包括：计算所述测试图像对比于所述批量最相似图像与所述测试图像的生成描述的相关性差值，以得到第一相关性差值；计算所述测试图像的生成描述对比于所述批量最相似图像的生成描述与殴测试图像的相关性差值，以得到第二相关性差值；基于所述第一相关性差值以及所述第二相关性差值确定第二全局奖赏。5.根据权利要求4所述的方法，其特征在于，采用如下公式计算所述第二全局奖赏：式中，[x]+＝max(x,0)；其中，为所述第二全局奖赏；R1为所述第一相关性差值；R2为所述第二相关性差值；I为所述测试图像；I'为所述批量最相似图像；c'为所述批量最相似图像的生成描述；为所述测试图像的生成描述；s(I,c')为所述测试图像与所述批量最相似图像的生成描述的相关性；为所述测试图像与所述测试图像的生成描述的相关性；为所述批量最相似图像与所述测试图像的生成描述的相关性。6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述第一全局奖赏以及所述n元组的奖赏，更新所述生成描述中的每个单词的奖赏的步骤之后，还包括：比较所述n元组的奖赏与第一阈值的大小关系以及所述n元组中每个单词的奖赏与第二阈值的大小关系，以筛选出所述生成描述中的奖赏待提升的单词；根据所述标签描述以及与所述奖赏待提升的单词对应的所述n元组的奖赏，计算所述奖赏待提升的单词的奖赏，以更新所述生成描述中每个单词的奖...

【专利技术属性】
技术研发人员：陈添水，吴捷，梁小丹，林倞，
申请(专利权)人：暗物智能科技广州有限公司，
类型：发明
国别省市：广东,44