基于场景图的图像描述生成方法及装置制造方法及图纸

本公开涉及一种基于场景图的图像描述生成方法及装置，所述方法包括：将待处理图像输入场景图生成网络，获得待处理图像中各目标对象的视觉特征向量以及各目标对象之间的关系类别概率分布向量；对关系类别概率分布向量进行权值预测处理，获得各目标对象之间的关系权值向量；对关系权值向量和视觉特征向量进行上下文编码处理，获得各目标对象的物体特征向量；对物体特征向量进行语言解码处理，获得对待处理图像的描述信息。根据本公开的基于场景图的图像描述生成方法，能够利用场景图作为中间表示，能够更加有组织地、结构化地刻画一张图片中的内容，从而生成更加准确和丰富的图像描述。

【技术实现步骤摘要】
基于场景图的图像描述生成方法及装置
本公开涉及计算机领域，尤其涉及一种基于场景图的图像描述生成方法及装置。
技术介绍
图像描述是一个计算机视觉和自然语言处理相结合的任务，即给定一张图片，机器被要求用语言文字来对其进行描述。这项技术有着广泛的引用场景。它可以被用于辅助盲人感受周围的环境，可以被用于帮助海量图像建立索引，可以被用于建立形式更加丰富的人机自动对话。图像描述任务中有着大量富有挑战的问题，例如如何决定图像中的哪些内容值得描述，如何增加图像描述的丰富程度等。其中最为关键的问题是如何更好地建立图像和语言之间的对应关系。通常而言，这种模型都分为一个图像编码器和语言解码器。图像编码器将原始图像编码成一种中间表示，然后语言解码器从这种中间表示中将图像描述解码出来。在相关技术中，通常使用两种方法获得图像描述，方法一：通过分类网络对原始图像提取特征图，把特征图作为中间表示，再利用语言解码器将图像描述解码出来。方法二：利用检测网络得到图像中的一系列物体，将这些物体的视觉特征的集合作为中间表示，再利用语言解码器将图像描述解码出来。然而，在方法一中，以特征图作为中间表示，缺乏语义层面的信息，难以描述物体的个数、大小等图像信息。在方法二中，仅用检测结果作为中间表示，忽略了物体之间的关系及场景中的组织结构。缺乏结构信息容易导致解码生成图像描述时产生错误的事物联系。
技术实现思路
有鉴于此，本公开提出了一种基于场景图的图像描述生成方法及装置。根据本公开的一方面，提供了一种基于场景图的图像描述生成方法，包括：将待处理图像输入场景图生成网络，获得待处理图像中各目标对象的视觉特征向量以及各目标对象之间的关系类别概率分布向量；对所述关系类别概率分布向量进行权值预测处理，获得所述各目标对象之间的关系权值向量；对所述关系权值向量和所述视觉特征向量进行上下文编码处理，获得各目标对象的物体特征向量；对所述物体特征向量进行语言解码处理，获得对所述待处理图像的描述信息。在一种可能的实现方式中，对所述关系类别概率分布向量进行权值预测处理，获得所述各目标对象之间的关系权值向量，包括：将所述关系概率分布向量输入权值预测网络，获得初始关系权值向量；对所述初始关系权值向量进行归一化处理，获得所述关系权值向量，其中，所述关系权值向量包括主语关系权值向量和宾语关系权值向量。在一种可能的实现方式中，对所述初始关系权值向量进行归一化处理，获得所述关系权值向量，包括：将第i个目标对象与第j个目标对象之间的初始关系权值向量中的第h个元素，以及第i个目标对象与其他N-1个目标对象之间的初始关系权值向量中的第h个元素进行归一化处理，获得第i个目标对象与第j个目标对象之间的关系权值向量中的第h个元素，其中，所述关系权值向量包括H个元素，N为目标对象的数量，H≥1，且H为整数，N≥1，且N为整数，i和j为小于或等于N的正整数，h为小于或等于H的正整数。在一种可能的实现方式中，对所述关系权值向量和所述视觉特征向量进行上下文编码处理，获得各目标对象的物体特征向量，包括：根据所述关系权值向量和所述视觉特征向量，获得各目标对象的上下文特征向量；将所述各目标对象的视觉特征向量和上下文特征向量进行拼接处理，获得所述各目标对象的物体特征向量。在一种可能的实现方式中，所述关系权值向量包括主语关系权值向量和宾语关系权值向量，根据所述关系权值向量和所述视觉特征向量，获得各目标对象的上下文特征向量，包括：根据所述主语关系权值向量和所述视觉特征向量，获得主语上下文特征向量；根据所述宾语关系权值向量和所述视觉特征向量，获得宾语上下文特征向量；根据所述主语上下文特征向量、所述宾语上下文特征向量和所述视觉特征向量，获得所述各目标对象的上下文特征向量。在一种可能的实现方式中，所述待处理图像的描述信息包括至少一个词语，对所述物体特征向量进行语言解码处理，获得对所述待处理图像的描述信息，包括：根据所述各目标对象的物体特征向量，确定第一个词语的第一隐向量；根据第一个词语的第一隐向量，确定第一个词语的词向量；根据第t-1个词语的第一隐向量、所述各目标对象的物体特征向量以及第t-1个词语的词向量，确定第t个词语的第一隐向量，其中，t＞1，且t为整数；根据第t个词语的第一隐向量，确定第t个词语的词向量；根据各词语的词向量，确定所述待处理图像的描述信息。在一种可能的实现方式中，根据第t-1个词语的第一隐向量、所述各目标对象的物体特征向量以及第t-1个词语的词向量，确定第t个词语的第一隐向量，包括：根据第t-1个词语的第一隐向量、所述各目标对象的物体特征向量以及第t-1个词语的词向量，确定第t个词语的第二隐向量；根据所述各目标对象的物体特征向量以及第t个词语的第二隐向量，确定第t个词语的特征向量；根据所述第t个词语的第二隐向量以及第t个词语的特征向量，确定第t个词语的第一隐向量。根据本公开的另一方面，提供了一种基于场景图的图像描述生成装置，包括：场景图生成模块，用于将待处理图像输入场景图生成网络，获得待处理图像中各目标对象的视觉特征向量以及各目标对象之间的关系类别概率分布向量；权值预测模块，用于对所述关系类别概率分布向量进行权值预测处理，获得所述各目标对象之间的关系权值向量；上下文编码模块，用于对所述关系权值向量和所述视觉特征向量进行上下文编码处理，获得各目标对象的物体特征向量；语言解码模块，用于对所述物体特征向量进行语言解码处理，获得对所述待处理图像的描述信息。在一种可能的实现方式中，权值预测模块被进一步配置为将所述关系概率分布向量输入权值预测网络，获得初始关系权值向量；对所述初始关系权值向量进行归一化处理，获得所述关系权值向量，其中，所述关系权值向量包括主语关系权值向量和宾语关系权值向量。在一种可能的实现方式中，权值预测模块被进一步配置为将第i个目标对象与第j个目标对象之间的初始关系权值向量中的第h个元素，以及第i个目标对象与其他N-1个目标对象之间的初始关系权值向量中的第h个元素进行归一化处理，获得第i个目标对象与第j个目标对象之间的关系权值向量中的第h个元素，其中，所述关系权值向量包括H个元素，N为目标对象的数量，H≥1，且H为整数，N≥1，且N为整数，i和j为小于或等于N的正整数，h为小于或等于H的正整数。在一种可能的实现方式中，上下文编码模块被进一步配置为根据所述关系权值向量和所述视觉特征向量，获得各目标对象的上下文特征向量；将所述各目标对象的视觉特征向量和上下文特征向量进行拼接处理，获得所述各目标对象的物体特征向量。在一种可能的实现方式中，所述关系权值向量包括主语关系权值向量和宾语关系权值向量，上下文编码模块被进一步配置为根据所述主语关系权值向量和所述视觉特征向量，获得主语上下文特征向量；根据所述宾语关系权值向量和所述视觉特征向量，获得宾语上下文特征向量；根据所述主语上下文特征向量、所述宾语上下文特征向量和所述视觉特征向量，获得所述各目标对象的上下文特征向量。在一种可能的实现方式中，所述待本文档来自技高网...

【技术保护点】
1.一种基于场景图的图像描述生成方法，其特征在于，包括：/n将待处理图像输入场景图生成网络，获得待处理图像中各目标对象的视觉特征向量以及各目标对象之间的关系类别概率分布向量；/n对所述关系类别概率分布向量进行权值预测处理，获得所述各目标对象之间的关系权值向量；/n对所述关系权值向量和所述视觉特征向量进行上下文编码处理，获得各目标对象的物体特征向量；/n对所述物体特征向量进行语言解码处理，获得对所述待处理图像的描述信息。/n

【技术特征摘要】
20200513 CN 20201040237031.一种基于场景图的图像描述生成方法，其特征在于，包括：
将待处理图像输入场景图生成网络，获得待处理图像中各目标对象的视觉特征向量以及各目标对象之间的关系类别概率分布向量；
对所述关系类别概率分布向量进行权值预测处理，获得所述各目标对象之间的关系权值向量；
对所述关系权值向量和所述视觉特征向量进行上下文编码处理，获得各目标对象的物体特征向量；
对所述物体特征向量进行语言解码处理，获得对所述待处理图像的描述信息。


2.根据权利要求1所述的方法，其特征在于，对所述关系类别概率分布向量进行权值预测处理，获得所述各目标对象之间的关系权值向量，包括：
将所述关系概率分布向量输入权值预测网络，获得初始关系权值向量；
对所述初始关系权值向量进行归一化处理，获得所述关系权值向量，
其中，所述关系权值向量包括主语关系权值向量和宾语关系权值向量。


3.根据权利要求2所述的方法，其特征在于，对所述初始关系权值向量进行归一化处理，获得所述关系权值向量，包括：
将第i个目标对象与第j个目标对象之间的初始关系权值向量中的第h个元素，以及第i个目标对象与其他N-1个目标对象之间的初始关系权值向量中的第h个元素进行归一化处理，获得第i个目标对象与第j个目标对象之间的关系权值向量中的第h个元素，其中，所述关系权值向量包括H个元素，N为目标对象的数量，H≥1，且H为整数，N≥1，且N为整数，i和j为小于或等于N的正整数，h为小于或等于H的正整数。


4.根据权利要求1所述的方法，其特征在于，对所述关系权值向量和所述视觉特征向量进行上下文编码处理，获得各目标对象的物体特征向量，包括：
根据所述关系权值向量和所述视觉特征向量，获得各目标对象的上下文特征向量；
将所述各目标对象的视觉特征向量和上下文特征向量进行拼接处理，获得所述各目标对象的物体特征向量。


5.根据权利要求4所述的方法，其特征在于，所述关系权值向量包括主语关系权值向量和宾语关系权值向量，
根据所述关系权值向量和所述视觉特征向量，获得各目标对象的上下文特征向量，包括：
根据所述主语关系权值向量和所述视觉特征向量，获得主语上下文特征向量；
根据所述宾语关系权值向量和所述视觉特征向量，获得宾语上下文特征向量；
根据所...

【专利技术属性】
技术研发人员：季向阳，江河，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11