一种图像描述方法及终端设备技术

本发明专利技术提供了一种图像描述方法及终端设备，适用于数据处理技术领域，该方法包括：识别图像中包含的实体，并生成实体对应的关键词；识别图像对应的情感类别以及情感等级；将情感类别、情感等级以及关键词输入至预设分析模型，生成关键词对应的形容词、形容词对应的副词，以及关键词、形容词和副词的排列顺序；基于关键词、形容词、副词以及排列顺序，生成图像对应的描述语句。本发明专利技术实施例使得最终的描述语句内包含了对该图像情感状态的描述内容，实现了对图像进行带有情感的图像描述。

An Image Description Method and Terminal Equipment

The invention provides an image description method and a terminal device, which is suitable for the field of data processing technology. The method includes: identifying the entities contained in the image and generating the keywords corresponding to the entities; identifying the emotional categories and emotional levels corresponding to the images; inputting the emotional categories, emotional levels and keywords into the preset analysis model to generate the adjectives corresponding to the keywords; Adjectives correspond to adverbs, as well as the order of keywords, adjectives and adverbs; based on keywords, adjectives, adverbs and the order of arrangement, image corresponding description sentences are generated. The embodiment of the present invention enables the description of the emotional state of the image to be included in the final description statement, thus realizing the emotional image description of the image.

【技术实现步骤摘要】
一种图像描述方法及终端设备
本专利技术属于数据处理
，尤其涉及图像描述方法及终端设备。
技术介绍
图像描述是指通过计算机自动生成自然语言语句以描述给定图像的内容。现有的图像描述方法往往只是在识别出图像中包含的实体之后，简单地根据自然语言的语法规则将其整理为相应的自然语句，例如“蓝天白云，两个人在草地踢足球。”，这样虽然能实现对图像的机械性的描述，但实际情况中，我们所使用的自然语言都是具有一定情感的，例如“蓝天白云，两个人在草地上开心地踢着足球！”，这句话中充满着开心快乐的情感，因此对图像仅仅只是进行机械性的描述往往难以满足人们的实际需求。
技术实现思路
有鉴于此，本专利技术实施例提供了一种图像描述方法及终端设备，以解决现有技术中无法进行带有情感的图像描述的问题。本专利技术实施例的第一方面提供了一种图像描述方法，包括：识别图像中包含的实体，并生成所述实体对应的关键词；识别所述图像对应的情感类别以及情感等级；将所述情感类别、所述情感等级以及所述关键词输入至预设分析模型，生成所述关键词对应的形容词、所述形容词对应的副词，以及所述关键词、所述形容词和所述副词的排列顺序；基于所述关键词、所述形容词、所述副词以及所述排列顺序，生成所述图像对应的描述语句。本专利技术实施例的第二方面提供了一种终端设备，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤。识别图像中包含的实体，并生成所述实体对应的关键词；识别所述图像对应的情感类别以及情感等级；将所述情感类别、所述情感等级以及所述关键词输入至预设分析模型，生成所述关键词对应的形容词、所述形容词对应的副词，以及所述关键词、所述形容词和所述副词的排列顺序；基于所述关键词、所述形容词、所述副词以及所述排列顺序，生成所述图像对应的描述语句。本专利技术实施例的第三方面提供了一种图像描述装置，包括：关键词识别模块，用于识别图像中包含的实体，并生成所述实体对应的关键词；情感识别模块，用于识别所述图像对应的情感类别以及情感等级；词语分析模块，用于将所述情感类别、所述情感等级以及所述关键词输入至预设分析模型，生成所述关键词对应的形容词、所述形容词对应的副词，以及所述关键词、所述形容词和所述副词的排列顺序；语句生成模块，用于基于所述关键词、所述形容词、所述副词以及所述排列顺序，生成所述图像对应的描述语句。本专利技术实施例的第四方面提供了一种计算机可读存储介质，包括：存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的图像描述方法的步骤。本专利技术实施例与现有技术相比存在的有益效果是：通过对图像进行情感种类和情感等级的分析，并根据图像的情感种类和情感等级生成对应的形容词、副词以及几种词的排列顺序，再基于实体对应的关键词、生成的形容词、副词以及三者的排列顺序来生成对图像最终的描述语句，从而使得最终的描述语句内包含了对该图像情感状态的描述内容，实现了对图像进行带有情感的图像描述。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一提供的图像描述方法的实现流程示意图；图2是本专利技术实施例二提供的图像描述方法的实现流程示意图；图3是本专利技术实施例三提供的图像描述方法的实现流程示意图；图4是本专利技术实施例四提供的图像描述方法的实现流程示意图；图5是本专利技术实施例五提供的图像描述方法的实现流程示意图；图6是本专利技术实施例六提供的图像描述装置的结构示意图；图7是本专利技术实施例七提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。图1示出了本专利技术实施例一提供的图像描述方法的实现流程图，详述如下：S101，识别图像中包含的实体，并生成实体对应的关键词。考虑到现有的实体识别算法已较为成熟，因此此处不对采用的实体识别算法进行限定，具体可由技术人员根据需求选取。实体对应的关键词，是指实体属性+名称组成的词语或短语，如奔跑的小狗或白色的茶杯等，为了生成实体对应的关键词，本专利技术实施例在识别出实体之后会进一步地对实体的属性进行识别，确定出图像中每个实体的属性再生成对应的关键词。其中，对物体属性识别同样可以采用一些现有属性识别算法来实现，如现有的一些颜色识别算法、动作识别算法以及情感识别算法等此处不予限定，可由技术人员自行选取。S102，识别图像对应的情感类别以及情感等级。为了实现对图像进行带有情感的描述，首先需要确定出图像所包含的主要情感，因此本专利技术实施例会对图像对应的情感类别进行识别。情感等级是指图像情感对应的浓厚程度，如开心的情感，根据程度不同可以分为“开心”和“非常开心”两个情感等级，具体对不同情感的等级划分规则，可由技术人员根据实际需求自行设定。由于根据所参考的情感识别对象的不同，所得到的图像情感识别算法也会存在差异，如若以图像整体为情感识别对象，在进行情感识别模型训练时可以对作为训练样本的图像进行人工情感类型和情感级别的标记，此时训练得到的是图像与情感类别和情感级别的关联模型，而若以图像中的实体或实体属性为情感识别对象时，在进行情感识别模型训练时需要对图像进行人工情感类型和情感级别的标记，并图像中的实体或实体属性进行识别，再进行情感分析，此时训练得到的是实体或实体属性与情感类别和情感级别的关联模型，因此，此处亦不对具体采用的情感类别和情感等级识别模型进行限定，技术人员可根据实际需求进行模型选取或自行设计训练模型。S103，将情感类别、情感等级以及关键词输入至预设分析模型，生成关键词对应的形容词、形容词对应的副词，以及关键词、形容词和副词的排列顺序。为了得到对图像带有情感的描述语句，在识别出图像的情感类别以及情感等级之后，还需要生成每个关键词对应的描述词语以及这些词语与关键词之间的排列顺序，即情感类别对应的形容词、情感等级对应的副词以及这些词语与关键词之间的排列顺序，以实现对描述语句的生成。由于每一类情感对应的描述词语都是有限且已知的，如开心的情感可以采用“开心”、“高兴”以及“喜悦”等形容词进行描述，且在情感等级划分规则确定的情况下，每一等级对应的描述词语也是有限且已知的，如可以用“非常”、“很”或者不加副词等来实现对不同等级的描述，因此为了生成每个关键词在情感类别和情感等级下对应的描述词语，可以采用预先对每一类情感以及每一等级均设置好对应的描述词语，再根据图像具体的情感类别和情感等级来进行选取即可。其中，考虑到自然语言中对不同实体描述习惯有所不同，且在同一语句中不同实体所使用的情感描述形容词一般也会有所区分，因此本专利技术实施例在对不同关键词生成情感类别和情感等级对应的描述词语时，优选地，可以根据本文档来自技高网...

【技术保护点】
1.一种图像描述方法，其特征在于，包括：识别图像中包含的实体，并生成所述实体对应的关键词；识别所述图像对应的情感类别以及情感等级；将所述情感类别、所述情感等级以及所述关键词输入至预设分析模型，生成所述关键词对应的形容词、所述形容词对应的副词，以及所述关键词、所述形容词和所述副词的排列顺序；基于所述关键词、所述形容词、所述副词以及所述排列顺序，生成所述图像对应的描述语句。

【技术特征摘要】
1.一种图像描述方法，其特征在于，包括：识别图像中包含的实体，并生成所述实体对应的关键词；识别所述图像对应的情感类别以及情感等级；将所述情感类别、所述情感等级以及所述关键词输入至预设分析模型，生成所述关键词对应的形容词、所述形容词对应的副词，以及所述关键词、所述形容词和所述副词的排列顺序；基于所述关键词、所述形容词、所述副词以及所述排列顺序，生成所述图像对应的描述语句。2.如权利要求1所述的图像描述方法，其特征在于，所述生成所述实体对应的关键词，包括：识别所述实体的实体种类，并读取所述实体种类对应的预设属性标签；对所述图像进行所述预设属性标签的属性值解析，并生成得到的属性值对应的属性文字；基于所述实体的实体名称以及所述属性文字，生成所述实体对应的关键词。3.如权利要求1所述的图像描述方法，其特征在于，所述识别所述图像对应的情感类别以及情感等级，包括：提取出所述图像中包含的人脸图像，并对所述人脸图像进行情感识别，得到所述情感类别以及所述情感等级。4.如权利要求1所述的图像描述方法，其特征在于，在所述识别图像中包含的实体之前，还包括：获取预设训练数据集，所述预设训练数据集中包含多张样本图像、与所述样本图像一一对应的情感种类标识、情感等级标识及样本描述语句；对所述样本描述语句进行关键词提取，得到包含的样本关键词以及所述样本关键词的排列顺序；基于所述情感种类标识、所述情感等级标识、所述样本关键词以及所述样本关键词的排列顺序，创建与所述样本图像一一对应的样本向量数据；基于得到的多条所述样本向量数据对所述预设分析模型进行训练，直至所述预设分析模型生成的对所述样本图像的描述语句与所述样本描述语句的相似度高于预设阈值，得到所述预设分析模型的模型参数。5.如权利要求1所述的图像描述方法，其特征在于，所述基于所述关键词、所述形容词、所述副词以及所述排列顺序，生成所述图像对应的描述语句，包括：基于所述排列顺序对所述关键词、所述形容词以及所述副词进行排序组合，得到基础语句；对所述基础语句进行语义分析纠错，得到所述描述语句。6.一种终端设备，其特征在于，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器...

【专利技术属性】
技术研发人员：吴壮伟，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44