一种生成文本的方法、装置、设备及客户端制造方法及图纸

本申请实施例公开了一种生成文本的方法、装置、设备及客户端，所述方法包括：接收第一图像，计算所述第一图像的图像特征信息，确定所述第一图像对应的第一类目信息；在所述第一类目中根据所述第一图像的图像特征信息，获取与第一图像对应的第一预设个数候选产品的产品信息；根据所述候选产品的产品信息，计算所述第一图像对应的第一描述特征信息；根据所述第一描述特征信息及预先建立的图像描述特征信息与文本关键词的映射关系，确定与所述第一图像对应的第一文本。本申请实施例可以降低计算机的工作量。

A method, device, device, and client for generating text

The application and implementation of equipment client example discloses a method, device for generating text, and the method comprises: receiving a first image, image feature information to calculate the first image, determine the first image corresponding to the first category of information; in the first category according to the characteristics of the image information of the first image first, access and preset the number of candidate product information corresponding to the first image; according to the candidate product information, calculate the first image corresponding to the first description of the feature information; according to the information of the first description of features and image of pre established mapping feature information and text keywords, determine the first text corresponding with the first image. This application example can reduce the workload of the computer.

【技术实现步骤摘要】
一种生成文本的方法、装置、设备及客户端
本申请涉及计算机数据处理
，特别涉及一种生成文本的方法、装置、设备及客户端。
技术介绍
随着电子商务和移动互联网的发展，越来越多的卖家中客户端来发布自己的商品信息。目前，为了进一步简化卖家发布产品的流程，客户端可以根据卖家上传或者拍摄的商品图片自动生成商品文本标题。现有的生成文本标题的方法通常可以包括：对样本图像提取CNN(卷积神经网络)特征信息，从样本图像对应的标题信息中提取文本关键词；对所述样本图像的CNN特征和文本关键词，利用RecurrentNeuralNetwork(RNN，循环神经网络)或Long-ShortTermMemory(LSTM，长短期记忆模型)进行训练学习，得到图像特征信息和文本关键词的映射关系。当接收到输入图像时，可以提取所述输入图像的CNN特征信息，利用学习得到的映射关系，确定与该CNN特征信息对应的文本关键词，将所述得到的文本关键词作为该输入图像对应的文本标题。专利技术人发现现有技术中至少存在如下问题：现有的生成文本标题方法中的CNN特征通常用于刻画产品的图像特征，但是产品一般存在有很多类别数目，对于图像特征比较类似的产品无法区分其类目，所以所述的CNN特征信息难以准确地区分多种类目下不同类目产品的图像特征。因此，利用现有技术生产文本标题时，需要对每个类目分别建立图像特征信息与文本关键词的映射关系，因此，现有的生成文本的方法的类目可扩展性差，计算机工作量较大。
技术实现思路
本申请实施例的目的是提供一种生成文本的方法、装置、设备及客户端，以提高类目的扩展性，并降低计算机的工作量。为解决上述技术问题，本申请实施例提供一种生成文本的方法、装置、设备及客户端是这样实现的：一种生成文本的方法，包括：接收第一图像，计算所述第一图像的图像特征信息，确定所述第一图像对应的第一类目信息；在所述第一类目中根据所述第一图像的图像特征信息，获取与第一图像对应的第一预设个数候选产品的文本信息；根据所述第一预设个数候选产品的文本信息，计算所述第一图像对应的第一描述特征信息；根据所述第一描述特征信息及预先建立的图像描述特征信息与文本关键词的映射关系，确定与所述第一图像的第一描述特征信息对应的第一文本。一种生成文本的装置，包括：图像特征信息及类目信息确定模块，用于接收第一图像，计算所述第一图像的图像特征信息，确定所述第一图像对应的第一类目信息；候选产品信息获取模块，用于在所述第一类目中根据所述第一图像的图像特征信息，获取与第一图像对应的第一预设个数候选产品的文本信息；第一描述特征信息计算模块，用于根据所述第一预设个数候候选产品的文本信息，计算所述第一图像对应的第一描述特征信息；第一文本确定模块，用于根据所述第一描述特征信息及预先建立的图像描述特征信息与文本关键词的映射关系，确定与所述第一图像的第一描述特征信息对应的第一文本。一种生成文本的设备，包括：通信模块、处理器和存储器；所述通信模块用于进行网络数据通信；所述存储器用于存储数据；所述处理器通过所述通信模块接收第一图像，计算所述第一图像的图像特征信息，确定所述第一图像对应的第一类目信息；在所述第一类目中根据所述第一图像的图像特征信息，获取与第一图像对应的第一预设个数候选产品的文本信息；根据所述第一预设个数候候选产品的文本信息，计算所述第一图像对应的第一描述特征信息；所述处理器从所述存储器读取图像描述特征信息与文本关键词的映射关系；根据所述第一描述特征信息及所述图像描述特征信息与文本关键词的映射关系，确定与所述第一图像的第一描述特征信息对应的第一文本。一种设备，包括：通信模块、处理器和存储器；所述通信模块用于进行网络数据通信；所述存储器用于存储数据；所述处理器通过所述通信模块获取样本图像，计算所述样本图像的图像特征信息，确定所述样本图像对应的类目信息；在所述样本图像对应的类目中根据所述样本图像的图像特征信息，确定与所述样本图像对应的第三预设个数候选产品；所述处理器通过所述通信模块获取所述第三预设个数候选产品的标题信息，对所述第三预设个数候选产品的标题信息进行第一预处理，确定与所述样本图像对应的文本关键词；根据所述样本图像对应的文本关键词，计算所述样本图像的描述特征信息，并建立所述描述特征信息与所述文本关键词的映射关系；所述处理器控制所述存储器存储所述建立的描述特征信息与所述文本关键词的映射关系。一种客户端，包括：输入设备、处理器、显示器和通信模块；所述输入设备用于数据输入；所述通信模块进行网络数据通信；所述显示器用于数据显示；所述处理器通过所述输入设备接收第一图像；所述处理器控制所述通信模块将所述第一图像发送给用于生成文本的设备；通过所述通信设备接收第一文本；其中，所述第一文本根据所述第一图像的第一描述特征信息以及所述图像描述特征信息与文本关键词的映射关系确定；所述处理器控制所述显示器显示所述第一文本。由以上本申请实施例提供的技术方案可见，本申请实施例公开的生成文本的方法、装置、设备及客户端，通过在图片对应的类目中搜索与图片最相近一定数量的产品，再根据这些产品的标题信息来计算描述特征信息，计算得到的描述特征中可以隐含类目信息。而预先建立的图像描述特征信息与文本关键词的映射关系中的图像描述特征信息中也隐含了类目信息，因此，本申请实施例公开的生成文本的方法、装置、设备及客户端中，计算的图像描述特征信息可以包含类目信息，对于多种类目的产品，只需要建议一个图像描述特征信息与文本关键词的映射关系，本申请实施例公开的生成文本的方法类目扩展性强，可以降低计算机的工作量。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请生成文本的方法一个实施例的流程图；图2是本申请方法实施例中计算按序排列的多个第一文本关键词的示意图；图3是本申请方法实施例中建立图像描述特征信息与文本关键词的映射关系的流程图；图4是本申请方法实施例中修正目标关系向量的示意图；图5是本申请生成文本的装置一个实施例的模块图；图6是本申请装置实施例中第一文本标题模块的组成示意图；图7是本申请生成文本的设备一个实施例的示意图；图8是本申请客户端一个实施例的示意图。具体实施方式本申请实施例提供一种生成文本的方法、装置、设备及客户端。为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。图1是本申请生成文本的方法一个实施例的流程图。如图1所示，所述生成文本的方法可以包括：S101：接收第一图像，计算所述第一图像的图像特征信息，确定所述第一图像对应的第一类目信息。可以接收需要生成文本的第一图像。所述图像可以是用户利用客户端上传的，例如，所述图像可以是用户利用计算机、平板设备、手本文档来自技高网...

【技术保护点】
一种生成文本的方法，其特征在于，包括：接收第一图像，计算所述第一图像的图像特征信息，确定所述第一图像对应的第一类目信息；在所述第一类目中根据所述第一图像的图像特征信息，获取与第一图像对应的第一预设个数候选产品的文本信息；根据所述第一预设个数候选产品的文本信息，计算所述第一图像对应的第一描述特征信息；根据所述第一描述特征信息及预先建立的图像描述特征信息与文本关键词的映射关系，确定与所述第一图像的第一描述特征信息对应的第一文本。

【技术特征摘要】
1.一种生成文本的方法，其特征在于，包括：接收第一图像，计算所述第一图像的图像特征信息，确定所述第一图像对应的第一类目信息；在所述第一类目中根据所述第一图像的图像特征信息，获取与第一图像对应的第一预设个数候选产品的文本信息；根据所述第一预设个数候选产品的文本信息，计算所述第一图像对应的第一描述特征信息；根据所述第一描述特征信息及预先建立的图像描述特征信息与文本关键词的映射关系，确定与所述第一图像的第一描述特征信息对应的第一文本。2.根据权利要求1所述的方法，其特征在于，所述产品的文本信息包括产品的标题信息。3.根据权利要求2所述的方法，其特征在于，所述根据第一预设个数候选产品的产品信息计算所述第一图像对应的第一描述特征信息，包括：确定与所述第一预设个数候选产品的文本信息对应的文本关键词，计算所述文本关键词的第一特征向量，将所述第一特征向量作为第一描述特征信息。4.根据权利要求3所述的方法，其特征在于，所述文本关键词的第一特征向量包括：文本关键词的检索词频率-逆向文件频率特征向量。5.根据权利要求1所述的方法，其特征在于，所述根据第一描述特征信息及预先建立的图像描述特征信息与文本关键词的映射关系，确定与所述第一图像的第一描述特征信息对应的第一文本，包括：根据所述第一描述特征信息及预先建立的图像描述特征信息与文本关键词的映射关系，确定与第一描述特征信息对应的多个第一文本关键词，根据所述多个第一文本关键词，生成与所述第一图像对应的第一文本。6.根据权利要求1所述的方法，其特征在于，所述预先建立的图像描述特征信息与文本关键词的映射关系包括：所述图像描述特征信息与预设数据进行第一运算后得到按序排列的所述文本关键词。7.根据权利要求6所述的方法，其特征在于，所述第一运算包括：卷积运算。8.根据权利要求6所述的方法，其特征在于，所述预设数据包括：目标关系向量。9.根据权利要求6所述的方法，其特征在于，所述根据多个第一文本关键词生成与所述第一图像对应的第一文本，包括：将所述按序排列的多个第一文本关键词组成与所述第一图像对应的第一文本。10.根据权利要求6所述的方法，其特征在于，所述第一描述特征信息与所述预设数据进行第一运算，得到与第一图像对应的按序排列的多个第一文本关键词，包括：当j为正整数且小于第二预设个数时，将第一描述特征信息和得到的第j个第一文本关键词作为输入数据，所述输入数据和所述预设数据进行第一运算，得到第j+1个第一文本关键词；或者，设置一预设初始关键词；当j等于0时，将所述预设初始关键词和第一描述特征信息作为输入数据，将该输入数据和所述预设数据进行第一运算得到第一个第一文本关键词；或者，设置一预设结果关键词，当j等于第二预设个数时，设定得到的第j+1个第一文本关键词为预设结束关键词。11.根据权利要求6所述的方法，其特征在于，所述图像描述特征信息与文本关键词的映射关系采用下述方法预先建立：获取样本图像，计算所述样本图像的图像特征信息，确定所述样本图像对应的类目信息；在所述样本图像对应的类目中根据所述样本图像的图像特征信息，确定与所述样本图像对应的第三预设个数候选产品；获取所述第三预设个数候选产品的标题信息，对所述第三预设个数候选产品的标题信息进行第一预处理，确定与所述样本图像对应的文本关键词；根据所述样本图像对应的文本关键词，计算所述样本图像的描述特征信息，并建立所述描述特征信息与所述文本关键词的映射关系。12.根据权利要求11所述的方法，其特征在于，所述对第三预设个数候选产品的标题信息进行第一预处理包括：对所述第三预设个数的候选产品的标题信息进行分词处理，得到多个分词词语；确定每个分词词语的词性；根据词性对所述分词词语进行第一筛选操作；计算所述第一筛选操作得到的分词词语的分词特征值，根据所述分词特征值对所述第一筛选后的分词词语进行第二筛选操作，得到与所述样本图像对应的文本关键词。13.根据权利要求12所述的方法，其特征在于，所述第一筛选操作包括：删除所述词语中词性不是视觉类别的词语。14.根据权利要求12所述的方法，其特征在于，所述分词词语的分词特征值包括：分词词语的检索词频率-逆向文件频率特征值。15.根据权利要求14所述的方法，其特征在于，所述根据分词特征值对所述第一筛选后的分词词语进行第二筛选操作，包括：按照所述分词词语的检索词频率-逆向文件频率特征值从大到小的顺序对所述分词词语进行排序，选取排序得到的前k个分词词语；所述k的取值小于或等于第一筛选后分词词语的总个数。16.根据权利要求11所述的方法，其特征在于，所述根据所述样本图像对应的文本关键词，计算所述样本图像的描述特征信息，并建立所述描述特征信息与所述文本关键词的映射关系，包括：计算所述样本图像对应的文本关键词的描述特征信息；对所述文本关键词按照预设顺序进行排列；设定目标关系向量...

【专利技术属性】
技术研发人员：赵小伟，孙佰贵，华先胜，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY