确定图文对应关系的方法和装置制造方法及图纸

本发明专利技术的实施例提供了一种确定图文对应关系的方法和装置。根据本发明专利技术实施例的确定图文对应关系的方法，包括：获得对于一组图像的评论，其中评论包括多个语句；基于预先建立的关键词库，从每个语句中提取关键词；以及根据评论的一个语句中的关键词，在一组图像中确定与该语句对应的图像。

【技术实现步骤摘要】

本专利技术涉及确定图文对应关系的方法和装置，更具体地，本专利技术涉及对于一组图像的图文对应关系的方法和装置。
技术介绍
近年来，随着社交媒体的发展，互联网上出现了大量的用户生成内容(UserGeneratedContent,UGC)，例如用户发布的微博、微信、图像等。人们在表达他们对的看法时，常常喜欢上传静态图像(例如照片)或动态图像(例如视频)以配合文字评论来说明自己的观点。用户发布的评论通常是包括多个语句的一段话，并且配合包括多幅图像的一组图像。评论中的多个语句通常对应于一组图像中的不同图像。例如，评论中前面的语句可描述排列在后面的图像，或者评论中后面的语句可描述排列在前面的图像。这样图文之间经常会出现顺序不对应的情况。特别是有些网站在上载来自用户的多幅图像时，可能会对多幅图像随机排序，导致用户无法控制所发布的多幅图像的显示顺序。
技术实现思路
本专利技术实施例的目的在于提供一种确定图文对应关系的方法和装置，以解决上述问题。本专利技术的一个实施例提供了一种确定图文对应关系的方法，包括：获得对于一组图像的评论，其中评论包括多个语句；基于预先建立的关键词库，从每个语句中提取关键词；以及根据评论的一个语句中的关键词，在一组图像中确定与该语句对应的图像。本专利技术的另一实施例提供了一种确定图文对应关系的装置，包括：获取单元，被配置为对于一组图像的评论，其中评论包括多个语句；关键词提取单元，被配置为基于预先建立的关键词库，从每个语句中提取关键词；以及确定单元，被配置为根据评论的一个语句中的关键词，在一组图像中确定与该语句对应的图像。通过本专利技术实施例的方案，能够确定包含一段文字中的各个语句与一组图像中每个图像的对应关系。此外，通过从用户对于一组图像的评论中提取关键词，能够利用少量的关键词与图像中的大部分关键特征建立联系，从而简化了确定对应关系所需要进行的操作，并且提高了确定结果的准确性。附图说明图1是描述了根据本专利技术一个实施例的确定图文对应关系的方法的流程图。图2是示出根据本专利技术一个示例，根据关键词和第二关键词确定一组图像中的每个图像和评论中的每个语句之间的对应关系的方法的流程图。图3示出了根据本专利技术一个示例的一组图像。图4是示出了根据本专利技术的一个实施例的确定图文对应关系的装置的示范性结构框图。图5是示出根据本专利技术一个示例，确定单元的示范性结构框图。图6是示出按照本专利技术实施例的检测异常情形的系统的总体硬件框图。具体实施方式为了使本领域技术人员更好地理解本专利技术，将参考附图详细描述本专利技术的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。在根据本专利技术的实施例中，评论是包含多个语句的一段文字。每个图像的标签是不包含在评论中的对于该图像的标注。图1是描述了根据本专利技术一个实施例的确定图文对应关系的方法100的流程图。下面，将参照图1来描述根据本专利技术实施例的确定图文对应关系的方法。如图1所示，在步骤S101中，获得对于一组图像的评论，其中所述评论包括多个语句。评论中的语句可以是用自然语言表述的语句。例如，用户发布在网站上的对某一产品的评论等。根据本专利技术的一个示例，评论可以是对于，某款相机性能、外观等的评论，并且所述一组图像可以是通过该相机拍摄的照片。然后在步骤S102中，基于预先建立的关键词库，从每个语句中提取关键词。根据本专利技术的一个示例，可预先获取已有的评论，并对所获取的已有评论进行分析来获得关键词库中的词语。例如，可通过互联网从社交网站上获取已有评论。此外，还可预先获取已经生成的图像标签，并对所获取的已有标签进行分析来获得关键词库中的词语。具体地，关键词库可包括预先从与对于一组图像的评论不同的其它评论中提取的第一候选词语和从先前对其他图像生成的标签中提取的第二候选词语。此外根据本专利技术的另一示例，第一候选词语和第二候选词语可包括被摄对象、场景、图像元数据、图像特征、多个图像之间的位置关系、和/或评论中出现频率高于预定频率的词等。例如，被摄对象可以是男人、女人、小孩、学生等。场景可以是雪天、晴天、阴天、室内等。图像元数据可以是从在拍摄相应图像时生成的EXIF信息中提取的，可包括拍摄的时间、地点、模式、光圈大小、快门速度、ISO值等。图像特征可以是诸如偏红、偏黄、发紫之类的对于图像特点的描述。多个图像之间的位置关系可以是诸如第一、第二、最后之类的描述图像出现顺序的词。此外，评论中出现频率高于预定频率的词可以是红眼、闭眼、模糊、噪点等和图像中出现问题相关的词。第一候选词语中的一些词语可能与和第二候选词语中的一些词语重复。例如，指示被摄对象的词语，可能既出现在评论中又出现在标签中。可选择地，根据本专利技术的另一示例可对第一候选词语和第二候选词语进行合并处理以便后续操作。例如，在合并处理中可删除第二候选词语中与第一候选词语重复的词语。此外，根据本专利技术的另一示例，在步骤S102中，可对评论进行划分，以获得多个评论片段，然后在每个评论片段中提取关键词。例如，可以按照自然句对评论进行划分，然后在每个自然句中提取关键词。此外，也可以以其它单位对评论进行划分。在步骤S103中，根据评论的一个语句中的关键词，在所述一组图像中确定与该语句对应的图像。例如，可计算一组图像中的每个图像与每个语句的关键词的匹配度，从而确定一组图像中的每个图像和评论中的每个语句之间的对应关系。图2是示出根据本专利技术一个示例，根据关键词和第二关键词确定一组图像中的每个图像和评论中的每个语句之间的对应关系的方法200的流程图。如图2所示，在步骤S201中在多个语句中选择一候选语句。然后在步骤S202中，根据候选语句中的关键词对所述一组图像进行识别，以在所提取的该候选语句的关键词中确定与所述一组图像中的每个图像匹配的关键词作为该图像的标签。图3示出了根据本专利技术一个示例的一组图像。如图3所示，所述一组图像包括关于河流的第一图像310、关于花的第二图像320、和关于狗的第三图像330。假设候选语句中的关键词包括“狗”、“晴天”、“运动”和“土地”。根据步骤S202，可对第一图像310、第二图像320和第三图像330进行图像识别，以确定其中是否包括“狗”、“晴天”、“运动”和“土地”，并且获得第一图像310与关键词“晴天”和“土地”匹配，第二图像320与关键词“狗”、“晴天”、“运动”和“土地”都匹配，以及第三图像330只与关键词“晴天”匹配。根据识别结果，可生成第一图像310的标签“晴天”和“土地”，生成第二图像320的标签“狗”、“晴天”、“运动”和“土地”，并且生成第三图像330的标签“晴天”。此外根据本专利技术的另一示例，在根据关键词确定对应关系前，可将一组图像转换为图像数组。例如当对于图3中所示的一组图像的关键词中包括“第三”时，基于步骤S202根据图像中数组的顺序，可识别数组中各个图像的顺序，并确定第三图像330与关键词“第三”匹配，并且生成第三图像330的标签“第三”。在根据本示例的方法中，根据从评论的语句提取的少量的关键词对图像进行识别，而不需要对图像建立很多用于确定图像内容或特征的分类器或对象/场景识别器。返回图2，在步骤S203中根据图像的标签确定所述本文档来自技高网...

【技术保护点】
一种确定图文对应关系的方法，包括：获得对于一组图像的评论，其中所述评论包括多个语句；基于预先建立的关键词库，从每个语句中提取关键词；以及根据评论的一个语句中的关键词，在所述一组图像中确定与该语句对应的图像。

【技术特征摘要】
1.一种确定图文对应关系的方法，包括：获得对于一组图像的评论，其中所述评论包括多个语句；基于预先建立的关键词库，从每个语句中提取关键词；以及根据评论的一个语句中的关键词，在所述一组图像中确定与该语句对应的图像。2.如权利要求1所述的方法，其中根据评论的一个语句中的关键词，在所述一组图像中确定与该语句对应的图像包括：在多个语句中选择一候选语句；根据候选语句中的关键词对所述一组图像进行识别，以在所提取的该候选语句的关键词中确定与所述一组图像中的每个图像匹配的关键词作为该图像的标签；根据图像的标签确定所述一组图像中与候选语句对应的图像。3.如权利要求2所述的方法，其中所述根据图像的标签确定所述一组图像中与候选语句对应的图像包括：根据每个图像的所有标签，计算该图像与候选语句的匹配度；以及根据所计算的匹配度确定所述一组图像中与候选语句对应的图像。4.如权利要求1的方法，其中所述关键词库包括预先从与对于一组图像的评论不同的其它评论中提取的第一候选词语和从先前对其他图像生成的标签中提取的第二候选词语。5.如权利要求4所述的方法，其中所述第一候选词语和第二候选词语包括：被摄对象、场景、图像元数据、多个图像之间的位置关系、和/或评论中出现频率高于预定频率的词。6...

【专利技术属性】
技术研发人员：郑继川，姜珊珊，李谦，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP