对包括文字内容和图像内容的图片识别制造技术

本发明专利技术的目的是提供一种图片识别方法、装置以及计算机设备、计算机可读存储介质与计算机程序产品。图片识别装置定位图片中的文字区域和图像区域；对所述文字区域中的文字内容提取相应的词向量；对所述图像区域提取图像特征向量；将所述词向量与所述图像特征向量进行整合，以确定所述图片的语义。与现有技术相比，本发明专利技术提供了一种由计算机设备自动对图片进行识别的方案，从而对包括文字内容和图像内容的图片在发布前进行内容识别和审核。

Picture recognition including text content and image content

The aim of the present invention is to provide a picture recognition method, a device and a computer device, a computer readable storage medium and a computer program product. The text area and the image region of the image recognition device positioning in the picture; word vector corresponding to the text content of the text in the region of the image extraction; feature vector is extracted from the image region; integrate the word vectors and the image feature vector, to determine the image semantic. Compared with the existing technology, the present invention provides a scheme for automatically identifying pictures by computer equipment, so that content recognition and examination of pictures including text content and image content before publication can be carried out.

【技术实现步骤摘要】
对包括文字内容和图像内容的图片识别
本专利技术涉及图片识别
，具体涉及一种对包括文字内容和图像内容的图片进行语义识别的技术。
技术介绍
目前的图片识别技术对于内容比较单一的图片的准确率较高，从而自动审核完成较好。例如，对于内容要么为文字、商标，要么为单一主题的图片，图片审核系统可以直接通过OCR技术来识别图片中的文字或商标，或者通过基于深度学习的图像分类技术对图片中的元素进行识别，以判断其是否符合发布标准。然而，对于同时包括文字内容和图像内容的图片，现有的图片识别技术较难适用，多通过人工审核进行，这使得审核人员的压力较大，且审核周期也较长。
技术实现思路
本专利技术的目的是提供一种图片识别方法、装置以及计算机设备、计算机可读存储介质与计算机程序产品。根据本专利技术的一个方面，提供了一种图片识别方法，其中，该方法包括以下步骤：-定位图片中的文字区域和图像区域；-对所述文字区域中的文字内容提取相应的词向量；-对所述图像区域提取图像特征向量；-将所述词向量与所述图像特征向量进行整合，以确定所述图片的语义。根据本专利技术的一个方面，还提供了一种图片识别装置，其中，该装置包括：用于定位图片中的文字区域和图像区域的装置；用于对所述文字区域中的文字内容提取相应的词向量的装置；用于对所述图像区域提取图像特征向量的装置；用于将所述词向量与所述图像特征向量进行整合，以确定所述图片的语义的装置。根据本专利技术的一个方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现根据本专利技术的一个方面的一种图片识别方法。根据本专利技术的一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现根据本专利技术的一个方面的一种图片识别方法。根据本专利技术的一个方面，还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时实现根据本专利技术的一个方面的一种图片识别方法。与现有技术相比，本专利技术提供了一种由计算机设备自动对图片进行识别的方案，从而对包括文字内容和图像内容的图片在发布前进行内容识别和审核。具体地，本专利技术通过对包括文字内容和图像内容的图片进行更细粒度的分割，准确定位其中的文字区域和图像区域，进而对各区域所提取的词向量和图像特征向量进行整合，以识别图片的语义。在识别出图片的语义之后，本专利技术还可以进一步判断其是否符合发布标准，以进行发布审核，例如判断待发布的图片是否具有低俗内容，当具有低俗内容时，则不符合发布标准，属于高风险图片。本专利技术可以有效应用于广告的发布审核。对于包括文字内容和图像内容的广告图片，本专利技术的图片识别系统可以对其进行识别和发布风险识别，以加快广告图片的发布速度，同时保证高风险图片被识别和过滤而不会被不当发布，这也提升了广告发布用户和网络用户的体验。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1示出适于用来实现本专利技术实施方式的示例性计算机系统/服务器12的框图；图2示出根据本专利技术一个实施例的一种对包括文字内容和图像内容的图片进行识别的方法流程图；图3示出根据本专利技术一个示例的包括文字内容和图像内容的图片的示意图；图4示出根据本专利技术一个实施例的一种对包括文字内容和图像内容的图片进行识别的装置的示意图。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的程序指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人计算机(PC)、笔记本电脑、平板电脑、智能手机等。所述计算机设备例如包括用户设备与网络设备。其中，所述用户设备包括但不限于个人计算机(PC)、笔记本电脑、移动终端等，所述移动终端包括但不限于智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本专利技术，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本专利技术。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本专利技术，也应包含在本专利技术保护范围以内，并以引用方式包含于此。本文后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本专利技术的示例性实施例的目的。但是本专利技术可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。下面结合附图对本专利技术作进一步详细描述。图1示出了适于用来实现本专利技术实施方式的示例性计算机系统/服务器12的框图。图1显示的计算机系统/服务器12仅仅是一个示例，不应对本专利技术实施例的功能和使用范围带来任何限制。如图1所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的本文档来自技高网...

【技术保护点】
一种图片审核方法，其中，该方法包括以下步骤：‑定位图片中的文字区域和图像区域；‑对所述文字区域中的文字内容提取相应的词向量；‑对所述图像区域提取图像特征向量；‑将所述词向量与所述图像特征向量进行整合，以确定所述图片的语义。

【技术特征摘要】
1.一种图片审核方法，其中，该方法包括以下步骤：-定位图片中的文字区域和图像区域；-对所述文字区域中的文字内容提取相应的词向量；-对所述图像区域提取图像特征向量；-将所述词向量与所述图像特征向量进行整合，以确定所述图片的语义。2.根据权利要求1所述的方法，其中，所述定位步骤具体包括：-通过目标检测模型识别图片中的文字区域和图像区域。3.根据权利要求2所述的方法，其中，所述目标检测模型通过以下步骤训练获得：-收集经标注有文字区域和图像区域的图片；-将所述经标注的图片输入待训练的目标检测模型，以进行模型训练，从而获得训练好的所述目标检测模型。4.根据权利要求1至3中任一项所述的方法，其中，所述词向量的提取步骤具体包括：-对所述文字区域进行字符识别，以获得所识别的字符；-从所识别的字符中提取所述词向量。5.根据权利要求1至4中任一项所述的方法，其中，所述图像特征向量的提取步骤具体包括：-通过图像分类模型对所述图像区域提取所述图像特征向量。6.根据权利要求1至5中任一项所...

【专利技术属性】
技术研发人员：邓玥琳，高光明，刘辉，丁飞，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11