图像视觉标注方法、装置、存储介质及设备制造方法及图纸

本公开提供一种图像视觉标注方法、装置、存储介质及设备，用以解决相关技术中检索图像效率降低的问题。公开的图像视觉标注方法，包括：提取待标注图像的视觉描述向量信息；根据所述视觉描述向量信息得到所述图像对应的视觉标注字段；按照所述视觉标注字段分类呈现所述图像。本公开的方案使得用户能够方便快捷地检索到感兴趣的视觉文件，提高了检索效率。

Image visual annotation method, device, storage medium and equipment

The invention provides an image visual annotation method, device, storage medium and device to solve the problem of low efficiency of retrieval image in related technology. The disclosed image visual annotation method includes: extracting the visual description vector information of the image to be annotated; obtaining the corresponding visual annotation field of the image according to the visual description vector information; presenting the image according to the classification of the visual annotation field. The disclosed scheme enables users to conveniently and quickly retrieve the visual files of interest, and improves the retrieval efficiency.

【技术实现步骤摘要】
图像视觉标注方法、装置、存储介质及设备
本公开涉及计算机
，具体地，涉及一种图像视觉标注方法、装置、存储介质及设备。
技术介绍
目前，移动设备一般采用拍摄时间或位置信息，如GPS(GlobalPositioningSystem，全球定位系统)定位信息来对拍摄得到的视频/图像进行标注。当用户在移动设备中查看视频/图像时，会按照文件标注的时间或地点信息进行分类/或排序。在按照时间对视频/图像进行分类或排序的情况下，用户可选择按不同的时间粒度，例如，日、月或年，对图像/视频进行分类查看；在按照位置对视频/图像进行分类的情况下，用户可选择按照不同地点对图像/视频进行分类查看。但在用户对移动设备的实际使用中，对视频/图像进行浏览时，用户的检索行为往往是以内容驱动为主，例如，用户希望查看包含家里的猫或公园的花朵的视频/图像等。但当前移动设备无法将视频/图像按照内容进行有效聚合分类，在移动设备内视频/图像数量的不断增加的情况下，将会导致用户检索其所关注的内容的效率较低，严重影响用户体验。
技术实现思路
本公开的目的是提供一种图像视觉标注方法、装置、存储介质及设备，用以解决相关技术中检索图像效率降低的问题。根据本公开的第一个方面，提供了一种图像视觉标注方法，包括：提取待标注图像的视觉描述向量信息；根据所述视觉描述向量信息得到所述图像对应的视觉标注字段；按照所述视觉标注字段分类呈现所述图像。可选地，所述根据所述视觉描述向量信息得到所述图像对应的视觉标注字段，包括：将所述视觉描述向量信息发送至服务器端，其中，所述服务器端的数据库中存储有视觉描述向量以及与视觉描述向量对应的视觉标注信息；接收所述服务器端发送的与所述视觉描述向量对应的视觉标注信息；基于所述视觉标注信息生成所述视觉标注字段。可选地，所述方法还包括：在获取到所述图像对应的视觉标注字段之后，将所述标注字段写入所述图像对应的扩展字段。可选地，所述待标注图像包括单帧静态图像和/或多帧视频图像，所述将所述标注字段写入所述图像对应的扩展字段，包括：对于所述单帧静态图像，将所述视觉标注字段写入第一压缩码流的图像头扩展字段，其中，所述第一压缩码流由压缩所述单帧静态图像得到；对于所述多帧视频图像，将第二压缩码流中的视觉对象的索引以及所述视觉标注字段写入视频序列头扩展字段，将编码后的视觉对象的索引写入帧头扩展字段，其中，所述第二压缩码流由压缩所述多帧视频图像得到。可选地，所述按照所述视觉标注字段分类呈现所述图像，包括：按照所述图像的标注字段对所述图像进行分类，得到多个图像分类，并呈现各图像分类对应的视觉标签，其中，所述视觉标签根据图像分类中的图像的标注字段得到。根据本公开的第二个方面，提供一种图像视觉标注装置，包括：提取模块，用于提取待标注图像的视觉描述向量信息；获取模块，用于根据所述视觉描述向量信息得到所述图像对应的视觉标注字段；呈现模块，用于按照所述视觉标注字段分类呈现所述图像。可选地，所述获取模块，包括：发送单元，用于将所述视觉描述向量信息发送至服务器端，其中，所述服务器端的数据库中存储有视觉描述向量以及与视觉描述向量对应的视觉标注信息；接收单元，用于接收所述服务器端发送的与所述视觉描述向量对应的视觉标注信息；生成单元，用于基于所述视觉标注信息生成所述视觉标注字段。可选地，所述装置还包括：写入模块，用于在获取到所述图像对应的视觉标注字段之后，将所述标注字段写入所述图像对应的扩展字段。可选地，所述待标注图像包括单帧静态图像和/或多帧视频图像，所述写入模块包括：第一写入单元，用于对于所述单帧静态图像，将所述视觉标注字段写入第一压缩码流的图像头扩展字段，其中，所述第一压缩码流由压缩所述单帧静态图像得到；第二写入单元，用于对于所述多帧视频图像，将第二压缩码流中的视觉对象的索引以及所述视觉标注字段写入视频序列头扩展字段，将编码后的视觉对象的索引写入帧头扩展字段，其中，所述第二压缩码流由压缩所述多帧视频图像得到。可选地，所述呈现模块用于：按照所述图像的标注字段对所述图像进行分类，得到多个图像分类，并呈现各图像分类对应的视觉标签，其中，所述视觉标签根据图像分类中的图像的标注字段得到。根据本公开的第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一个方面所述的任意一种图像视觉标注方法的步骤。根据本公开的第四个方面，提供了一种电子设备，包括：存储器，其上存储有计算机程序；以及一个或者多个处理器，用于执行所述存储器中的程序，实现本公开第一个方面所述的任意一种图像视觉标注方法。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。本公开实施例的方案，基于图像的视觉描述向量信息对视频或图像文件进行视觉标注，便于用户获知图像中的视觉要点，进而使得用户能够方便快捷地检索到感兴趣的视觉文件，提高了检索效率。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是本公开实施例一的图像视觉标注方法的流程图。图2是本公开实施例三的图像视觉标注装置的框图。图3是本公开实施例四的电子设备的框图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。实施例一本实施例提供了一种图像视觉标注方法，图1是该方法的流程图，如图1所示，该方法包括：步骤101：提取待标注图像的视觉描述向量信息；其中，视觉描述向量信息包括具有独特性的多维度数字向量，该向量是区域图像信息，包括像素梯度幅值以及方向等的一种抽象信息，具有不变性和唯一性。步骤102：根据视觉描述向量信息得到图像对应的视觉标注字段；步骤103：按照视觉标注字段分类呈现图像。在一种可实现方式中，提取待标注图像的视觉描述向量信息的步骤可以借由终端内的视觉信息提取模块进行，示例的，在终端进行图像和/或视频采集时，将采集到的图像和/或视频帧信息送入视觉信息提取模块，例如可以使用DSP(DigitalSignalProcessing，数字信号处理)、GPU(GraphicsProcessingUnit，图形处理器缩写)或专用加速器作为视觉信息提取模块。视觉信息提取模块将按照定义的视觉特征提取算法(如CNN(ConvolutionalNeuralNetworks，卷积神经网络、SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)、ORB(OrientedFASTandRotatedBRIEF)以及MPEGCDVS)生成对应图像和/或视频帧中对象的视觉描述向量信息。在一种可实现方式中，根据视觉描述向量信息得到图像对应的视觉标注字段，包括：将视觉描述向量信息发送至服务器端，其中本文档来自技高网...

【技术保护点】
1.一种图像视觉标注方法，其特征在于，包括：/n提取待标注图像的视觉描述向量信息；/n根据所述视觉描述向量信息得到所述图像对应的视觉标注字段；/n按照所述视觉标注字段分类呈现所述图像。/n

【技术特征摘要】
1.一种图像视觉标注方法，其特征在于，包括：
提取待标注图像的视觉描述向量信息；
根据所述视觉描述向量信息得到所述图像对应的视觉标注字段；
按照所述视觉标注字段分类呈现所述图像。


2.根据权利要求1所述的方法，其特征在于，所述根据所述视觉描述向量信息得到所述图像对应的视觉标注字段，包括：
将所述视觉描述向量信息发送至服务器端，其中，所述服务器端的数据库中存储有视觉描述向量以及与视觉描述向量对应的视觉标注信息；
接收所述服务器端发送的与所述视觉描述向量对应的视觉标注信息；
基于所述视觉标注信息生成所述视觉标注字段。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在获取到所述图像对应的视觉标注字段之后，将所述标注字段写入所述图像对应的扩展字段。


4.根据权利要求3所述的方法，其特征在于，所述待标注图像包括单帧静态图像和/或多帧视频图像，所述将所述标注字段写入所述图像对应的扩展字段，包括：
对于所述单帧静态图像，将所述视觉标注字段写入第一压缩码流的图像头扩展字段，其中，所述第一压缩码流由压缩所述单帧静态图像得到；
对于所述多帧视频图像，将第二压缩码流中的视觉对象的索引以及所述视觉标注字段写入视频序列头扩展字段，将编码后的视觉对象的索引写入帧头扩展字段，其中，所述第二压缩码流由压缩所述多帧视频图像得到。


5.根据权利要求1至4任意一项所述的方法，其特征在于，所述按照所述视觉标注字段分类呈现所述图像，包括：
按照所述图像的标注字段对所述图像进行分类，得到多个图像分类，并呈现各图像分类对应的视觉标签，其中，所述视觉标签根据图像分类中的图像的标注字段得到。


6.一种图像视觉标注装置，其特征在于，包括：
提取模块，用于提取待标注图像的视觉描述向量信息；
获取模块，用于根据所述视觉描述向量信息得到所述图像对应的视觉标注字...

【专利技术属性】
技术研发人员：吉祥虎，叶渊博，
申请(专利权)人：北京松果电子有限公司，
类型：发明
国别省市：北京;11