一种搜索内容资源的方法、装置及服务器制造方法及图纸

本发明专利技术提出一种搜索内容资源的方法、装置和服务器。所述方法包括：获取查询图片的文本特征和视觉特征；比较所述查询图片的文本特征与各内容资源的文本特征的文本相似度；比较所述查询图片的视觉特征与各内容资源的视觉特征的视觉相似度；根据所述查询图片与各内容资源的文本相似度和视觉相似度，从各内容资源中确定出内容搜索结果。本发明专利技术实施例查询的技术方案在搜索内容的过程中结合了文本的相似度和视觉相似度，这样可以准确地搜索到所需的内容资源。

Method, device and server for searching content resources

The invention provides a method, device and server for searching content resources. The method includes: obtaining the text features and visual features of the query picture; comparing the text similarity between the text features of the query picture and the text features of the content resources; comparing the visual features of the query picture with the visual similarity of the visual features of the content resources; and comparing the visual similarity between the query picture and the content information according to the query picture. The text similarity and visual similarity of the source are used to identify the content search results from each content resource. The technical scheme of inquiry according to the embodiment of the invention combines text similarity and visual similarity in the process of searching content, so that the required content resources can be accurately searched.

【技术实现步骤摘要】
一种搜索内容资源的方法、装置及服务器
本专利技术涉及计算机网络
，尤其涉及一种搜索内容资源的方法、装置及服务器。
技术介绍
随着计算机技术的发展，出现了许多新的内容资源，例如全景(panorama)图片、全景视频、三维(3D)模型、三维动画及其在虚拟现实(virtualreality，VR)及增强现实(augmentedreality，AR)场景下的展示等。同时，摄影技术(如鱼眼镜头)、建模技术和编程工具也在不断发展，这就使得产生上述内容资源越来越容易。在互联网上，这种新的内容资源也越来越多的出现。与传统的文本、二维图片、普通视频和音频等)相比，这些内容资源具有连贯性、多线性、多角度、临场感、大空间、高交互、信息即时性、线上联动线下等优点。传统的互联网搜索技术主要利用文本信息对海量网页内容进行索引。典型地，利用词频TF-IDF(termfrequency–inversedocumentfrequency，词频-逆向文件频率)以及词向量(word2vec)技术等，在网页库中建立文字索引，并搜索内容匹配用户文本查询(query)的网页。随着图片、视频内容的大量出现以及深度神经网络技术的发展，还出现了图片搜索、语音搜索和音乐搜索等。然而，针对上文提到的新的内容资源，由于其形态超越了文本、普通二维图片、视频、音乐的表达空间，用户很难方便、快捷地使用当前的搜索引擎技术搜索这些内容资源。
技术实现思路
本专利技术实施例提供一种搜索内容资源的方法、装置及服务器，以解决或缓解
技术介绍
中的一项或多项以上技术问题，至少提供一种有益的选择。第一方面，本专利技术实施例提供了一种搜索内容资源的方法，包括：获取查询图片的文本特征和视觉特征；比较所述查询图片的文本特征与各内容资源的文本特征的文本相似度；比较所述查询图片的视觉特征与各内容资源的视觉特征的视觉相似度；根据所述查询图片与各内容资源的文本相似度和视觉相似度，从各内容资源中确定出内容搜索结果。结合第一方面，本专利技术在第一方面的第一种实施方式中，根据所述查询图片与各内容资源的文本相似度和视觉相似度，从各内容资源中确定出内容搜索结果，包括：根据所述查询图片与各内容资源的文本相似度和视觉相似度，得到所述查询图片与各内容资源的总体相似度；根据所述查询图片与各内容资源的总体相似度，从各内容资源中确定出内容搜索结果。结合第一方面的第一种实施方式，在第一方面的第二种实施方式中，根据所述查询图片与各内容资源的文本相似度和视觉相似度，得到所述查询图片与各内容资源的总体相似度，包括：对所述查询图片与各内容资源的文本相似度和视觉相似度按照设定阈值进行过滤；根据过滤后的所述查询图片与各内容资源的文本相似度和视觉相似度，得到所述查询图片与各内容资源的总体相似度。结合第一方面，本专利技术在第一方面的第三种实施方式中，获取查询图片的文本特征，包括：采用图片分类模型对所述查询图片的图片内容进行识别，从所述查询图片的中提取文本特征；或根据所述查询图片的统一资源定位符，获取对应的网页内容，从所述网页内容中提取所述查询图片的文本特征。结合第一方面，第一方面的第一种实施方式或第一方面的第二种实施方式或第一方面的第三种实施方式，本专利技术在第一方面的第四种实施方式中，比较所述查询图片的文本特征与各内容资源的文本特征的文本相似度，包括：比较所述查询图片与内容资源库中的各所述内容资源的文本标签的文本相似度。结合第一方面、第一方面的第一种实施方式或第一方面的第二种实施方式或第一方面的第三种实施方式，本专利技术在第一方面的第五种实施方式中，还包括：比较所述查询图片的视觉特征与各内容资源的视觉特征的视觉相似度，包括：对内容资源库中的各内容资源进行采样，以获得各内容资源对应的各采样图片；对于每个内容资源，比较该内容资源对应的各采样图片的视觉特征与所述查询图片的视觉特征的视觉相似度；根据该内容资源对应的各采样图片的视觉特征与所述查询图片的视觉特征的视觉相似度，确定该内容资源与所述查询图片的视觉特征的视觉相似度。结合第一方面的第五种实施方式，本专利技术在第一方面的第六种实施方式中，对内容资源库中的各内容资源进行采样，包括：在可视空间内，以预设的观察方式和采样方式，对各内容资源进行视角采样；其中，所述观察方式包括观察位置、角度和可视范围中的至少一项。第二方面，本专利技术实施例提供了一种搜索内容资源的装置，包括：获取模块，配置为获取查询图片的文本特征和视觉特征；第一比较模块，配置为比较所述查询图片的文本特征与各内容资源的文本特征的文本相似度；第二比较模块，配置为比较所述查询图片的视觉特征与各内容资源的视觉特征的视觉相似度；确定模块，配置为根据所述查询图片与各内容资源的文本相似度和视觉相似度，从各内容资源中确定出内容搜索结果。结合第二方面，本专利技术在第二方面的第一种实施方式中，所述确定模块包括：第一计算子模块，配置为根据所述查询图片与各内容资源的文本相似度和视觉相似度，得到所述查询图片与各内容资源的总体相似度；确定子模块，配置为根据所述查询图片与各内容资源的总体相似度，从各内容资源中确定出内容搜索结果。结合第二方面的第二种实施方式，本专利技术在第二方面的第三种实施方式中，所述第一计算子模块还配置为：对所述查询图片与各内容资源的文本相似度和视觉相似度按照设定阈值进行过滤；根据过滤后的所述查询图片与各内容资源的文本相似度和视觉相似度，得到所述查询图片与各内容资源的总体相似度。结合第二方面，本专利技术在第二方面的第三种实施方式中，所述获取模块包括：识别子模块，配置为采用图片分类模型对所述查询图片的图片内容进行识别，从所述查询图片的中提取文本特征；或提取子模块，配置为根据所述查询图片的统一资源定位符，获取对应的网页内容，从所述网页内容中提取所述查询图片的文本特征。结合第二方面、第二方面的第一种实施方式、第二方面的第二种实施方式或第二方面的第三种实施方式，在本专利技术第二方面的第四种实施方式中，所述第一比较模块包括：第一比较子模块，配置为比较所述查询图片与内容资源库中的各所述内容资源的文本标签的文本相似度。结合第二方面、第二方面的第一实施方式、第二方面的第二种实施方式或第二方面的第三种实施方式，在本专利技术第二方面的第五种实施方式中，所述第二比较模块包括：采样子模块，对内容资源库中的各内容资源进行采样，以获得各内容资源对应的各采样图片；第二比较子模块，配置为对于每个内容资源，比较该内容资源对应的各采样图片的视觉特征与所述查询图片的视觉特征的视觉相似度；第二计算子模块，配置为根据该内容资源对应的各采样图片的视觉特征与所述查询图片的视觉特征的视觉相似度，确定该内容资源与所述查询图片的视觉特征的视觉相似度。结合第二方面的第五种实施方式，在本专利技术的第六种实施方式中，所述采样子模块具体配置为：在可视空间内，以预设的观察方式和采样方式，对各内容资源进行视角采样；其中，所述观察方式包括观察位置、角度和可视范围中的至少一项。第三方面，本专利技术实施例提供一种服务器，所述服务器包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权上所述的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，用于存储搜索内容资源的装本文档来自技高网...

【技术保护点】
1.一种搜索内容资源的方法，其特征在于，所述方法包括：获取查询图片的文本特征和视觉特征；比较所述查询图片的文本特征与各内容资源的文本特征的文本相似度；比较所述查询图片的视觉特征与各内容资源的视觉特征的视觉相似度；根据所述查询图片与各内容资源的文本相似度和视觉相似度，从各内容资源中确定出内容搜索结果。

【技术特征摘要】
1.一种搜索内容资源的方法，其特征在于，所述方法包括：获取查询图片的文本特征和视觉特征；比较所述查询图片的文本特征与各内容资源的文本特征的文本相似度；比较所述查询图片的视觉特征与各内容资源的视觉特征的视觉相似度；根据所述查询图片与各内容资源的文本相似度和视觉相似度，从各内容资源中确定出内容搜索结果。2.根据权利要求1所述的方法，其特征在于，根据所述查询图片与各内容资源的文本相似度和视觉相似度，从各内容资源中确定出内容搜索结果，包括：根据所述查询图片与各内容资源的文本相似度和视觉相似度，得到所述查询图片与各内容资源的总体相似度；根据所述查询图片与各内容资源的总体相似度，从各内容资源中确定出内容搜索结果。3.根据权利要求2所述的方法，其特征在于，根据所述查询图片与各内容资源的文本相似度和视觉相似度，得到所述查询图片与各内容资源的总体相似度，包括：对所述查询图片与各内容资源的文本相似度和视觉相似度按照设定阈值进行过滤；根据过滤后的所述查询图片与各内容资源的文本相似度和视觉相似度，得到所述查询图片与各内容资源的总体相似度。4.根据权利要求1所述的方法，其特征在于，获取查询图片的文本特征，包括：采用图片分类模型对所述查询图片的图片内容进行识别，从所述查询图片的中提取文本特征；或根据所述查询图片的统一资源定位符，获取对应的网页内容，从所述网页内容中提取所述查询图片的文本特征。5.根据权利要求1至4中任一项所述的方法，其特征在于，比较所述查询图片的文本特征与各内容资源的文本特征的文本相似度，包括：比较所述查询图片与内容资源库中的各所述内容资源的文本标签的文本相似度。6.根据权利要求1至4中任一项所述的方法，其特征在于，比较所述查询图片的视觉特征与各内容资源的视觉特征的视觉相似度，包括：对内容资源库中的各内容资源进行采样，以获得各内容资源对应的各采样图片；对于每个内容资源，比较该内容资源对应的各采样图片的视觉特征与所述查询图片的视觉特征的视觉相似度；根据该内容资源对应的各采样图片的视觉特征与所述查询图片的视觉特征的视觉相似度，确定该内容资源与所述查询图片的视觉特征的视觉相似度。7.根据权利要求6所述的方法，其特征在于，对内容资源库中的各内容资源进行采样，包括：在可视空间内，以预设的观察方式和采样方式，对各内容资源进行视角采样；其中，所述观察方式包括观察位置、角度和可视范围中的至少一项。8.一种搜索内容资源的装置，其特征在于，所述装置包括：获取模块，配置为获取查询图片的文本特征和视觉特征；第一比较模块，配置为比较所述查询图片的文本特征与...

【专利技术属性】
技术研发人员：董维山，王园，毛妤，袁洁，陈曼仪，杨茗名，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11