新媒体内容的搜索方法、装置和计算机设备制造方法及图纸

本申请提出一种新媒体内容的搜索方法、装置和计算机设备，上述新媒体内容的搜索方法包括：获取用户输入的检索词，所述检索词包括图片；对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值；对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度；按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容。本申请可以实现在搜索引擎中直观快捷地搜索到新媒体内容，充分发掘新媒体内容的展现价值，提升用户的搜索体验。

【技术实现步骤摘要】
新媒体内容的搜索方法、装置和计算机设备
本申请涉及搜索
，尤其涉及一种新媒体内容的搜索方法、装置和计算机设备。
技术介绍
随着计算技术的发展，全景(panorama)图片、全景视频、三维(ThreeDimension；以下简称：3D)模型、三维动画及其在虚拟现实(VirtualReality；以下简称：VR)和增强现实(AugmentedReality；以下简称：AR)场景下的展示与用户交互代表了下一代信息展现的形态和趋势，已受到越来越多的关注。同时，摄影技术(如鱼眼镜头、全景相机、深度摄像头等)、建模技术(如3D扫描工具、动作追踪等)、以及编程工具的高速发展，使此类内容的生产越来越容易，在互联网上，此类内容也将越来越多地出现。主流的网页浏览器现已支持对此类内容的展示和交互。下文将全景、3D、VR和/或AR这类内容统称为“新媒体内容”，与传统内容(文本、二维图片、视频和/或音频)相比，新媒体内容具有连贯性、多线性、多角度、临场感、大空间、高交互、信息即时性和线上联动线下等优点。这些新媒体内容具有更加丰富的视觉信息、能提供更具沉浸感、真实性和趣味性的视觉体验，尤其适合支持复杂环境、虚拟户外、沉浸探索、操作指导等场景下的信息展示和用户交互，在人工智能时代下，可以提供用户搜索需求的更高满足感。传统的互联网搜索技术主要利用文本信息对海量网页内容进行索引，典型地，利用词频-逆向文件频率(TermFrequency–InverseDocumentFrequency；以下简称：TF-IDF)以及词向量(word2vec)技术等在网页库中建立文字索引并搜索内容匹配用户文本查询(query)的网页。随着图片、视频内容的大量出现以及深度神经网络技术的发展，图片搜索——以用户上传或拍摄的图片作为检索词、在图片库中搜索相同图片或含有相似内容的图片——也得到快速发展，已成为当代搜索引擎的标配能力之一。此外，语音搜索和音乐搜索也得到长足发展。语音搜索可归结为语音识别加文本搜索，音乐搜索则针对音乐旋律进行声学上的匹配搜索。然而，针对上文提到的新媒体内容，由于其形态超越了文本、普通二维图片、视频和/或音乐的表达空间，当前的搜索引擎技术缺乏行之有效的搜索技术，使用户无法直观快捷地搜索到相关内容。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的第一个目的在于提出一种新媒体内容的搜索方法，以实现在搜索引擎中直观快捷地搜索到新媒体内容，充分发掘新媒体内容的展现价值，提升用户的搜索体验。本申请的第二个目的在于提出一种新媒体内容的搜索装置。本申请的第三个目的在于提出一种计算机设备。本申请的第四个目的在于提出一种非临时性计算机可读存储介质。为达上述目的，本申请第一方面实施例提出了一种新媒体内容的搜索方法，包括：获取用户输入的检索词，所述检索词包括图片；对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值；对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度；按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容。本申请实施例的新媒体内容的搜索方法中，获取用户输入的检索词之后，对上述检索词中的图片进行语义分析和内容识别，获得上述图片的视觉特征信息，然后根据上述图片的视觉特征信息，获得特征向量编码，作为从上述用户输入的检索词中提取的检索键值，对上述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度，最后按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容，从而可以实现在搜索引擎中直观快捷地搜索到新媒体内容，充分发掘新媒体内容的展现价值，提升用户的搜索体验。为达上述目的，本申请第二方面实施例提出了一种新媒体内容的搜索装置，包括：获取模块，用于获取用户输入的检索词，所述检索词包括图片；图片识别模块，用于对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；键值获得模块，用于根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值；匹配模块，用于对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度；选择模块，用于按照匹配度由高到低的顺序选择预定数量的新媒体内容；呈现模块，用于通过浏览器呈现所述选择模块选择的新媒体内容。本申请实施例的新媒体内容的搜索装置中，获取模块获取用户输入的检索词之后，图片识别模块对上述检索词中的图片进行语义分析和内容识别，获得上述图片的视觉特征信息，然后键值获得模块根据上述图片的视觉特征信息，获得特征向量编码，作为从上述用户输入的检索词中提取的检索键值，匹配模块对上述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度，最后选择模块按照匹配度由高到低的顺序选择预定数量的新媒体内容，呈现模块通过浏览器呈现选择的新媒体内容，从而可以实现在搜索引擎中直观快捷地搜索到新媒体内容，充分发掘新媒体内容的展现价值，提升用户的搜索体验。为达上述目的，本申请第三方面实施例提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的方法。为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本申请新媒体内容的搜索方法一个实施例的流程图；图2为本申请新媒体内容的搜索方法一个实施例的示意图；图3为本申请新媒体内容的搜索方法另一个实施例的流程图；图4为本申请新媒体内容的搜索方法再一个实施例的流程图；图5为本申请新媒体内容的搜索方法中获得新媒体内容的键值一个实施例的示意图；图6为本申请新媒体内容的搜索方法再一个实施例的流程图；图7为本申请新媒体内容的搜索装置一个实施例的结构示意图；图8为本申请新媒体内容的搜索装置另一个实施例的结构示意图；图9为本申请计算机设备一个实施例的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。图1为本申请新媒体内容的搜索方法一个实施例的流程图，上述新媒体内容的搜索方法的应用场景可以为：用户浏览网页时，看到一张图片(例如：一张霸王龙的手绘艺术画)，此时用户希望查找与霸王龙有关的新媒体内容。通过特定用户交互方式触发搜索命令后，搜索引擎搜索获得与霸王龙有关的新媒体内容，然后由浏览器展示查找到的按相关性排序的新媒体内容列表，用户点选列表中的新媒体内容，浏览器展示对应的新媒体内本文档来自技高网...

【技术保护点】
1.一种新媒体内容的搜索方法，其特征在于，包括：获取用户输入的检索词，所述检索词包括图片；对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值；对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度；按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容。

【技术特征摘要】
1.一种新媒体内容的搜索方法，其特征在于，包括：获取用户输入的检索词，所述检索词包括图片；对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值；对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度；按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容。2.根据权利要求1所述的方法，其特征在于，所述检索词还包括：所述图片的文本上下文；所述对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息之后，还包括：检验所述图片的视觉特征信息中的图片语义与所述文本上下文语义的一致性。3.根据权利要求2所述的方法，其特征在于，所述根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值包括：如果所述图片语义与所述文本上下文语义一致，则将所述图片的视觉特征信息中用于表征图片语义的特征向量与所述文本上下文的特征信息进行融合，获得融合后的特征向量编码，所述文本上下文的特征信息包括所述文本上下文的文本原文和/或所述文本上下文的特征向量；如果所述图片语义与所述文本上下文语义不一致，则根据所述图片的视觉特征信息中用于表征图片语义的特征向量，获得特征向量编码。4.根据权利要求1-3任意一项所述的方法，其特征在于，所述对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度之前，还包括：基于视角采样对新媒体内容资源库中的新媒体内容进行特征键值提取，获得所述新媒体内容的键值。5.根据权利要求4所述的方法，其特征在于，所述基于视角采样对新媒体内容资源库中的新媒体内容进行特征键值提取，获得所述新媒体内容的键值包括：通过改变观察位置、观察角度和/或可视范围，对所述新媒体内容资源库中的新媒体内容进行视角采样，获取至少两张图片，其中，所述至少两张图片中的每张图片均为将所述新媒体内容在可视范围内，按照观察角度在观察位置进行平面投影所得；对于包含动画内容的新媒体内容，则进一步配合帧采样在时间轴上采样生成图片；对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；根据所述图片的视觉特征信息，获得特征向量编码，作为所述新媒体内容的键值。6.根据权利要求1或5所述的方法，其特征在于，所述对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息包括：通过显著性检测算法识别所述图片中主体内容的位置，去除所述图片的背景，保留前景；通过物体检测和分类算法定位所述图片中存在的物体，并识别所述图片中各物体的类别，获得所述图片中各物体在所述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、以及所述图片中各物体的类别标签。通过通用图像识别算法对所述图片的整体和/或局部进行特征提取，获得所述图片的视觉特征向量；对所述图片中各物体在所述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、所述图片中各物体的类别标签和所述图片的视觉特征向量进行组合，获得所述图片的视觉特征信息。7.一种新媒体内容的搜索装置，其特征在于，包括：获取模块，用于获取用户输入的检索词，所述检索词包括图片；图片识别模块，用于对所述图片进行语义分析和内容识别，获得...

【专利技术属性】
技术研发人员：董维山，王宇亮，陈曼仪，王群，张峥，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11