目标搜索方法、装置、电子设备和计算机可读存储介质制造方法及图纸

根据本公开的示例实施例，提供了一种目标搜索方法、装置、电子设备和计算机可读存储介质，可以用于视觉搜索领域中。目标搜索方法包括：确定视频流中的搜索目标；基于视频流，确定搜索目标在三维坐标系中的三维坐标集合；确定与搜索目标相关联的搜索结果；以及基于三维坐标集合，在视频流中与搜索目标相关联地显示搜索结果。利用上述方法，可以实现搜索结果紧贴搜索目标表面、搜索结果呈现“近大远小”的效果。此外，搜索结果可以拥有固定的物理方向朝向，从而使得当视频采集设备移动时，搜索结果的物理朝向不随着视频采集设备的移动而发生改变。同时，可以通过移动来查看被遮挡的其它搜索结果。搜索结果。搜索结果。

【技术实现步骤摘要】
目标搜索方法、装置、电子设备和计算机可读存储介质


[0001]本公开涉及计算机技术，并且更具体地，涉及目标搜索方法、装置、电子设备和计算机可读存储介质，可以应用于视觉搜索领域中。

技术介绍

[0002]视觉搜索是一种以图像、视频等视觉内容作为搜索输入源，利用视觉识别相关技术，将输入的视觉内容识别检索，并返回相关图像、文字等多种形态结果的技术。随着视觉识别技术的不断发展，越来越多的用户在移动终端上通过视觉搜索技术，来满足感知周边物体的搜索需求。目前市场上的以帮助用户感知周边世界的视觉搜索产品中，大多数以云端单帧图像搜索为主，这类视觉搜索形态包括以下几个关键环节：用户手动点击拍照，软件将图像上传云端，云端将结果返回告知用户。如果搜索结果不满足用户需求，用户还需再次重新操作，此类搜索产品存在用户操作次数多、连续搜索效率低等问题。目前市场上也提供实时视觉搜索的装置和方法，该装置将图像搜索升级为视频搜索，可以支持对实时视频流中的多个目标进行连续搜索识别。

技术实现思路

[0003]根据本公开的实施例，提供了一种目标搜索方法、装置、电子设备和计算机可读存储介质。
[0004]在本公开的第一方面中，提供了一种目标搜索方法，包括确定视频流中的搜索目标；基于视频流，确定搜索目标在三维坐标系中的三维坐标集合；确定与搜索目标相关联的搜索结果；以及基于三维坐标集合，在视频流中与搜索目标相关联地显示搜索结果。
[0005]在本公开的第二方面中，提供了一种目标搜索装置，包括：搜索目标确定模块，被配置为确定视频流中的搜索目标；三维坐标集合确定模块，被配置为基于视频流，确定搜索目标在三维坐标系中的三维坐标集合；搜索结果确定模块，被配置为确定与搜索目标相关联的搜索结果；以及显示模块，被配置为基于三维坐标集合，在视频流中与搜索目标相关联地显示搜索结果。
[0006]在本公开的第三方面中，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现根据本公开的第一方面的方法。
[0007]在本公开的第四方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机实现根据本公开的第一方面的方法。
[0008]利用根据本申请的技术，可以实现搜索结果紧贴搜索目标表面、搜索结果呈现“近大远小”的效果，并且搜索结果可以拥有固定的物理方向朝向，从而使得当视频采集设备移动时，搜索结果的物理朝向不随着视频采集设备的移动而发生改变。此外，本公开实施例的技术方案可以支持通过移动视频采集设备来查看被搜索目标或者搜索结果遮挡的其它搜索结果。因此，本公开实施例的技术方案可以提升用户对搜索目标的实时交互效率，从而可
以提高用户体验。
[0009]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
[0010]通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中在本公开示例性实施例中，相同的参考标号通常代表相同部件。应当理解，附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1示出了可以在其中实现本公开的某些实施例中的目标搜索方法的目标搜索环境100的示意性框图；
[0012]图2示出了根据本公开实施例的目标搜索方法200的流程图；
[0013]图3示出了根据本公开实施例的视频流显示示例300的示意性框图；
[0014]图4示出了根据本公开实施例的视频流显示示例400的示意性框图；
[0015]图5示出了根据本公开的实施例的目标搜索装置500的示意性框图；以及
[0016]图6示出了根据本公开实施例的电子设备600的示意性框图。
[0017]在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0018]下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0019]在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0020]如以上在
技术介绍
中所描述的，目前市场上可以提供一些云端单帧图像搜索和实时视觉搜索的技术。然而，现有的实时视觉搜索技术仍然存在一些不足，其原因在于，在实时视觉搜索中，有三个环节较为关键：目标检测、目标跟踪以及搜索结果显示。在现有的实时视觉搜索技术中，采用深度学习来实现的对目标的二维检测以及对视觉目标的二维跟踪技术不具备探测目标距离用户相机的距离的功能，因此在搜索显示环节中，仅能将目标结果进行二维化，并且贴合在搜索目标上显示。因此，当搜索结果贴合在屏幕上的搜索目标上时，用户会体验到搜索结果“悬浮”在搜索目标上，其中贴合不够真实和自然。此外，由于贴合时无法知晓搜索目标距离用户的距离，因此当用户拍摄的画面内同时有多个搜索结果时，无法根据搜索目标的远近来对搜索结果进行侧重排序和显示。再者，不同距离的搜索结果拼叠在一起，也会降低了用户在使用视觉搜索时的用户体验。
[0021]为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，本公开
的实施例提出了一种目标搜索方案。这种方案通过将针对搜索目标的搜索混合现实(MR)化，来实现对搜索目标在视频流中的深度的实时感知，从而达到将搜索结果三维化呈现目的。
[0022]混合现实技术是指在虚拟世界、现实世界和用户之间搭起一个交互反馈信息的桥梁，从而增强用户体验的真实感。混合现实技术的关键点在于与现实世界进行交互和信息的及时获取，因此它的实现需要在一个能与现实世界各事物相互交互的环境中。
[0023]本公开的实施例提出的目标搜索方案主要通过从获取采集的视频流中的搜索目标与该视频流的采集位置之间的距离出发来实现，该视频流的采集位置也可以是采集该视频流的视频采集设备的位置。根据本公开的实施例，视频流的采集位置可以是指采集视频流的视频采集设备的位置，该视频采集设备可以例如是移动电话、个人数字助理、相机等设备。视频流中的搜索目标与该视频流的采集位置之间的距离在本公开中也可以被称为搜索目标在视频流中的深度。
[0024]图1示出了可以在其中实现本公开的某些实施例中的目标搜索方法的目标搜索环境100的示意性框图，目标搜索环本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标搜索方法，包括：确定视频流中的搜索目标；基于所述视频流，确定所述搜索目标在三维坐标系中的三维坐标集合；确定与所述搜索目标相关联的搜索结果；以及基于所述三维坐标集合，在所述视频流中与所述搜索目标相关联地显示所述搜索结果。2.根据权利要求1所述的方法，其中确定所述搜索目标在三维坐标系中的三维坐标集合包括：使用同步定位与地图构建系统，确定所述搜索目标的所述三维坐标集合。3.根据权利要求1所述的方法，其中所述搜索目标包括多个搜索目标，所述三维坐标集合包括分别与所述多个搜索目标相关联的多个三维坐标集合，所述搜索结果包括分别与所述多个搜索目标和所述多个三维坐标集合相关联的多个搜索结果，所述方法还包括：基于所述视频流，确定所述视频流的采集位置在所述三维坐标系中的三维坐标；确定所述多个三维坐标集合与所述三维坐标之间的多个距离；按照所述多个距离从小到大的顺序，确定预定数目的三维坐标集合；以及在所述多个搜索结果中，确定与所述预定数目的三维坐标集合相关联的所述预定数目的搜索目标。4.根据权利要求3所述的方法，其中显示所述搜索结果包括：基于所述预定数目的三维坐标集合，在所述视频流中与所述预定数目的搜索目标相关联地显示与所述预定数目的搜索目标相关联的所述预定数目的搜索结果。5.根据权利要求1所述的方法，还包括：将所述搜索结果转换成用户界面组件；并且显示所述搜索结果包括：基于所述三维坐标集合，在所述视频流中与所述搜索目标相关联地显示所述用户界面组件。6.根据权利要求5所述的方法，其中所述用户界面组件包括以下至少一项：图片；文本；视频；以及图文混排卡片。7.根据权利要求1所述的方法，其中所述三维坐标集合与所述搜索目标的尺寸相关联，并且其中显示所述搜索结果包括：基于所述三维坐标集合，在所述视频流中与所述搜索目标的所述尺寸相关联地显示所述搜索结果。8.根据权利要求1所述的方法，其中所述三维坐标集合与所述搜索目标的形状相关联，并且其中显示所述搜索结果包括：基于所述三维坐标集合，在所述视频流中与所述搜索目标的所述形状相关联地显示所述搜索结果。9.根据权利要求1所述的方法，其中所述三维坐标集合与所述搜索目标相对于所述视
频流的所述采集位置的角度相关联，并且其中显示所述搜索结果包括：基于所述三维坐标集合，在所述视频流中与所述搜索目标相对于所述视频流的所述采集位置的所述角度相关联地显示所述搜索结果。10.根据权利要求1所述的方法，还包括：响应于所述搜索目标移出所述视频流的图像显示范围，继续相对于所述视频流而记录所述搜索目标在所述三维坐标系中的所述三维坐标集合。11.一种目标搜索装置，包括：搜索目标确定模块，被配置为确定视频流中的搜索目标；三维坐标集合确定模块，被配置为基于所述视频流，确定所述搜索目标在三维坐标系中的三维坐标集合；搜索结果确定模块，被配置为确定与所述搜索目标相关联的搜索结果；以及显示模块，被配置为基于所述三维坐标集合，在所述视频流中与所述搜索目标相关联地显示所述搜索结果。12.根据权利要求11所述的装置，其中所述三维坐标集合确定模块包括：第一...

【专利技术属性】
技术研发人员：张柳清，李国洪，高菲，余永佳，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：