用于搜索控制的方法、装置、设备和介质制造方法及图纸

本申请公开了搜索控制的方法、装置、设备和介质，涉及视觉搜索领域。一种用于搜索控制的方法包括从由电子设备采集到的视频中获取目标时刻的第一帧和与第一帧邻近的第二帧；确定第一帧与第二帧之间的位移幅度；以及基于位移幅度与第一预定阈值的比较来确定用户对第一帧的搜索意图。由此，可以从视频中准确、快速判断用户对位移程度较低、稳定性较好的帧的搜索意图，降低用户在具有搜索意图时的等待时间，并且可以在用户具有搜索意图时利用更稳定、图像质量更好的帧用于执行视觉搜索，提高搜索结果的质量。

Methods, devices, equipment and media for search control

【技术实现步骤摘要】
用于搜索控制的方法、装置、设备和介质
本公开的实施例主要涉及图像处理领域，并且更具体地，涉及视觉搜索领域。
技术介绍
视觉搜索是一种以图像、视频等视觉内容作为搜索输入，利用视觉识别相关技术，对输入的视觉内容执行检索，并返回相关图像、文字等多种形态的搜索结果的技术。随着视觉识别技术的不断发展，越来越多的用户在移动终端上通过视觉搜索来满足感知周边物体的搜索需求。在用于帮助用户感知周边世界的视觉搜索方案中，主要以静态图像搜索为主，即将静态图像作为搜索输入。这样的搜索妨碍存在用户操作多、连续搜索效率低等问题。目前还提出了视频搜索方案，对实时视频流中的一个或多个目标执行连续搜索，实现了“扫哪识别哪”的连续多次目标搜索识别的能力，解决了以图像搜索为主的视觉搜索产品所面临的问题，提升了搜索效率。然而，由于视频流是动态的，由多个连续帧构成，如何判断执行搜索的时机将影响搜索的总体性能。
技术实现思路
根据本公开的实施例，提供了一种用于搜索控制的方案。在本公开的第一方面中，提供了一种用于搜索控制的方法。该方法包括：从由电子设备采集到的视频中获取目标时刻的第一帧和与第一帧邻近的第二帧；确定第一帧与第二帧之间的位移幅度；以及基于位移幅度与第一预定阈值的比较来确定用户对第一帧的搜索意图。在本公开的第二方面中，提供了一种用于搜索控制的装置。该装置包括帧获取模块，被配置为从由电子设备采集到的视频中获取目标时刻的第一帧和与第一帧邻近的第二帧；位移确定模块，被配置为确定第一帧与第二帧之间的位移幅度；以及意图确定模块，被配置为基于位移幅度与第一预定阈值的比较来确定用户对第一帧的搜索意图。在本公开的第三方面中，提供了一种电子设备。该电子设备包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。在本公开的第四方面中，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。附图说明结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：图1示出了本公开的多个实施例能够在其中实现的用于搜索控制的环境的示意图；图2示出了根据本公开的一些实施例的用于搜索控制的过程的流程图；图3示出了根据本公开的另一些实施例的用于搜索控制的过程的流程图；图4示出了根据本公开的一些实施例的用于搜索控制的装置的框图；以及图5示出了能够实施本公开的多个实施例的设备的框图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。如以上提及的，在视觉搜索中，如何判断执行搜索的时机将影响搜索的总体性能。在基于静态图像的视觉搜索方案中，这个问题是通过用户上传静态图像或者点击移动终端的摄像头的拍摄按钮来解决的。然而，在基于视频的视觉搜索方案中，视频流由非常多的连续帧构成。如果对每个帧均执行搜索往往是不可能性的。因为这将耗费非常大的计算资源，并且提供过多的搜索结果也不一定符合用户的搜索期望。在基于视频的视觉搜索中，一种可行的方案是定时周期性地触发视觉搜索。具体地，按预定周期从视频中抽取对应的帧，并且对所抽取的帧执行视觉搜索。然而，这样的周期性搜索可能与用户实际搜索意图不匹配，导致不恰当的搜索触发时机。这不仅可能导致用户等待时间过长，而且还可能会使搜索结果质量不高。举例来说，假设视觉搜索的触发周期是每间隔3秒触发一次，即在第1秒、第3秒、第6秒等抽取视频的帧用于执行视觉搜索。在一种极端情况下，假设用户在第3秒时并没有搜索意图，但在第3.1秒有目标搜索意图，那么视觉搜索设备要等到第6秒才会触发目标搜索，即用户需要等待约一个触发周期的时间(约3秒)。受设备性能和功耗限制，目标搜索和识别不能频繁触发，至少为秒级别触发，因此用户的搜索等待时间较长。此外，如果用户在第3.1秒才有目标搜索意图，但视觉搜索装置在第3秒已经触发了目标搜索，此时抽取的帧中可能并未出现用户期望搜索的目标、或者此时尽管已经出现目标，但用户的移动终端还处于运动状态，因而导致获取的视频帧是模糊的。这两种可能性均会降低视觉搜索结果的质量。根据本公开的示例实施例，提出了一种用于搜索控制的改进方案。该方案提出相对于视频中的帧，确定用户的搜索意图。具体地，从由电子设备采集到的视频中获取某个时刻的第一帧和与第一帧邻近的第二帧，并且确定这两个帧之间的位移幅度。通过将位移幅度与阈值相比较，来确定用户对第一帧的搜索意图。由此，可以从视频中准确、快速判断用户对位移程度较低、稳定性较好的帧的搜索意图，降低用户在具有搜索意图时的等待时间，并且可以在用户具有搜索意图时利用更稳定、图像质量更好的帧用于执行视觉搜索，提高搜索结果的质量。以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的用于搜索控制的环境100的示意图。在环境100中，电子设备110的用户102期望对搜索场景104中的物体执行基于视频的搜索。因此，电子设备110的视频采集器(例如，摄像头)被打开并且捕获与场景110有关的视频120。由电子设备110捕获的视频120由连续的多个帧122-1、122-2、……122-N组成(统称为或单独称为帧122)，其中N是大于1的正整数。视频120可以被提供给视觉搜索设备130，用于执行视觉搜索。在一些实施例中，由电子设备110捕获的视频120以视频流的形式不断被提供给视觉搜索设备130。电子设备110可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。单子设备110还能够支持任意类本文档来自技高网...

【技术保护点】
1.一种用于搜索控制的方法，包括：/n从由电子设备采集到的视频中获取目标时刻的第一帧和与所述第一帧邻近的第二帧；/n确定所述第一帧与所述第二帧之间的位移幅度；以及/n基于所述位移幅度与第一预定阈值的比较来确定用户对所述第一帧的搜索意图。/n

【技术特征摘要】
1.一种用于搜索控制的方法，包括：
从由电子设备采集到的视频中获取目标时刻的第一帧和与所述第一帧邻近的第二帧；
确定所述第一帧与所述第二帧之间的位移幅度；以及
基于所述位移幅度与第一预定阈值的比较来确定用户对所述第一帧的搜索意图。


2.根据权利要求1所述的方法，其中所述第二帧在所述第一帧之前。


3.根据权利要求2所述的方法，其中确定所述第一帧与所述第二帧之间的所述位移幅度包括：
从所述第二帧的预定区域确定至少一个特征点；
在所述第一帧中标识与所述至少一个特征点对应的至少一个追踪特征点；
确定所述至少一个追踪特征点与所述至少一个特征点之间的相应点位移幅度；以及
基于所述相应点位移幅度来确定所述第一帧与所述第二帧之间的所述位移幅度。


4.根据权利要求1所述的方法，其中从所述视频中获取所述第一帧和所述第二帧包括：
获取所述电子设备的运动信息；
基于所述运动信息确定所述电子设备在目标时刻的运动幅度；以及
根据确定所述电子设备的所述运动幅度未超过第二预定阈值，从所述视频中获取所述目标时刻的所述第一帧和与所述第一帧邻近的所述第二帧。


5.根据权利要求4所述的方法，其中获取所述电子设备的所述运动信息包括：
获取所述电子设备的至少一个传感器采集到的传感器信息，其中所述至少一个传感器包括以下至少一项：陀螺仪、加速度传感器、速度传感器、重力传感器、光线传感器、距离传感器、磁力计和定位传感器；以及
基于所述传感器信息来确定所述电子设备的所述运动信息。


6.根据权利要求4所述的方法，还包括：
根据确定所述电子设备的所述运动幅度超过所述第二预定阈值，确定所述用户对所述第一帧不存在搜索意图。


7.根据权利要求1至6中任一项所述的方法，其中确定所述用户对所述第一帧的搜索意图包括：
根据确定所述位移幅度超过所述第一预定阈值，确定所述用户对所述第一帧不存在搜索意图；以及
根据确定所述位移幅度未超过所述第一预定阈值，确定所述用户对所述第一帧具有搜索意图。


8.一种用于搜索控制的装置，包括：
帧获取模块，被配置为从由电子设备采集到的视频中获取目标时刻的第一帧和与所述第一帧邻近的第二帧；
位移确定模块，被配置为确定所述第一帧与所述第二帧之间的位移幅度；以及
意图确定模块，被配置为基于所述位移幅度与第一预定阈值的比较来确定用户对所述第一帧的搜索意图。


9.根...

【专利技术属性】
技术研发人员：张柳清，李国洪，余永佳，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11