视频流的动作帧的检测制造技术

本发明专利技术揭示一种方法，其包含：在装置处，接收对应于视频流的多个图像帧。所述多个图像帧包含具有第一分辨率的第一图像帧及具有比所述第一分辨率低的第二分辨率的第二图像帧。所述方法还包含：在所述装置处，通过分析所述第二图像帧来检测触发。所述方法进一步包含：在所述装置处，基于所述触发而将所述第一图像帧指定为动作帧。

Detection of motion frames in video streams

A method includes receiving a plurality of image frames corresponding to a video stream at a device. The plurality of image frames includes a first image frame having a first resolution and a second image frame having a lower resolution of the first resolution. The method also comprises the following steps: detecting the trigger at the device by analyzing the second image frame. The method further includes: specifying the first image frame as an action frame based on the trigger at the device.

【技术实现步骤摘要】
【国外来华专利技术】相关申请案交叉参考本申请案主张来自共同拥有的在2014年8月14日提出申请的印度临时专利申请案第3985/CHE/2014号及在2015年6月2日提出申请的美国非临时专利申请案第14/728,047号的优先权，所述申请案的内容以全文引用的方式明确并入本文中。
本申请案大体来说涉及照片或视频的捕获，且更特定来说，涉及用于检测视频流的动作帧的系统、方法及装置。本申请案大体来说涉及照片或视频的捕获，且更特定来说，涉及用于检测视频流的动作帧的系统、方法及装置。
技术介绍
使用者可能想要以照片或视频中捕获关注的事件(例如，孩子的第一步或第一句话、毕业典礼或婚礼)。关注的事件可为静态且可预测的(例如，婚礼、毕业典礼、宁静风景或肖像)。用户可利用成像设备(例如，相机、视频记录器、智能电话等)来捕获可预测及/或静态事件。一些关注事件可为动态(例如，孩子的第一步、孩子的第一句话、现场表演，或自然现象)。甚至当动态事件为可预测的且使用者知晓事件可能发生的时间时，用户可必需预测事件的预期发展方向，设置成像设备来捕获预期方向中的音频及/或视频，及在恰当时间激活成像设备以捕获事件。在动态事件开始的第一时间与用户激活成像设备以开始捕获动态事件的第二时间之间可存在延迟。延迟可基于用户识别动态事件即将发生的时间，用户预测时间的预期方向的时间、用户设置成像设备以捕获预期发展方向中的事件的时间、实现动态事件已开始的时间、激活成像设备的时间等。因此，动态事件的至少某一部分可未被成像设备捕获。
技术实现思路
在特定方面中，一种方法包含：在装置处，接收对应于视频流的多个图像帧。所述多个图像帧包含具有第一分辨率的第一图像帧及具有比所述第一分辨率低的第二分辨率的第二图像帧。所述方法还包含：在所述装置处，通过分析所述第二图像帧来检测触发。所述方法进一步包含：在所述装置处，基于所述触发而将所述第一图像帧指定为动作帧。在另一方面中，一种设备包含存储器、第一对象检测器、第一对象运动分析器、触发检测器及帧指定器。所述存储器经配置以存储对应于视频流的多个图像帧。所述第一对象检测器经配置以确定所述多个图像帧中的第一图像帧是否包含第一对象。所述第一对象运动分析器经配置以在所述第一对象检测器确定所述第一图像帧包含所述第一对象时，分析所述第一图像帧以产生指示所述第一对象的运动的第一运动数据。所述触发检测器经配置以在所述第一运动数据满足第一对象运动阈值时检测触发。帧指定器经配置以基于所述触发而将所述多个图像帧中的第二图像帧指定为动作帧。在另一方面中，计算机可读存储装置存储指令，所述指令当被处理器执行时致使所述处理器执行包含接收对应于视频流的多个图像帧的操作。所述多个图像帧包含具有第一分辨率的第一图像帧及具有比所述第一分辨率低的第二分辨率的第二图像帧。所述第一图像帧具有指示第一时间的第一时间戳。所述第二图像帧具有指示第二时间的第二时间戳。第一时间与第二时间之间的差满足阈值。操作还包含：通过分析所述第二图像来检测触发。所述操作进一步包含：基于所述触发而将所述第一图像帧指定为动作帧。附图说明贯穿图式，除非上下文另有指示，否则类似符号通常识别类似组件。应注意，以下图的相对尺寸可未按比例绘制。图1说明可用于确定所捕获图像或视频帧是否含有动作时刻的照片装置的功能框图；图2说明图1的装置的另一实例的图；图3为用于确定所捕获图像是否含有动作时刻的方法的流程图；图4为用于确定所捕获视频是否含有动作时刻的方法的流程图；图5表示揭示关于三个视频帧序列的分析的信息及其中所检测到动作时刻的图表；图6说明经划分成多个区且其中具有经指定用于每一区的帧内分数的所捕获图像或视频帧的实例；图7说明其中区的子集经指示为邻域的图6的实例；图8说明用于确定阈值的动态直方图，超过所述阈值可将所捕获图像或视频帧确定为含有动作时刻；图9为所捕获图像或视频帧经划分成多个区的实例的图，每一区其中描绘有区的聚合动作；图10描绘所捕获图像的运动矢量信息的四个实例；图11为经划分成多个区的所捕获图像或视频帧的实例的图，其中用户已定义在其内搜索动作时刻的关注的区；图12为存储器预算方案的实例的图，其中如果预算存储器已满且额外帧将经压缩且添加到所述存储器，那么含有动作时刻的帧可被删除或由新图片盖写；图13为用于确定所捕获帧是否含有动作时刻的方法的特定实例的图；图14为用于确定所捕获帧是否含有动作时刻的方法的另一实例的图；图15为图1的装置的另一实例的图；图16为图1的装置的另一实例的图；图17为图1的装置的另一实例的图；图18为用于基于图像数据及非图像数据(例如，音频数据)而确定所捕获帧是否含有动作时刻的方法的实例的图；图19为用于基于图像数据及非图像数据(例如，音频数据)而确定所捕获帧是否含有动作时刻的方法的另一实例的图；图20为本文中所揭示的系统中的一或多者的电子装置处的操作的方法的图；图21为自动检测关注区(ROI)的方法的特定实例的图；图22为本文中所揭示的系统中的一或多者的电子装置处的操作的方法的流程图；图23为本文中所揭示的系统中的一或多者的电子装置处的操作的方法的流程图；图24为本文中所揭示的系统中的一或多者的电子装置处的操作的方法的流程图；图25为本文中所揭示的系统中的一或多者的电子装置处的操作的方法的流程图；且图26为可操作以支持本文中所揭示的一或多个方法、系统、设备及计算机可读媒体的各种实施方案的装置的图。具体实施方式下文中参考附图更全面地描述系统、设备及方法的各种方面。然而，本专利技术的教示可以许多不同格式体现且不应理解为限制于贯穿本专利技术呈现的任何特定结构或功能。确切来说，这些方面经提供使得本专利技术将为透彻且完整的，且将向所属领域的技术人员充分地传达本专利技术的范围。基于本文中的教示，所属领域的技术人员应了解本专利技术的范围意欲涵盖本文中所揭示的新颖系统、设计及方法的任何方面，无论是独立于本专利技术的任何其它方面抑或与其组合实施。举例而言，可使用本文中所阐明的任何数目个方面实施设备或可实践方法。另外，本专利技术的范围意欲涵盖使用其它结构、功能性或除本文中所阐明的本专利技术的各种方面样外的结构及功能来实践的此设备或方法。应理解，本文中所揭示的任何方面可由权利要求书的一或多个元件体现。尽管本文中描述特定方面，但这些方面的许多变化形式及排列归属于本专利技术的范围。尽管提及优选方面的一些益处及优点，但本专利技术的范围并不意欲限于特定益处、用途或目的。确切来说，本专利技术的方面意欲广泛地适用于不同摄影技术、系统配置及成像设备，其中的一些是通过图中及优选方面的以下描述中的实例来说明。详细描述及图式仅说明本专利技术而非限制性，本专利技术的范围是由随附权利要求书及其等效物界定。如上文所描述，动态事件可能难以拍照。捕获动态事件可备受关注，且众多实施方案试图为用户提供使用其成像设备(例如，相机、摄录像机或可并入相机的其它电子装置，例如智能电话、平板、数字相机、计算机等)捕获动态事件的能力。意欲为用户提供捕获动作时刻的能力的实施方案的实例可包含“突发捕获模式”，所述“突发捕获模式”使得成像设备能够快速连续单击、点击或敲击快门按钮来捕获数个照片或视频帧。另外，一些实施方案可包含“负快门时滞”，所述负快门时滞可允许成像设备能够捕获并存储在用户激活相机快门之前本文档来自技高网...

【技术保护点】
一种方法，其包括：在装置处，接收对应于视频流的多个图像帧，所述多个图像帧包含具有第一分辨率的第一图像帧及具有比所述第一分辨率低的第二分辨率的第二图像帧；在所述装置处，通过分析所述第二图像帧来检测触发；以及在所述装置处，基于所述触发将所述第一图像帧指定为动作帧。

【技术特征摘要】
【国外来华专利技术】2014.08.14 IN 3985/CHE/2014;2015.06.02 US 14/728,01.一种方法，其包括：在装置处，接收对应于视频流的多个图像帧，所述多个图像帧包含具有第一分辨率的第一图像帧及具有比所述第一分辨率低的第二分辨率的第二图像帧；在所述装置处，通过分析所述第二图像帧来检测触发；以及在所述装置处，基于所述触发将所述第一图像帧指定为动作帧。2.根据权利要求1所述的方法，其中所述第一图像帧表示与由所述第二图像帧表示的第二相机视图基本上相同的第一相机视图，且其中所述第一相机视图对应于相机的视角、视距或两者。3.根据权利要求1所述的方法，其中所述第一图像帧具有指示第一时间的第一时间戳，其中所述第二图像帧具有指示第二时间的第二时间戳，且其中所述第一时间与所述第二时间之间的差满足阈值。4.根据权利要求3所述的方法，其进一步包括：在所述装置处，基于所述触发将所述多个图像帧中的一或多个其它图像帧指定为动作帧，其中由所述一或多个其它图像帧中的每一者的时间戳指示的时间与所述第二时间之间的差满足所述阈值；在所述装置处，在接收到所述一或多个其它图像帧之后将所述一或多个其它图像帧存储在第一存储器中；以及在所述装置处，基于确定所述一或多个其它图像帧经指定为动作帧而将所述一或多个其它图像帧从所述第一存储器复制到第二存储器。5.根据权利要求1所述的方法，其进一步包括：在所述装置处，基于所述多个图像帧确定第一数据，所述第一数据指示一或多个第一对象的运动；以及在所述装置处，基于所述多个图像帧确定第二数据，所述第二数据指示一或多个第二对象的运动，其中所述第一对象中的每一者在所述第二图像帧中由少于第一数目个像素表示，其中所述第二对象中的每一者在所述第二图像帧中由至少所述第一数目个像素表示，且其中基于所述第一数据满足第一阈值，所述第二数据满足第二阈值或两者而检测到所述触发。6.根据权利要求5所述的方法，其中所述第一数据指示所述第二图像帧的至少一个宏块集的运动矢量长度，其中所述至少一个宏块集中的每一者对应于所述第二图像帧的纹理区域，且其中所述第二数据指示通过对所述第二图像帧执行连接分量分析而确定的至少一个连接分量大小。7.根据权利要求1所述的方法，其进一步包括：在所述装置处，通过分析所述第二图像帧来产生运动数据，所述运动数据指示至少一个对象的运动；在所述装置处接收音频数据，所述音频数据对应于所述视频流；以及在所述装置处，基于所述音频数据的特性而更新触发检测阈值，其中基于所述运动数据满足所述触发检测阈值而检测所述触发。8.根据权利要求1所述的方法，其进一步包括：在所述装置处，确定关于所述第二图像帧的多个区中的每一区的累积统计信息，其中基于所述累积统计信息而检测所述触发，且其中所述累积统计信息包含区帧内宏块MB分数及累积运动的方差中的至少一者。9.根据权利要求8所述的方法，其进一步包括：基于包含在所述多个区中的每一区中的MB的运动矢量而确定关于所述区的区运动度量，其中所述第二图像帧包含多个MB；确定所述第二图像的全局运动值；以及确定关于所述多个区的多个累积运动矢量，所述多个累积运动矢量中的每一累积运动矢量是基于对应区的区运动度量及所述全局运动值而确定，其中基于关于所述多个区中的第一区的第一多个累积运动矢量而确定关于所述第一区的累积运动矢量的第一方差。10.根据权利要求8所述的方法，其进一步包括：基于关于所述多个区中的每一区中所包含的一或多个MB的帧内MB分数而确定关于所述区的区帧内MB分数，其中所述第二图像帧包含多个MB，且其中基于所述一或多个MB中的每一MB的第一特性及所述多个MB中的参考MB的第二特性而确定关于所述MB的特定帧内MB分数。11.根据权利要求1所述的方法，其进一步包括：在所述装置处，接收所述装置处的第三图像帧；在所述装置处，基于所述第三图像帧而确定用户的头方向或所述用户的眼方向中的至少一者；以及在所述装置处，基于所述头方向或所述眼方向中的至少一者而确定所述第二图像帧的关注区，其中基于所述关注区而检测所述触发，其中经由第一相机接收所述多个图像帧，及其中经由不同于所述第一相机的第二相机接收所述第三图像帧。12.根据权利要求11所述的方法，其中基于所述关注区的累积模式统计信息、指示在所述关注区中表示的对象的运动的运动数据，或其组合而检测所述触发。13.根据权利要求1所述的方法，其中所述第一图像帧是由相机捕获，且其中所述第二图像帧是由所述第一图像帧产生。14.根据权利要求1所述的方法，其进一步包括：在所述装置处，在接收到所述第一图像帧之后将所述第一图像帧存储在第一存储器中；以及在所述装置处，基于确定将所述第一图像帧指定为所述动作帧而将所述第一图像帧从所述第一存储器复制到第二存储器。15.根据权利要求14所述的方法，其进一步包括：确定所述第一图像帧的帧得分，其中所述第二存储器将多个图像帧存储于多个群组中，且其中所述多个群组中的一群组包含所述第一图像帧；基于所述帧得分而更新所述群组的群组得分；基于所述多个群组中的...

【专利技术属性】
技术研发人员：阿吉特·格普特，赫曼斯·阿查里雅，阿吉特·文卡特·拉奥，帕温·库玛·拜哈提，帕德梅普里亚·约刚内森，纳维恩·斯里尼瓦沙穆尔蒂，桑吉弗·库马尔，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US