基于音频和身体移动的主动动作制造技术

本公开涉及基于音频和身体移动的主动动作。本文公开的各种具体实施包括通过以下方式来确定用户对音频内容感兴趣的装置、系统和方法：确定移动(例如，用户的头部晃动)与检测到的音频内容(例如，在背景中播放的音乐节拍)具有基于时间的关系。一些具体实施涉及获得对应于物理环境的第一传感器数据和第二传感器数据，该第一传感器数据对应于该物理环境中的音频并且该第二传感器数据对应于该物理环境中的身体移动。基于该第一传感器数据和该第二传感器数据识别该音频的一个或多个元素与该身体移动的一个或多个方面之间的基于时间的关系。基于识别该基于时间的关系来识别对音频的内容感兴趣。可以基于识别对该内容感兴趣来主动执行各种动作。动执行各种动作。动执行各种动作。

【技术实现步骤摘要】
基于音频和身体移动的主动动作


[0001]本公开整体上涉及使用传感器获得信息以理解物理环境并提供音频和/或视觉内容的电子设备。

技术介绍

[0002]许多电子设备包括从该设备周围的物理环境捕获音频的麦克风。可以分析此类音频信息以识别设备周围环境中的歌曲和其他声音，并且提供关于此类声音的信息。

技术实现思路

[0003]本文公开的各种具体实施包括通过以下方式来确定用户对音频内容感兴趣的装置、系统和方法：确定移动(例如，用户的头部晃动)与检测到的音频内容(例如，在背景中播放的音乐节拍)具有基于时间的关系。一些具体实施涉及由具有执行存储在非暂态计算机可读介质上的指令的处理器的设备执行的方法。该方法涉及获得对应于物理环境的第一传感器数据和第二传感器数据，该第一传感器数据对应于该物理环境中的音频并且该第二传感器数据对应于该物理环境中的身体移动。该方法基于该第一传感器数据和该第二传感器数据识别该音频的一个或多个元素与该身体移动的一个或多个方面之间的基于时间的关系。例如，这可以涉及确定设备的用户正使他的头部随着在物理环境中播放的音乐的节拍晃动。此类头部晃动可被认为是对音乐感兴趣的被动指示。在另一示例中，基于用户运动的类型(例如，对应于兴奋行为)和/或在音频中发生显著事件(例如，触地得分)的时间不久之后的移动，该用户运动被认为是对兴趣的指示。该方法基于识别基于时间的关系来识别对音频的内容感兴趣。例如，这可以涉及确定特定的歌曲正在播放，以及基于匹配歌曲的节拍的用户的运动来确定他/她对歌曲感兴趣。
[0004]可以基于识别对该内容感兴趣来主动执行各种动作。例如，设备可以呈现内容的标识(例如，显示歌曲的名称、艺术家等)，呈现对应于内容的字词的文本(例如，歌词)，和/或呈现用于重新播放内容、在离开物理环境后继续体验内容、购买内容、下载内容和/或将内容添加到播放列表中的可选选项。在另一示例中，识别内容的特性(例如，音乐类型、节奏范围、乐器类型、情感意境、类别等)，并用于为用户识别附加内容。
[0005]可以有效地使用设备资源来确定用户对音频内容感兴趣。这可以涉及基于设备处的不同触发器通过不同的功率状态移动。例如，可以选择性地执行音频分析，例如，基于检测到身体移动，例如，头部晃动、脚打节拍、欢欣雀跃、挥舞拳头、面部反应或指示用户兴趣的其它移动。类似地，可例如基于音频分析来选择性地执行确定音乐正在播放。利用身体移动的各个方面来比较音频元素可以例如基于确定身体移动和音乐在物理环境中同时发生而被选择性地执行。识别音频的源属性例如，歌曲名称、艺术家、内容提供商等，可以基于成功地识别基于时间的关系。仅在适当的情况下选择性地执行分析可以显著地有助于有效使用电子设备的处理、存储、电力和/或通信资源。
[0006]根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或
多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
附图说明
[0007]因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
[0008]图1示出了根据一些具体实施的在物理环境中运行的示例性电子设备。
[0009]图2示出了根据一些具体实施的图1的示例性电子设备，其提供了用基于检测到的身体移动和音频的附加内容增强的图1的物理环境的视图。
[0010]图3示出了根据本文公开的具体实施获得移动数据的图1的示例性电子设备。
[0011]图4是示出根据一些具体实施的通过确定移动与检测到的音频内容具有基于时间的关系来识别对音频内容感兴趣的方法的流程图。
[0012]图5是根据一些具体实施的图1
‑
图3的电子设备的框图。
[0013]根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
[0014]描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
[0015]图1示出了在物理环境100中由用户110操作的示例性电子设备105。在此示例中，物理环境100是包括人120a
‑
120d、墙饰125、130、墙式扬声器135和桌上具有花的花瓶145的房间。电子设备105包括一个或多个相机、麦克风、深度传感器或可用于评估物理环境100和其内的人员和物体的其它传感器。在图1的示例中，墙式扬声器135正在物理环境100内播放包括歌曲的音频。在一些具体实施中，设备105上的相机捕获物理环境的一个或多个图像并且检测身体移动(例如，用户110和/或用户120a
‑
120d的移动)。在一些具体实施中，设备105上的麦克风捕获物理环境中的音频，包括经由墙式扬声器135播放的歌曲。
[0016]图2示出了图1的示例性电子设备105，其提供了用基于检测到的身体移动和音频的附加内容265增强的图1的物理环境100的视图200。视图200包括人120a
‑
120d的描绘220a
‑
220d；墙饰125、130的描绘225、230；花145的描绘245和墙式扬声器135的描绘235。电子设备105提供视图200，其包括来自观看者位置的物理环境100的描绘，该观看者位置在本示例中是基于电子设备105在物理环境100中的位置来确定的。因此，当用户相对于物理环
境100移动电子设备105时，对应于电子设备105位置的观看者位置相对于物理环境移动。
[0017]在此示例中，视图200包括增强内容265，该增强内容包括具有信息和特征的信息气泡，该信息和特征是基于检测到物理环境100内的身体移动和音频而选择的。这可以基于电子设备105获得对应于物理环境中的音频的第一传感器数据(例如，经由麦克风)，并且获得对应于物理环境100中的身体移动的第二传感器数据(例如，经由图像传感器和/或运动传感器)。该电子设备可以基于该第一传感器数据和该第二传感器数据识别该音频的一个或多个元素(例如，该音频信号中对应于歌曲的节拍/节律/节奏的周期性重复元素)和该身体移动的一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在具有处理器的电子设备处：获得对应于物理环境的第一传感器数据和第二传感器数据，所述第一传感器数据对应于所述物理环境中的音频并且所述第二传感器数据对应于所述物理环境中的身体移动；基于所述第一传感器数据和所述第二传感器数据来识别所述音频的一个或多个元素与所述身体移动的一个或多个方面之间的基于时间的关系；以及基于识别所述基于时间的关系来识别对所述音频的内容感兴趣。2.根据权利要求1所述的方法，还包括基于识别对所述内容感兴趣，在所述电子设备上呈现所述内容的标识。3.根据权利要求1所述的方法，还包括基于识别对所述内容感兴趣，呈现对应于所述内容中的字词的文本。4.根据权利要求1所述的方法，还包括基于识别对所述内容感兴趣，呈现用于以下操作的可选选项：重新播放所述内容；在离开所述物理环境后继续体验所述内容；购买所述内容；下载所述内容；或者将所述内容添加到播放列表。5.根据权利要求1所述的方法，还包括基于识别对所述内容感兴趣，识别所述内容的特性并且基于所识别的特性来识别附加内容。6.根据权利要求1所述的方法，还包括基于确定用户状态来确定限制提供与所述内容相关联的特征。7.根据权利要求1所述的方法，其中识别对所述内容感兴趣进一步基于确定所述物理环境中的声音正跟唱所述内容。8.根据权利要求1所述的方法，其中识别对所述内容感兴趣进一步基于识别的注视方向。9.根据权利要求1所述的方法，其中识别对所述内容感兴趣进一步基于识别的面部表情。10.根据权利要求1所述的方法，还包括：检测所述身体移动；以及基于检测到所述身体移动，发起所述音频的分析。11.根据权利要求10所述的方法，还包括：基于所述音频的所述分析，确定音乐正在播放，其中所述音乐是所述内容；基于确定所述音乐正在播放，执行比较以识别所述基于时间的关系；以及基于确定所述基于时间的关系，识别所述音乐的名称、艺术家或来源。12.根据权利要求1所述的方法，其中识别所述基于时间的关系包括确定所述身体移动的重复身体运动的定时与所述内容的节拍或节奏的定时匹配。13.根据权利要求1所述的方法，其中识别所述基于时间的关系包括确定所述身体移动的唇部移动匹配所述内容的字词。
14.根据权利要求1...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：苹果公司，
类型：发明
国别省市：