音频检测和字幕呈现制造技术

用于促进应用的同步执行以使得相关联的音频播放符合用户期待的方法、系统和设备。系统和设备。系统和设备。

【技术实现步骤摘要】
【国外来华专利技术】音频检测和字幕呈现
优先权要求
[0001]本申请要求于2020年5月28日提交的美国专利申请序列号第16/886,002号的优先权，该美国专利申请通过引用整体并入本文。

技术介绍

[0002]消费电子设备例如智能电话和平板设备通常实现了音频播放功能。被配置成使用音频播放功能的应用和设备功能可以请求访问音频播放功能。然后，设备每次可以对一个请求的应用或设备功能准许访问音频播放功能。
附图说明
[0003]为了容易识别对任何特定元件或动作的讨论，附图标记中的一个或多个最高位数字是指该元件被首次引入时所在的图号。
[0004]图1是根据一些示例实施方式的可以在其中部署本公开内容的联网环境的图形表示。
[0005]图2是根据一些示例实施方式的在数据库中维持的数据结构的图形表示。
[0006]图3是示出根据示例实施方式的示例字幕控制系统的框图300。
[0007]图4示出了根据本公开内容的用于控制音频播放的示例系统的操作。
[0008]图5是根据一些示例实施方式的处理环境的图形表示。
[0009]图6是示出根据一些示例实施方式的可以在其中实现本公开内容的软件架构的框图。
[0010]图7是根据一些示例实施方式的呈计算机系统形式的机器的图形表示，在该机器中可以执行一组指令以使机器执行所讨论的方法中的任何一种或更多种。
具体实施方式
[0011]下面的描述包括实施本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于说明的目的，阐述了许多具体细节，以提供对本专利技术主题的各种实施方式的理解。然而，对于本领域技术人员而言将明显的是，可以在没有这些具体细节的情况下实践本专利技术主题的实施方式。通常，不必详细示出公知的指令实例、协议、结构和技术。
[0012]消费电子设备例如智能电话和平板设备通常实现了音频播放功能。被配置成使用音频播放功能的应用和设备功能(下文称为“应用”)可以请求访问音频播放功能。然后，设备每次可以对一个请求应用准许访问音频播放功能。
[0013]在这样的设备同时执行多于一个应用或设备功能并且每个应用或设备功能都请求访问音频播放功能的情况下，则设备可能对非期待或非期望的请求应用或设备功能准许访问。
[0014]在准许控制音频播放功能时经历了非期待或非期望行为的用户可能不被鼓励完
全使用某些应用。
[0015]在通过应用和设备功能中的一个生成的音频信号对于用户而言不可理解的情况下或者在期望向音频信号补充信息的情况下，额外的挑战会出现。
[0016]许多类别的消费电子设备并入有能够根据视频信号使显示屏幕再现的显示设备。针对这样的设备的许多应用固有地在音频信号之外还生成视频信号。已知与音频信号并行地针对视觉再现提供元数据：所述元数据可以是例如多媒体内容中的歌曲的歌词、对话到不同语言的翻译、或动作的隐藏字幕音频描述。元数据可以与多媒体内容的视频部分同步，使得例如歌曲的歌词被布置成大约在同一多媒体内容的音频部分中唱出所述歌曲的歌词时出现在用户显示器上。
[0017]此外，即使在音频信号由应用生成时，音频播放也并不总是期望的。对于用户而言，消费没有音频播放的多媒体内容以避免打扰所述用户周围环境中的其他人并不罕见。预期这样的操作，已知要播放具有叠加字幕的多媒体内容。
[0018]本公开内容的实施方式解决了这些问题和其他问题。
[0019]目标是操作对访问音频播放功能进行管理的更加方便的策略。进一步的目标是确保对元数据的呈现进行管理的策略与对访问音频播放功能进行管理的策略有效地合作。
[0020]在这样的设备同时执行多于一个应用的情况下，每个应用请求访问音频播放功能，则设备可能以非期待或非期望的方式准许一个或更多个请求应用访问。默认情况下，来自最近实例化的应用的音频信号可以排他性地应用于音频播放功能。由另一应用生成的任何音频信号可以被静音、停止或暂停，以使得来自最近实例化的应用的音频信号能够不被中断地播放。
[0021]在准许控制音频播放功能时经历了非期待或非期望行为的用户可能不被鼓励完全使用某些应用。例如，用户可能正在播放来自音乐流应用的音乐内容，并且然后打开打算阅读新闻内容的新闻应用，但是，针对由新闻应用呈现的多媒体内容的音频信号可能优先于来自音乐流应用的音频信号给出。
[0022]本公开内容的实施方式提供了用于确定来自多个应用中的哪个音频信号(或哪些音频信号)被应用于设备中的音频播放功能的方法，所述多个应用包括第一应用和第二应用。第一应用生成第一音频信号，而第二应用生成第二音频信号。
[0023]在某些实施方式中，第一应用生成包括视频数据的多媒体数据，第一音频信号与视频数据相关联(以及可选地与视频数据同步)。访问策略可以要求当从第二应用接收到第二音频信号时，不再将第一音频信号应用于音频播放功能，即使当来自第一应用的视频数据在设备的显示器上正在再现。
[0024]在某些实施方式中，第一应用还生成与第一音频信号相关联的元数据。元数据的示例包括字幕、唱词字幕、隐藏字幕/音频描述(“CC”)、翻译等。元数据可以方便地存储在诸如文本格式字幕(SRT)文件或视频定时文本(VTT)文件的字幕文件中。除非上下文另有指示，否则本公开内容中使用的术语“字幕”通常是指可以文本地或以其他方式视觉地呈现的、提供针对视频片段的音轨的视觉替选的元数据，例如字幕、唱词字幕和CC。因此，“字幕”不仅是人物、叙述者或其他声音参与者的口语词汇，而且可以附加地是对对白的补充，所述对白包括对需要描述的歌曲的歌词(和分句)、背景噪声、电话铃声以及其他音频提示进行描述的音轨的其他相关部分。字幕同样可以是所使用的词汇的翻译或者适应于用户偏好
(例如，通过移除或替换不敬的言语)的音轨版本。
[0025]在某些实施方式中，用户可以在无音频或声音的情况下消费由第一应用再现的内容并且特别是视频，并且字幕的呈现增加了内容的整体享受。当在没有音频的情况下消费的这样的内容确实包括诸如字幕的元数据时，仅在由用户具体要求时才呈现字幕。即，为了查看字幕，用户不得不停止内容的播放、浏览若干个菜单、激活字幕的呈现并且然后返回查看带有字幕的内容。这些步骤给用户带来负担，并且使用户体验缺乏无缝感和愉悦感。另外，由于这种额外的负担，用户通常未能访问字幕，这导致专用于提供未消费的字幕的资源浪费。
[0026]在某些实施方式中，设备可以例如通过将设备的字幕呈现设置置于启用状态来默认启用字幕呈现。然后，当来自带字幕的视频内容的音频播放优于字幕呈现时，撤销该字幕呈现设置的负担会落在用户上。
[0027]可以限定访问策略，该访问策略指示当从第二应用接收到第二音频信号(即，第二音频输出)时，第一音频信号(即，第一应用的音频输出)不再应用于音频播放功能。访问策略还可以指示来自第一应用的元数据将呈现在设备的屏幕上，而第二音频信号被播放。因此，第一应用可以生成(例如)用于显示的视频数据和字幕，而第本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由用户设备的一个或更多个处理器执行的计算机实现的方法，所述方法包括：执行第一应用，所述第一应用根据一个或更多个多媒体内容项目生成第一音频输出和第一视频输出；将所述第一音频输出提供至所述用户设备的音频播放功能；使所述音频播放功能再现所述第一音频输出；将所述第一视频输出提供至所述用户设备的显示功能；检测用于执行第二应用的用户请求，所述第二应用被配置成生成第二音频输出；在检测到所述用户请求后，执行所述第二应用；将所述第二音频输出提供至所述用户设备的所述音频播放功能；以及在所述第二应用执行时，使所述音频播放功能再现所述第二音频输出。2.根据权利要求1所述的计算机实现的方法，其中，使所述音频播放功能再现所述第二音频输出还包括使所述音频播放功能弃置所述第一音频输出。3.根据权利要求1所述的计算机实现的方法，其中，使所述音频播放功能再现所述第二音频输出还包括停止将所述第一音频输出提供至所述音频播放功能。4.根据权利要求1所述的计算机实现的方法，还包括：使所述显示功能再现所述第一视频输出。5.根据权利要求1所述的计算机实现的方法，其中，将所述第一视频输出提供至所述用户设备的所述显示功能还包括：在检测到所述用户请求后，确定所述第一应用是否还根据所述多媒体内容项目生成第一字幕输出；以及在生成与所述第一视频输出相对应的第一字幕输出的情况下，将所述第一字幕输出提供至所述用户设备的所述显示功能以显示在所述第一视频输出上。6.根据权利要求5所述的计算机实现的方法，还包括：确定是否接收到要改变所述用户设备的音频播放的用户输入；以及在确定接收到所述用户输入后，停止将所述第二音频输出提供至所述音频播放功能，并且使所述音频播放功能再现所述第一音频输出。7.根据权利要求6所述的计算机实现的方法，还包括在确定接收到所述用户输入后停止将所述第一字幕输出提供至所述显示功能。8.一种提供音频播放功能和显示功能的用户设备，所述用户设备包括：一个或更多个处理器；以及存储指令的存储器，所述指令在由所述一个或更多个处理器执行时实现所述音频播放功能和所述显示功能并且将所述设备配置成：执行第一应用，所述第一应用根据一个或更多个多媒体内容项目生成第一音频输出和第一视频输出；将所述第一音频输出提供至所述音频播放功能；使所述音频播放功能再现所述第一音频输出；将所述第一视频输出提供至所述显示功能；检测用于执行第二应用的用户请求，所述第二应用被配置成生成第二音频输出；在检测到所述用户请求后，执行所述第二应用；
将所述第二音频输出提供至所述音频播放功能；以及在所述第二应用执行时，使所述音频播放功能再现所述第二音频输出。9.根据权利要求8所述的用户设备，其中，使所述音频播放功能再现所述第二音频输出还包括使所述音频播放功能弃置所述第一音频输出。10.根据权利要求8所述的用户设备，其中，使所述音频播放功能再现所述第二音频输出还包括停止将所述第一音频输出提供至所述音...

【专利技术属性】
技术研发人员：大卫，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：