具有上下文增强的共享体验制造技术

本文描述了用于增强视频内容以加强视频的内容的上下文的技术。在一些实例中，视频可以在第一位置处被捕获，并且被传输到第二位置处，在第二位置处视频被实时地输出。围绕捕获视频的用户和/或察看视频的用户的上下文可以被用来利用附加内容来增强视频。例如，这些技术可以处理：与任一用户相关联的语音或其他输入，与任一用户相关联的凝视，针对任一用户的先前会话，由任一用户标识的感兴趣区域，任一用户的理解水平，环境状况等。基于处理，技术可以确定增强内容。增强内容可以以叠加方式与视频一起被显示，以加强察看视频的用户的体验。

【技术实现步骤摘要】
【国外来华专利技术】具有上下文增强的共享体验
技术介绍
视频远程呈现技术使个体能够使用音频和视频来通信。这种技术一般涉及捕获位于第一位置处的第一个体的视频和音频，通过网络将视频和音频传输到位于第二位置处的第二个体，并且将视频和音频输出给第二个体。第一个体也可以接收第二个体的视频和音频。以此方式，个体可以使用相机、显示器屏幕、麦克风、以及其他装备来促进实时会话。然而，视频远程呈现技术经常提供对正被显示的内容的相对较少的见解。
技术实现思路
本公开描述了用于增强视频内容以加强视频内容的上下文的技术。在一些实例中，视频可以在第一位置处被捕获，并且被传输到视频被输出的一个或多个其他位置。围绕捕获视频的用户和/或察看视频的用户的上下文可以被用来利用附加内容来增强视频。例如，本技术可以处理：与一个或多个用户相关联的语音或其他输入，与一个或多个用户相关联的凝视，针对一个或多个用户的先前会话，由一个或多个用户标识的感兴趣区域，一个或多个用户的理解水平，环境状况等。基于该处理，技术可以确定与视频一起提供的增强内容(例如，视觉、音频等)。增强内容可以以叠加方式与视频一起被显示(或者输出)，以加强察看视频的用户的体验。增强内容可以被显示在视频内的特征的位置处。本公开还描述了用于当视频继续在背景中被显示时维持视频的一部分的显示的技术。在一些实例中，视频可以在第一位置处被捕获并且被传输到第二位置，在第二位置处视频基本上被实时输出。当视频被显示时，用户可以选择将被暂停的视频的一部分。基于该选择，视频帧可以被暂停，而视频的其余部分继续在背景中被呈现。背景视频可以根据与视频帧不同的对焦水平、图像分辨率水平、透明度水平等而被显示。此
技术实现思路
被提供以简化形式介绍一系列概念，这些概念将在以下的具体实施方式中被进一步描述。此
技术实现思路
不旨在标识所要求保护的主题内容的关键或者必要特征，也不旨在被用于帮助确定所要求保护的主题内容的范围。例如，术语“技术”可以指代如由上面所述的上下文所允许的并且贯穿本文档的(多个)系统、(多个)方法、计算机可读指令、(多个)模块、算法、硬件逻辑和/或(多个)操作。附图说明具体描述参考附图而被描述。在附图中，附图标记最左侧的(多个)数字标识附图标记首次出现在其中的图。不同图中的相同附图标记指示相似或等同项。图1图示了本文所述的技术可以被实现的示例架构。图2图示了图1的服务提供商的示例细节。图3图示了图1的计算设备的示例细节。图4图示了用来显示与环境相关的增强内容以及与由用户提供的语音输入相关的增强内容的示例界面。图5图示了用来显示针对通过图像处理来标识的对象的增强内容的示例界面。图6图示了用来将增强内容显示为动画的示例界面。图7A-图7C图示了暂停视频的一部分而视频的其余部分在背景中继续的示例过程。图8图示了用来将注释数据与视频的一部分相关联的示例界面。图9图示了用来利用内容来增强视频的示例过程。图10图示了用来当视频在背景中继续被显示时维持视频的一部分和/或用于移除视频的该部分的显示的示例过程。图11图示了用来将注释数据与视频和/或地理位置相关联的示例过程。图12图示了用来探索远程环境的示例全景系统。具体实施方式本公开描述了用于增强视频内容以加强视频内容的上下文的技术。在一些实例中，视频可以在第一位置处被捕获并且被传输到第二位置，在第二位置处视频被实时输出。围绕捕获视频的用户和/或察看视频的用户的上下文可以被用来利用附加内容来增强视频。例如，技术可以分析各种信息，诸如由用户提供的语音输入、用户的凝视方向、用户的理解水平、被捕获的视频、环境状况、标识感兴趣区域的用户输入等，以标识要与视频一起提供的内容。内容可以以叠加方式在视频上与视频一起被显示，以加强察看视频的用户的体验。为了说明，当用户移动通过环境时，用户可以使用设备来捕获用户的环境的视频。该设备可以将视频传输到服务提供商，其中视频被发送到远程用户以供察看。服务提供商也可以确定增强内容以添加到视频来加强远程用户的察看体验。这可以包括确定与视频相关联的上下文，诸如捕获视频的用户的上下文，察看视频的用户的上下文，视频的环境的上下文等。然后，服务提供商可以寻找与上下文相关的增强内容，并且提供用于在视频上以叠加方式显示的增强内容。在一个示例中，服务提供商可以处理从正在捕获视频的用户接收的语音输入，以确定用户正在谈论用户环境中的特定对象。然后，服务提供商可以取回与特定对象相关的内容，并且使得该内容在视频上以叠加方式被显示给远程用户。这里，内容可以与视频内对象的位置相关地被显示，并且当对象的位置在视频内变化时与该位置相关地被维持。在另一示例中，服务提供商可以处理与正在察看视频的远程用户相关联的语音输入，以确定用户对视频内所显示的特定对象有兴趣(或者具有关于特定对象的问题)，并且提供与特定对象相关的内容。本公开还描述了用于当视频继续在背景中被显示时维持视频的一部分的显示的技术。在一些实例中，视频可以在第一位置处被捕获并且被传输到第二位置，在第二位置处视频被实时输出。当视频被显示给用户时，用户可以选择将被暂停的视频的一部分。基于此选择，视频的该部分可以被暂停，而视频的其余部分在背景中继续。背景视频可以根据与视频的该部分不同的对焦水平、图像分辨率水平、透明度水平而被显示。这可以使正在察看视频的用户能够检查或者以其他方式察看视频的所选择区域，同时仍然允许视频在背景中继续。为了说明，当用户移动通过环境时，用户可以使用设备来捕获用户的环境的视频。设备可以将视频传输到服务提供商，其中视频基本上实时地被发送到远程用户。当远程用户察看视频时，用户可以选择视频的特定区域，诸如通过触摸屏、手势输入或者其他输入。服务提供商可以标识当远程用户选择被作出时所显示的帧，以及与视频的区域对应的帧的一部分(或者整个帧)。然后，服务提供商可以使得帧的该部分被暂停，并且当视频在背景中继续时在视频的其余部分上以叠加方式被维持。背景视频可以利用比帧的该部分更少的对焦、更少的图像分辨率、更多的透明度等来显示。此后，服务提供商可以接收信号(例如，来自捕获视频的用户、察看视频的用户，自动信号等)来移除帧的该部分的显示。这种信号可以使得帧的该部分被移除而不被显示，并且从其所在的当前位置继续视频(例如，实时地全屏继续)。在许多实例中，本文所讨论的技术加强了察看体验。例如，增强内容可以被添加到视频以提供围绕：视频从中被捕获的环境、捕获视频的用户、察看视频的用户等的各种上下文信息。以此方式，察看经增强的视频的用户可能能够更好地理解视频中所描绘的主题内容。此外，这可以消除供用户执行手动搜索以找到与视频相关的内容所需的时间、精力和/或计算资源。附加地或备选地，视频的一部分可以被暂停并且在前景中被维持，而视频在背景中继续。这可以使得察看视频的用户能够检查或以其他方式察看视频的所选择区域，同时仍然允许视频继续被显示。在一些实例中，技术可以在全景视频的上下文中被实现。即，全景视频可以被捕获和/或显示。与传统视频相比，全景视频可以具有相对宽视角。例如，全景视频可以与大于特定角度的视角相关联(例如，大于90度、120度、150度、180度、210度、240度、270度、300度或者330度)。在一个实施方式中，全景视频表示360度的视角。尽管在其他实例中技术可本文档来自技高网...

【技术保护点】
1.一种方法，包括：由一个或多个计算设备接收来自第一设备的视频，所述视频表示所述第一设备所位于的环境；由所述一个或多个计算设备确定与所述第一设备相关联的第一用户或者与被指定接收所述视频的第二设备相关联的第二用户中的至少一个的上下文；至少部分地基于所述上下文，并且由所述一个或多个计算设备确定与所述视频中的特征相关的增强内容；以及由所述一个或多个计算设备使得所述增强内容以及所述视频经由所述第二设备而被显示以增强所述视频，所述增强内容与所述视频中的所述特征的位置相关地被显示。

【技术特征摘要】
【国外来华专利技术】2016.05.31 US 15/169,4531.一种方法，包括：由一个或多个计算设备接收来自第一设备的视频，所述视频表示所述第一设备所位于的环境；由所述一个或多个计算设备确定与所述第一设备相关联的第一用户或者与被指定接收所述视频的第二设备相关联的第二用户中的至少一个的上下文；至少部分地基于所述上下文，并且由所述一个或多个计算设备确定与所述视频中的特征相关的增强内容；以及由所述一个或多个计算设备使得所述增强内容以及所述视频经由所述第二设备而被显示以增强所述视频，所述增强内容与所述视频中的所述特征的位置相关地被显示。2.根据权利要求1所述的方法，其中所述确定所述上下文包括：从所述第一设备接收与所述第一用户相关联的语音输入，所述语音输入在所述视频被捕获的同时被捕获；以及处理所述语音输入以确定所述语音输入与所述特征相关；所述方法进一步包括：执行所述视频的图像处理以标识所述视频中的所述特征。3.根据权利要求1或者权利要求2所述的方法，其中所述确定所述上下文包括：从所述第二设备接收与所述第二用户相关联的语音输入，所述语音输入在所述视频被显示的同时被捕获；以及处理所述语音输入以确定所述语音输入与所述特征相关；所述方法进一步包括：执行所述视频的图像处理以标识所述视频中的所述特征。4.根据权利要求1至权利要求3中任何一项所述的方法，其中所述确定所述上下文包括：至少部分地基于所述第一用户的凝视跟踪数据确定所述第一用户正在看所述环境内的所述特征。5.根据权利要求1至权利要求4中任何一项所述的方法，其中所述确定所述上下文包括：确定所述第二用户正在看所述视频中的所述特征的所述位置。6.根据权利要求1至权利要求5中任何一项所述的方法，其中所述确定所述上下文包括：确定所述第二用户的兴趣或者所述第二用户与智能个人助理的先前会话；并且其中所述确定所述增强内容包括：确定与所述第二用户的所述兴趣或者所述第二用户与所述智能个人助理的所述先前会话中的至少一个相关的所述增强内容。7.一种系统，包括：一个或多个处理器；以及存储器，被通信地耦合到所述一个或多个处理器并且存储可执行指令，所述可执行指令当由所述一个或多个处理器执行时使得所述一个或多个处理器执行包括以下的操作：获得表示第一用户所位于的环境的视频；确定所述第一用户或者与被指定接收所述视频的设备相关联的第二用户中的至少一个的上下文；至少部分地基于所述上下文确定增强...

【专利技术属性】
技术研发人员：D·鲍默特，J·T·阿帕西布勒，S·D·巴德，A·E·贝林杰，J·劳里诺，M·李，HL·王，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US