视频流增强制造技术

增强环境的视频流，所述环境包含要增强的私有实体。根据实体识别算法处理所述环境的视频，以识别所述环境中至少部分实体的存在。基于与所述识别的实体和私有实体有关的信息确定是否要增强所述识别的实体。如果确定要增强所述识别的实体，则修改所述视频流以用适于模糊所述视频流中部分所述识别的实体的图形元素替换至少部分所述识别的实体。通过修改视频流以模糊实体，可以防止所述环境中的私有或个人信息显示给视频流的观看者。

Video streaming enhancement

Video streams of enhanced environments comprising private entities to be enhanced. The video of the environment is processed according to the entity recognition algorithm to identify the presence of at least part of the entities in the environment. Based on the information related to the identified entity and private entity, it is determined whether the identified entity is to be enhanced. If it is determined that the identified entity is to be enhanced, the video stream is modified to replace at least part of the identified entity with graphic elements suitable for blurring part of the identified entity in the video stream. By modifying the video stream to blur the entity, private or personal information in the environment can be prevented from being displayed to the viewer of the video stream.

【技术实现步骤摘要】
【国外来华专利技术】视频流增强
技术介绍
本专利技术涉及增强视频流的领域，更具体地说，涉及增强包含私有信息的环境的视频流。本专利技术还涉及包含使数据处理系统的处理器能够实现这种方法的计算机可读程序代码的计算机程序产品。本专利技术还涉及包括适于实现这种方法的处理单元的增强系统。可被用于捕获环境视频的设备是众所周知且可用的。还已知适应或使用这样的视频捕获设备来增强环境的用户体验，例如通过用附加的显示信息来增强环境的实况视频流。旨在通过显示环境的视频流来增强用户体验的已知设备或系统包括：虚拟现实(VR)头戴式显示系统；基于智能手机的增强现实(AR)系统，Oculus等。许多这些设备和系统适于能够与第二观看者共享用户的视图。因此，显示给VR头戴式显示系统的用户的视频流可以与另一个人共享，以便另一个人可以看到用户(即VR头戴式显示器的佩戴者)正在看到什么。例如，可以经由基于IP的视频呼叫，专用视频通信链路或视频广播信道来实现视频共享。因此，这样的使用示例可以包括用户可以使不受信任的第三方能够查看共享视频。在向可能不受信的第三方传送(例如传送、发送或广播)视频的示例中，视频环境可能包含用户不希望广播(例如，由不信任或未知的第三方查看)的信息、对象、实体、项目等。例如，虽然用户可能乐于通过视频将他的破裂管道的视图分享给位于远程的管道工程师，或者向一组感兴趣的人显示他们的家庭内部，但是用户可能不希望共享例如，在他们的桌子上保密/敏感的文书工作的视图。然而，考虑到通过视频提供必要视图的性质，机密/敏感的文书工作在视频中可见是不可避免的(因此对于视频的观看者是可见的)。对视频进行后处理以使内容创建者不希望视频观看者观看的部分模糊是已知的。然而，这种后处理概念和技术在视频已被创建后需要内容创建者(例如编辑)的控制或输入。通常需要劳动力/输入密集型资源来处理视频，然后才能进行通信以供查看。因此，现有的后处理技术导致大量的处理资源和时间延迟。因此，本领域需要解决上述问题。
技术实现思路
从第一方面看，本专利技术提供了一种增强环境视频流的计算机实现的方法，该环境包含要增强的私有实体(privateentity)，该方法包括：根据实体识别算法处理视频流以识别所述环境中至少部分实体的存在；生成与所述识别的实体的至少一个属性有关的识别的实体信息；基于所述生成的识别的实体信息和与所述私有实体有关的私有实体信息来确定是否要增强所述识别的实体；并且如果确定要增强所述识别的实体，则修改视频流以用适于模糊所述视频中部分所述识别的实体的图形元素替换至少部分所述识别的实体。从另一方面来看，本专利技术提供了一种用于增强环境的视频流的计算机程序产品，所述环境包含要增强的私有实体，该计算机程序产品包括处理电路可读的计算机可读存储介质和用于执行本专利技术的步骤的方法的所述处理电路执行的存储指令。从又一方面来看，本专利技术提供了一种用于增强环境的视频流的增强系统，该环境包含要增强的私有实体，该系统包括：视频处理单元，适于根据实体识别算法处理所述环境的视频流以识别所述环境中至少部分实体的存在；信息生成器，适于生成与所述识别的实体的至少一个属性有关的识别的实体信息；处理单元，适于基于所述生成的识别的实体信息和与所述私有实体有关的私有实体信息来确定是否要增强所述识别的实体；以及视频修改单元，适于，如果确定要增强所述识别的实体，则修改所述视频流以用适于模糊所述视频中部分所述识别的实体的图形元素替换至少部分所述识别的实体。从又一方面来看，本专利技术提供了一种存储在计算机可读介质上并且可加载到数字计算机的内部存储器中的计算机程序，包括软件代码部分，当所述程序在计算机上运行时用于执行本专利技术的步骤。提出增强包含私有或机密信息的环境的视频流的概念，使得所述视频流可以由位于远离环境的人观看，同时保持所观看视频中的信息的隐私或机密性。通过在环境中识别私有实体，然后可以处理环境的视频以识别所述视频是否包含要增强的实体(诸如私有实体本身或与所述私有实体具有预定特殊关系的实体)。然后可以改变所述视频以防止所识别的实体被视频的观看者观看。例如，所识别的实体可以被模糊、遮蔽、阻挡或由不同的图像替换，使得视频不显示相关的私有、敏感或机密信息。具体地，提议确定是否要基于与所识别的实体有关的信息和与环境的私有实体有关的信息来增强在环境的视频流中识别的实体，然后修改所述视频流以用模糊(至少部分)所述识别的实体的图形元素来替换(至少部分)所述识别的实体，以防止显示所述识别的实体和/或其可包括的敏感/私有信息。例如，通过使用与私有实体有关的各种类型的信息，实施例可以适应环境和/或私有实体的变化，同时仍然保持隐私/机密性。还应注意，通过利用关于要增强的私有实体的预定义信息以及来自视频流的信息，可以实时处理和修改所述视频流，使得它可以以实时方式向一个或多个远程观看者广播，而不会在视频环境中妥协(例如暴露或制作可视的/可见的)私有或机密内容。例如，视频流的修改可取决于观看者的观看特权和/或安全凭证。因此，实施例可以使视频能够被捕获并广播给远程用户，并且取决于观看者的认证特权或可信度，环境中的某些私有信息可以在观看的视频中被选择性地显示或模糊。实施例还可以在用于增强现实系统/方法的环境中实现隐私区或者区域。此外，实施例可以采用许多不同的方式来处理视频流和/或识别和跟踪视频流中的实体，其中一些已经广泛已知并且在虚拟现实和增强现实系统中使用。因此，实施例的技术要求可能已经是已知的并且可广泛获得，因此使得能够相对容易和/或便宜地实现实施例。实施例还可以包括：接收描述要被增强的私有实体的用户输入；并基于所接收的用户输入生成私有实体信息。因此，这样的实施例可以使用户能够在他们希望保持私有或机密的环境中标记项目、对象、区域或实体。然后，可以使用用户输入信息来生成关于私有/机密对象、区域或实体的信息和规则，从而使得能够在环境的视频流中进行识别和增强。这可以提供高度的灵活性并且还适应环境的变化。私有实体信息可以包括以下中的至少一个：私有实体位置信息，表示私有实体的位置；私有实体取向信息(privateentityorientation)，表示私有实体的取向；私有实体几何信息，表示私有实体的至少一个几何属性；私有实体颜色信息，表示私有实体的至少一种颜色；以及私有实体3D坐标信息，表示私有实体在3D坐标空间中的位置。因此，可以使用各种各样的信息来描述环境中的私有对象或实体，这些信息使得能够在确定环境的视频流中的私有对象/实体的存在时具有高度的灵活性或准确性。所识别的实体信息可以包括以下中的至少一个：观看方向信息，表示适于捕获视频的视频捕获设备的观看方向；观看位置信息，表示视频捕获设备的位置；识别的实体位置信息，表示所述识别的实体的位置；识别的实体取向信息，表示所述识别的实体的取向；识别的实体几何信息，表示所识别实体的至少一个几何属性；识别的实体颜色信息，表示所述识别的实体的至少一种颜色；以及识别的实体3D坐标信息，表示所述识别的实体在3D坐标空间中的位置。因此，可以使用各种各样的信息来描述在环境中识别的对象或实体，这些信息使得能够在确定环境视频中的私有对象/实体的存在时具有高度的灵活性或准确性。确定所识别的实体是否要被增强的步骤可以包括：确定所识别的实体是基本上与私有实体匹配本文档来自技高网...

【技术保护点】
1.一种计算机实现的增强环境的视频流(305)的方法，该环境包含要增强的私有实体，该方法包括：根据实体识别算法处理(640)所述视频流，以识别所述环境中至少部分实体的存在；生成(650)与所述识别的实体的至少一个属性有关的识别的实体信息；基于所述生成的识别的实体信息和与所述私有实体有关的私有实体信息来确定(660)是否要增强所述识别的实体；以及如果确定所述识别的实体被增强，则修改(680)所述视频流以用适于模糊所述视频中的部分所述识别的实体的图形元素(360)替换至少部分所述识别的实体。

【技术特征摘要】
【国外来华专利技术】2016.03.29 US 15/083,5451.一种计算机实现的增强环境的视频流(305)的方法，该环境包含要增强的私有实体，该方法包括：根据实体识别算法处理(640)所述视频流，以识别所述环境中至少部分实体的存在；生成(650)与所述识别的实体的至少一个属性有关的识别的实体信息；基于所述生成的识别的实体信息和与所述私有实体有关的私有实体信息来确定(660)是否要增强所述识别的实体；以及如果确定所述识别的实体被增强，则修改(680)所述视频流以用适于模糊所述视频中的部分所述识别的实体的图形元素(360)替换至少部分所述识别的实体。2.如权利要求1所述的方法，还包括：接收(610)描述要被增强的所述私有实体的用户输入；以及基于所述接收的用户输入生成(620)所述私有实体信息。3.如前面任何一项所述的方法，其中所述私有实体信息包括以下中的至少一个：私有实体位置信息，表示所述私有实体的位置；私有实体取向信息，表示所述私有实体的取向；私有实体几何信息，表示所述私有实体的至少一个几何属性；私有实体颜色信息，表示所述私有实体的至少一种颜色；以及私有实体3D坐标信息，表示所述私有实体在3D坐标空间中的位置。4.如前面任何一项所述的方法，其中所述识别的实体信息包括以下中的至少一个：观看方向信息，表示适于捕获所述视频流的视频捕获设备的观看方向；观看位置信息，表示所述视频捕获设备的位置；识别的实体位置信息，表示所述识别的实体的位置；识别的实体取向信息，表示所述识别的实体的取向；识别的实体几何信息，表示所述识别的实体的至少一个几何属性；识别的实体颜色信息，表示所述识别的实体的至少一种颜色；以及识别的实体3D坐标信息，表示所述识别的实体在3D坐标空间中的位置。5.如前面任何一项所述的方法，其中确定是否要增强所述识别的实体的步骤包括：确定所述识别的实体是否与所述私有实体基本匹配，或者位于所述私有实体之中、之上、之下或者非常接近所述私有实体；以及如果确定所述识别的实体或者与所述私有实体基本匹配，或者位于所述私有实体之中、之上、之下或非常接近所述私有实体，则确定要增强所述识别的实体。6.如权利要求5所述的方法，其中修改(680)所述视频流的步骤包括基于确定所述识别的实体是否与所述私有实体基本匹配或者位于所述私有实体之中、之上、之下或非常接近所述私有实体来生成所述图形元素(360)。7.如前面任何一项所述的方法，其中修改(680)所述视频流的步骤包括生成所述图形元素(360)，使得它表示所述识别的实体的简化3D模型。8.如前面任何一项所述的方法，其中所述图形元素包括所述部分所述识别的实体的遮蔽或模糊版本。9.如前面任何一项所述的方法，其中确定(660)是否要增强所述识别的实体的步骤包括：确定所述视频流的目标观看者的观看权限或访问权限；以及如果所述目标观看者的所述观看权限或访问权限不满足预定要求，则确定要增强所述识别的实体。10.如前面任何一项所述的方法，还包括将所述修改的视频流显示给远离所述环境的人。11.一种用于增强环境的视频流的计算机程序产品，所述环境包含要被增强的私有实体，所述计算机程序产品包括：计算机可读存储介质，由处理电路读取并存储用于执行根据权利要求1至10中任一项所述的方法的所述处理电路...

【专利技术属性】
技术研发人员：P·琼斯，R·W·皮洛特，A·J·丹尼尔，M·C·贝雷，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国,US