用于混合现实的神经网络前景分离制造技术

本发明专利技术涉及一种头部可佩戴装置、方法及系统。公开了头部可佩戴装置，包括：一显示器、一摄像机、一卷积神经网络处理器和一处理器，卷积神经网络处理器可以被配置为：接收来自摄像机的真实场景图像数据；识别和分类真实场景图像中的对象和生成对象分类和位置数据。处理器可以被配置为：接收真实场景图像数据；接收来自卷积神经网络处理器的对象分类和位置数据；在真实场景图像上执行一个图像分割来填充对象；生成填充对象数据表示已填充对象；生成一个像素掩膜；接收虚拟场景图像数据；创建混合现实场景图像数据；和输出混合现实场景图像数据到用户的用于演示的显示器上。

【技术实现步骤摘要】
用于混合现实的神经网络前景分离
本专利技术涉及混合现实
，尤其涉及用于混合现实的神经网络前景分离。
技术介绍
虚拟现实(VR)允许模拟和训练提供者实现丰富和拟真的虚拟内容。混合现实将虚拟场景和真实场景融入到单一三维拟真场景中，混合现实通常使用实时视频处理方法，从背景中提取前景图像，并将混合场景生成到用户显示器中，它将期望的真实前景对象与虚拟背景结合在一起。混合现实用户训练通过参加用户的肌肉记忆和提供触觉反馈来增强虚拟现实技术，这是学习的关键组成部分。混合现实允许用户操作真实的设备，用户将在现场使用真实的设备，并允许多用户训练场景，在这个场景中，队友可以在相同三维虚拟环境中看到彼此。混合现实系统需要前景分离。前景分离涉及到识别用户的视场中的哪些真实对象将被包含在混合现实场景中，并识别哪些真实的对象将被虚拟环境隐藏。理想情况下，前景分离应该以实时、逐帧方式进行，并且具有绝对最小的延迟，以保持混合环境的实时、身临其境的感觉。然而，目前实现的前景分离方法存在严重的缺陷，这限制了混合现实体验的质量。例如，色度键控(通常被称为“绿屏”代替物)，通常用于气象新闻和计算机生成的图像(CGI)电影中，是一种快速高效的算法，它使用指定的颜色来识别所有的背景。然而，色度键控操作起来很麻烦，因为色度键控需要一个固定的现场，例如，需要大量的设置时间、精确的照明来确保统一的背景颜色，以及定期的清洗。此外，色度键控无法支持国防部(DoD)“随时随地训练”计划的简单部署目标。其他目前采用的前景分离方法利用深度传感技术；然而，深度传感技术缺乏支持实时混合现实处理的分辨率和低延迟需求。目前实施的前景分离方法，利用深度传感技术，不能与混合现实系统一起使用，以达到理想的现实水平，例如4K视频分辨率为每秒90帧(每秒帧数)。此外，基于红外的深度传感技术高度依赖于现场照明和材料，因为基于红外的深度传感是基于红外线反射回传感器的基础上的。因此，一些前景对象，可能不很好地反射红外线，容易从场景中除去。此外，立体视觉前景分离方法利用左眼和右眼图像的二维卷积来寻找共同特征，是密集型计算，因此，立体视觉前景分离方法就不能与指定的帧速率保持同步。
技术实现思路
在一个方面，本文公开的专利技术构思的实施例针对的是一种头部可佩戴装置。头部可佩戴装置包括一显示器、一摄像机、一卷积神经网络(CNN)处理器和一处理器。所述摄像机被配置用以捕捉真实场景图像。所述卷积神经网络CNN处理器可通信地耦合到所述摄像机。所述CNN处理器被配置用以：接收与来自所述摄像机的真实场景图像对应的真实场景图像数据；识别所述真实场景图像中的对象；分类所述识别的对象的每个对象作为前景对象或背景对象；生成对象分类和位置数据以表示所述识别的对象的分类和位置；和输出所述对象分类和位置数据。可通信地耦合到所述摄像机、所述卷积神经网络CNN处理器和所述显示器的处理器，所述处理器被配置用以：接收与来自所述摄像机捕捉的真实场景图像对应的真实场景图像数据；接收来自所述卷积神经网络处理器的对象分类和位置数据；基于所述对象分类和位置数据的位置数据，在真实场景图像上执行至少一个图像分割来填充对象；生成填充对象数据以表示所述填充对象；基于所述对象分类和位置数据和所述填充对象数据，生成一与前景对象对应的像素掩膜；接收与一虚拟场景图对应的虚拟场景图像数据；至少基于所述像素掩膜，混合虚拟场景图像和真实场景图像来创建一混合现实场景图像作为混合现实场景图像数据；和输出所述混合现实场景图像数据到所述所述显示器以展示给用户。在另一方面，本文公开的专利技术构思的实施例针对的是一种方法，该方法包括：通过一卷积神经网络(CNN)处理器接收一与来自摄像机的真实场景图像对应的真实场景图像数据；该方法进一步包括通过一卷积神经网络(CNN)处理器识别所述真实场景图像中的对象；该方法进一步包括通过一卷积神经网络(CNN)处理器分类所述识别的对象的每个对象作为前景对象或背景对象；该方法进一步包括通过一卷积神经网络(CNN)处理器生成对象分类和位置数据以表示所述被识别的对象的分类和位置；该方法进一步包括通过一卷积神经网络(CNN)处理器输出所述对象分类和位置数据；该方法进一步包括通过至少一个处理器接收与来自所述摄像机的真实场景图像对应的真实场景图像数据；该方法进一步包括通过所述处理器接收来自至少一个卷积神经网络处理器的所述对象分类和位置数据；该方法进一步包括通过所述处理器，基于所述对象分类的位置数据和位置数据，在真实场景图像上执行一图像分割来填充对象；该方法进一步包括通过所述处理器生成填充对象数据以表示所述填充对象；该方法进一步包括至少基于所述对象分类和位置数据和所述填充对象数据，通过所述处理器生成一与前景对象对应的像素掩膜；该方法进一步包括通过所述处理器接收一与虚拟场景图对应的虚拟场景图像数据；该方法进一步包括基于所述像素掩膜，通过所述处理器混合所述虚拟场景图像和真实场景图像来创建一混合现实场景图像作为混合现实场景图像数据；该方法进一步包括通过所述处理器输出所述混合现实场景图像数据到显示器以展示给用户。在另一方面，本文公开的专利技术构思的实施例针对的是一种系统，该系统包括一显示器、一摄像机、一卷积神经网络(CNN)处理器和一处理器。所述摄像机被配置以捕捉真实场景图像。卷积神经网络处理器通信耦合到所述摄像机。所述卷积神经网络处理器被配置用以：接收与来自所述摄像机的真实场景图像对应的真实场景图像数据；识别所述真实场景图像中的对象；分类所述识别的对象的每个对象作为一前景对象或一背景对象；生成表示所述识别的对象的分类和位置的对象分类和位置数据；和输出所述对象分类和位置数据。所述处理器通信耦合到所述摄像机、所述卷积神经网络处理器和所述显示器。所述处理器被配置用以：接收与来自所述摄像机捕捉的真实场景图像对应的真实场景图像数据；接收来自卷积神经网络处理器的对象分类和位置数据；基于所述对象分类和位置数据的位置数据，在真实场景图像上执行一图像分割来填充对象；生成填充对象数据表示所述填充对象；基于所述对象分类和位置数据和所述填充对象数据，生成一与前景对象对应的像素掩膜；接收一虚拟场景图对应的虚拟场景图像数据；基于所述像素掩膜，混合虚拟场景图像和真实场景图像来创建一混合现实场景图像作为混合现实场景图像数据；和输出所述混合现实场景图像数据到所述显示器以展示给用户。附图说明当考虑下面的实施方式的详细描述时，可以更好地理解此处公开的专利技术构思的技术方案。所述的详细描述可以参考附图，但为了清晰起见，附图不一定按比例绘制，其中一些特征可能被夸大，一些特征可能被省略，一些特征可能按照图式来表示。附图中相同的附图标记可以表示和指代相同或相似的元件、特征或功能。其中：图1是本专利技术实施例所述的包括头部可佩戴装置和计算设备的系统的示意图；图2是本专利技术实施例所述的图1所示头部可佩戴装置的眼睛跟踪系统的示意图；图3是本专利技术实施例所述的图1所示头部可佩戴装置的头部跟踪系统的示意图；图4A是本专利技术实施例所述的图像处理流水线示意图；图4B是本专利技术实施例所述的真实场景图像；图4C是本专利技术实施例所述的已通过与分类对象对应的位置和边界框处理的真实场景图像的示意图；图4D是本专利技术实施例所述的已通过检测到的对本文档来自技高网...

【技术保护点】
1.一种头部可佩戴装置，包括：一显示器；一摄像机，被配置用以捕捉真实场景图像；至少一个卷积神经网络CNN处理器，其可通信地耦合到所述摄像机，所述至少一个CNN处理器被配置用以：接收与来自所述摄像机的所述的真实场景图像对应的真实场景图像数据；识别所述真实场景图像中的对象；分类所述识别的对象的每个对象为前景对象或背景对象；生成对象分类和表示所述识别的对象的分类和位置的位置数据；和输出所述对象分类和位置数据；和至少一个处理器，其可通信耦合到所述摄像机、所述至少一个CNN处理器和所述显示器，所述至少一个处理器被配置用以：接收与来自所述摄像机捕捉的所述真实场景图像对应的所述的真实场景图像数据；接收来自所述至少一个CNN处理器的所述对象分类和位置数据；至少基于所述对象分类和位置数据的位置数据，在所述真实场景图像上执行至少一个图像分割操作以填充所述的对象；生成表示所述填充对象的填充对象数据；至少基于所述对象分类和位置数据和所述填充对象数据，生成与前景对象对应的像素掩膜；接收与一虚拟场景图像对应的虚拟场景图像数据；至少基于所述像素掩膜，混合所述虚拟场景图像和所述真实场景图像以创建一混合现实场景图像作为混合现实场景图像数据；和输出所述混合现实场景图像数据到所述显示器以展示给用户。...

【技术特征摘要】
2017.07.27 US 15/661,9641.一种头部可佩戴装置，包括：一显示器；一摄像机，被配置用以捕捉真实场景图像；至少一个卷积神经网络CNN处理器，其可通信地耦合到所述摄像机，所述至少一个CNN处理器被配置用以：接收与来自所述摄像机的所述的真实场景图像对应的真实场景图像数据；识别所述真实场景图像中的对象；分类所述识别的对象的每个对象为前景对象或背景对象；生成对象分类和表示所述识别的对象的分类和位置的位置数据；和输出所述对象分类和位置数据；和至少一个处理器，其可通信耦合到所述摄像机、所述至少一个CNN处理器和所述显示器，所述至少一个处理器被配置用以：接收与来自所述摄像机捕捉的所述真实场景图像对应的所述的真实场景图像数据；接收来自所述至少一个CNN处理器的所述对象分类和位置数据；至少基于所述对象分类和位置数据的位置数据，在所述真实场景图像上执行至少一个图像分割操作以填充所述的对象；生成表示所述填充对象的填充对象数据；至少基于所述对象分类和位置数据和所述填充对象数据，生成与前景对象对应的像素掩膜；接收与一虚拟场景图像对应的虚拟场景图像数据；至少基于所述像素掩膜，混合所述虚拟场景图像和所述真实场景图像以创建一混合现实场景图像作为混合现实场景图像数据；和输出所述混合现实场景图像数据到所述显示器以展示给用户。2.根据权利要求1所述的头部可佩戴装置，其中，所述至少一个所述CNN网络处理器和所述至少一个处理器被配置用以同时处理所述真实场景图像数据。3.根据权利要求1所述的头部可佩戴装置，其中，所述至少一个CNN网络处理器进一步被配置用以为所述对象提供边界框，其中，所述对象分类和位置数据进一步表示所述对象的所述提供的边界框。4.根据权利要求1所述的头部可佩戴装置，其中，所述像素掩膜是一混合值像素掩膜。5.根据权利要求1所述的头部可佩戴装置，进一步包括一与所述至少一个处理器可通信地耦合的头部跟踪系统，所述头部跟踪系统被配置用以：确定用户头部相对于环境的位置和方向；和输出与所述确定的用户头部相对于环境的位置和方向相关的位置和方向数据。6.根据权利要求1所述的头部可佩戴装置，进一步包括一与所述至少一个处理器可通信地耦合的眼睛跟踪系统，所述眼睛跟踪系统被配置用以执行用户眼睛的眼跟踪操作和输出眼睛跟踪数据。7.根据权利要求1所述的头部可佩戴装置，其中，所述的头部可佩戴装置被配置用以在CNN网络手动训练模式下操作，这样用户能够手动选择和分类一特定对象作为一前景对象或一背景对象，其中至少一个处理器被配置用以根据所述特定对象的手动选择和分类生成和输出手动对象分类信息。8.根据权利要求1所述的头部可佩戴装置，其中，所述摄像机被配置用以使用一滚动快门。9.一种方法，包括：通过至少一个卷积神经网络CNN处理器接收与来自摄像机的真实场景图像对应的真实场景图像数据；通过所述至少一个CNN处理器识别所述真实场景图像中的对象；通过所述至少一个CNN处理器分类所述识别的对象的每个对象为前景对象或背景对象；通过所述至少一个CNN处理器生成表示所述识别的对象的分类和位置的对象分类和位置数据；通过所述至少一个CNN处理器输出所述对象分类和位置数据；通过至少一个处理器接收与来自所述摄像机的真实场景图像对应的所述真实场景图像数据；通过所述至少一个处理器接收来自所述至少一个C...

【专利技术属性】
技术研发人员：彼得·R·贝洛斯，达尼洛·P·格拉巴，
申请(专利权)人：罗克韦尔柯林斯公司，
类型：发明
国别省市：美国,US