低延迟混合现实头部可佩戴装置制造方法及图纸

本发明专利技术涉及一种头部可佩戴装置、方法及系统。公开了头部可佩戴装置，包括：一显示器、一摄像机、一缓冲器和一处理器，缓冲器被配置用以缓冲与来自摄像机中的真实场景图像对应的真实场景图像数据的一部分，处理器被配置用以：执行组合失真校正操作；执行前景分离；对混合值执行平滑操作；执行色差失真校正操作；接收与虚拟场景图像对应的虚拟场景图像数据；将虚拟场景图像数据与处理的真实场景图像数据混合来创建混合现实场景图像作为混合现实场景图像数据；并将混合现实场景图像数据输出到显示器用以展示给用户。

【技术实现步骤摘要】
低延迟混合现实头部可佩戴装置
本专利技术涉及混合现实
，尤其涉及低延迟混合现实头部可佩戴装置。相关申请的交叉引用本申请涉及在2017年7月27日提交的美国专利申请，申请号15/661，964，代理人案号17CR220，以及在2014年9月2日提交的美国专利申请，申请号14/474，778，代理人案号14CR395，在此将这些专利申请的全部内容并入本文作为参考。
技术介绍
虚拟现实(VR)允许模拟和训练提供者实现丰富和拟真的虚拟内容。混合现实将虚拟场景和真实场景融入到单一三维拟真场景中，混合现实通常使用实时视频处理方法，从背景中提取前景图像，并将混合场景生成到用户显示器中，它将期望的现实前景对象与虚拟背景结合在一起。混合现实用户训练通过参加用户的肌肉记忆和提供触觉反馈来增强虚拟现实技术，这是学习的关键组成部分。混合现实允许用户操作真实的设备，用户将在现场使用真实的设备，并允许多用户训练场景，在这个场景中，队友可以在同一个三维虚拟环境中看到彼此。低延迟视频处理对混合现实系统非常重要，对于使用遮挡显示器的混合现实系统尤其重要，如OculusRift或罗克韦尔柯林斯公司的训练系统，用户有一个不允许用户正常看到现实世界的不透明的显示器。目前实施的用于混合现实的遮挡显示器通常需要单独的摄像机，以提供混合现实图像的真实场景图像部分。真实场景图像通过摄像机捕获，转换算法，并在用户看到之前将其转移到显示器上。人类可以检测到由视频处理路径引起的任何明显的延迟，尤其是在头部可佩戴的显示器的宽视场下，因为人的周边视觉对运动非常敏感。例如，当用户在他或她的眼睛前摇动他或她的手时，用户的本体感觉就会告诉用户，手应该在用户的视野中出现确切时间和地点。如果摄像机和/或显示器延迟明显，大脑检测到延迟后，这对手眼协调产生负面影响，并可导致迷失方向，甚至恶心。实验表明，超过约20毫秒(ms)的显示延迟，“光子到像素”，是可察觉并打扰到用户的。超过20毫秒的延迟抵消了混合现实训练的身临其境的优势。目前，20毫秒的延迟预算大部分是由摄像机曝光时间消耗的，摄像机曝光时间通常在4-15毫秒的范围内，以及帧输入/输出(I/O)时间，帧输入/输出(I/O)时间包括将捕获的帧从摄像机传输到显示器。这20毫秒延迟预算的只剩下几毫秒来执行任何视频处理。通常，视频处理要求很重要，因为视频处理涉及渲染现场真实场景视频，与虚拟场景视频紧密结合。此外，这种视频处理通常是在非常高的带宽视频上执行，以获得足够高的分辨率来创建身临其境的混合现实体验。
技术实现思路
在一个方面，本文公开的专利技术构思的实施例针对的是一种头部可佩戴装置。头部可佩戴装置可包括一显示器、一摄像机、一缓冲器和一处理器。摄像机可以被配置用以捕捉真实场景图像。缓冲器可以与摄像机可通信地耦合，并且被配置用以缓冲与来自摄像机中的真实场景图像对应的真实场景图像数据的一部分。处理器可以可通信地耦合到缓冲器。处理器可被配置用以：对真实场景图像执行组合失真校正操作，以校正由摄像机镜头引起的失真，同时校正由显示器所引起的失真，其中组合失真校正操作生成失真校正的真实场景图像数据；对失真校正的真实场景图像数据进行前景分离操作，为失真校正的真实场景图像数据的每个像素生成一混合值；对混合值执行平滑操作，其中平滑操作生成平滑的混合值；对失真校正的真实场景图像数据的每一个红色通道、绿色通道和蓝色通道与和每一个红色通道、绿色通道和蓝色通道相关的平滑的混合值执行色差失真校正操作，其中的色差失真校正操作生成红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据、和与红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据相关的处理的混合值；接收与虚拟场景图像对应的虚拟场景图像数据；至少基于处理的混合值，混合红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据与虚拟场景图像数据，以创建混合现实场景图像作为混合现实场景图像数据；并将混合现实场景图像数据输出到显示器用以展示给用户。在另一方面，本文公开的专利技术构思的实施例针对的是一种方法。该方法可包括通过一缓冲器缓冲与来自摄像机的真实场景图像对应的真实场景图像数据的一部分。该方法进一步可包括通过一处理器对真实场景图像执行组合失真校正操作，以校正由摄像机镜头引起的失真，同时校正由显示器所引起的失真，其中组合失真校正操作生成失真校正的真实场景图像数据。该方法进一步可包括通过该处理器对失真校正的真实场景图像数据进行前景分离操作，为失真校正的真实场景图像数据的每个像素生成一混合值。该方法进一步可包括通过该处理器对混合值执行平滑操作，其中平滑操作生成平滑的混合值。该方法进一步可包括通过该处理器对失真校正的真实场景图像数据的每一个红色通道、绿色通道和蓝色通道与和每一个红色通道、绿色通道和蓝色通道相关的平滑的混合值执行色差失真校正操作，其中的色差失真校正操作生成红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据、和与红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据相关的处理的混合值。该方法进一步可包括通过该处理器接收与虚拟场景图像对应的虚拟场景图像数据，至少基于处理的混合值，混合红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据和蓝色通道处理的真实场景图像数据与虚拟场景图像数据，以创建混合现实场景图像作为混合现实场景图像数据。该方法进一步可包括通过该处理器将混合现实场景图像数据输出到显示器用以展示给用户。在另一方面，本文公开的专利技术构思的实施例针对的是一种系统。该系统可包括一显示器、一摄像机、一缓冲器和一处理器。摄像机可以被配置用以捕捉真实场景图像。缓冲器可通信地耦合到摄像机，并且被配置用以缓冲与来自摄像机中的真实场景图像对应的真实场景图像数据的一部分。处理器可通信耦合到缓冲器。处理器可被配置用以：对真实场景图像执行组合失真校正操作，以校正由摄像机镜头引起的失真，同时校正由显示器所引起的失真，其中组合失真校正操作生成失真校正的真实场景图像数据；对失真校正的真实场景图像数据进行前景分离操作，为失真校正的真实场景图像数据的每个像素生成一混合值；对混合值执行平滑操作，其中平滑操作生成平滑的混合值；对失真校正的真实场景图像数据的每一个红色通道、绿色通道和蓝色通道与和每一个红色通道、绿色通道和蓝色通道相关的平滑的混合值执行色差失真校正操作，其中的色差失真校正操作生成红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据、和与红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据相关的处理的混合值；接收与虚拟场景图像对应的虚拟场景图像数据；至少基于处理的混合值，融合红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据和蓝色通道处理的真实场景图像数据与虚拟场景图像数据，以创建混合现实场景图像作为混合现实场景图像数据；并将混合现实场景图像数据输出到显示器用以展示给用户。附图说明当考虑下面的实施方式的详细描述本文档来自技高网...

【技术保护点】
1.一种头部可佩戴装置，包括：一显示器；一摄像机，被配置用以捕捉真实场景图像；与所述摄像机通信耦合的一缓冲器，所述缓冲器被配置用以缓冲与来自所述摄像机的所述真实场景图像对应的至少一部分真实场景图像数据；和与所述缓冲器通信耦合的至少一个处理器，所述至少一个处理器被配置用以：对所述真实场景图像执行组合失真校正操作，以校正由所述摄像机的镜头引起的失真，同时校正由显示器所引起的失真，其中组合失真校正操作的执行产生失真校正的真实场景图像数据；对所述失真校正的真实场景图像数据进行前景分离操作，为所述失真校正的真实场景图像数据的每个像素生成一混合值；对所述混合值执行平滑操作，其中所述平滑操作的执行生成平滑的混合值；对所述失真校正的真实场景图像数据的红色通道、绿色通道和蓝色通道中的每一个和与所述红色通道、绿色通道和蓝色通道中每一个相关的平滑的混合值执行色差失真校正操作，其中的所述色差失真校正操作的执行生成红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据、以及与所述红色通道处理的真实场景图像数据、所述绿色通道处理的真实场景图像数据和所述蓝色通道处理的真实场景图像数据相关的处理的混合值；接收与一虚拟场景图像对应的虚拟场景图像数据；至少基于处理的混合值，混合所述红色通道处理的真实场景图像数据、所述绿色通道处理的真实场景图像数据和蓝色通道处理的真实场景图像数据与所述虚拟场景图像数据，以创建一混合现实场景图像作为混合现实场景图像数据；和将所述混合现实场景图像数据输出到所述显示器以展示给用户。...

【技术特征摘要】
2017.08.08 US 15/672,0521.一种头部可佩戴装置，包括：一显示器；一摄像机，被配置用以捕捉真实场景图像；与所述摄像机通信耦合的一缓冲器，所述缓冲器被配置用以缓冲与来自所述摄像机的所述真实场景图像对应的至少一部分真实场景图像数据；和与所述缓冲器通信耦合的至少一个处理器，所述至少一个处理器被配置用以：对所述真实场景图像执行组合失真校正操作，以校正由所述摄像机的镜头引起的失真，同时校正由显示器所引起的失真，其中组合失真校正操作的执行产生失真校正的真实场景图像数据；对所述失真校正的真实场景图像数据进行前景分离操作，为所述失真校正的真实场景图像数据的每个像素生成一混合值；对所述混合值执行平滑操作，其中所述平滑操作的执行生成平滑的混合值；对所述失真校正的真实场景图像数据的红色通道、绿色通道和蓝色通道中的每一个和与所述红色通道、绿色通道和蓝色通道中每一个相关的平滑的混合值执行色差失真校正操作，其中的所述色差失真校正操作的执行生成红色通道处理的真实场景图像数据、绿色通道处理的真实场景图像数据、蓝色通道处理的真实场景图像数据、以及与所述红色通道处理的真实场景图像数据、所述绿色通道处理的真实场景图像数据和所述蓝色通道处理的真实场景图像数据相关的处理的混合值；接收与一虚拟场景图像对应的虚拟场景图像数据；至少基于处理的混合值，混合所述红色通道处理的真实场景图像数据、所述绿色通道处理的真实场景图像数据和蓝色通道处理的真实场景图像数据与所述虚拟场景图像数据，以创建一混合现实场景图像作为混合现实场景图像数据；和将所述混合现实场景图像数据输出到所述显示器以展示给用户。2.根据权利要求1所述的头部可佩戴装置，其中，所述显示器是一左边显示器，所述左边显示器被配置用以向用户的左眼显示一左边混合现实场景图像，其中，所述摄像机是一左边摄像机，所述左边摄像机被配置用以沿着用户左眼视场捕捉左边真实场景图像，其中，所述头部可佩戴装置进一步包括一右边显示器和一右边摄像机，所述右边显示器被配置用以向用户的右眼显示一右边混合现实场景图像，所述右边摄像机被配置用以沿着用户右眼视场捕捉右边真实场景图像。3.根据权利要求1所述的头部可佩戴装置，其中，所述至少一个处理器还被配置用以在所述组合失真校正操作的执行之前从所述真实场景图像中去除拜耳编码。4.根据权利要求1所述的头部可佩戴装置，进一步包括一视频计时器，所述视频计时器被配置用以根据生成所述虚拟场景图像的时间同步所述摄像机的快门。5.根据权利要求1所述的头部可佩戴装置，其中，所述缓冲器是部分帧缓冲器，所述部分帧缓冲器被配置用以缓冲小于与来自所述摄像机的所述真实场景图像对应的所述真实场景图像数据的完整帧。6.根据权利要求5所述的头部可佩戴装置，其中，所述部分帧缓冲器通过直接内存存取实施。7.根据权利要求1所述的头部可佩戴装置，其中，所述摄像机采用全局快门实施。8.根据权利要求1所述的头部可佩戴装置，其中，所述摄像机采用滚动快门实施。9.一种方法，包括：通过缓冲器缓冲至少一部分与来自摄像机的真实场景图像对应的真实场景图像数据；通过至少一个处理器对所述真实场景图像执行组合失真校正操作，以校正由摄像机的镜头引起的失真，同时校正由显示器所引起的失真，其中所述组合失真校正操作的执行生成失真校正的真实场景图像数据；通过所述至少一个处理器对所述失真校正的真实场景图像数据进行前景分离操作，为所述失真校正的真实场景图像数据的每个像素生成一混合值；通过所述至少一个处理器对所述混合值执行平滑操作，其中所述平滑操作的执行生成平滑的混合值；通过所述至少一个处理器对所述失真校正的真实场景图像数据的每一个红色通道、绿色通道和蓝色通道以及与每一个红色通道、绿色通道和蓝色通道相关的所述平滑的混合值执行色差失真校正操作，其中所述色差失真校正操作生成红色通道处理的真实场景图像数据、绿色通道处理的真实...

【专利技术属性】
技术研发人员：彼得·R·贝洛斯，达尼洛·P·格拉巴，布拉德·A·沃克，
申请(专利权)人：罗克韦尔柯林斯公司，
类型：发明
国别省市：美国,US