图像捕获输入和投影输出制造技术

本发明专利技术提供用于交替投影内容和捕获图像的系统和方法。所述方法包含以下步骤：通过投影装置，以第一速率投影内容；通过所述投影装置，以第二速率投影捕获帧；以及通过图像捕获装置以所述第二速率捕获包含所述捕获帧的图像，其中捕获所述图像包括在投影所述捕获帧时捕获所述图像。本文所提供的系统和方法可通过投影不使所述图像中的特征模糊的捕获帧来提供增加的跟踪准确性。

【技术实现步骤摘要】
【国外来华专利技术】
本文所揭示的实施例通常是针对能够捕获图像并投影内容的系统。
技术介绍
增强现实(AR)是允许用户改变其与世界交互的方式的新兴技术。AR是物理、现实世界环境的实况、直接或间接视图，其中元素通过计算机所产生的输入(例如声音、视频、图形和/或全球定位系统(GPS)数据)来扩增。在一些使用中，AR由具有捕获用户周围的环境的图像且接着使用对象辨识算法来辨识所捕捉的图像中的对象以用于扩增的图像捕获装置的装置来实现。可接着在装置的显示器上向所述用户提供用户周围的环境的视图，其中所述视图的部分是基于例如所辨识的对象而扩增。人、移动或微型投影仪的显影已向AR提供额外功能性。举例来说，代替于在屏幕上显示经扩增环境的视图或除在屏幕上显示经扩增环境的视图之外，装置可与投影仪交互来辨识对象，并将内容投影到实际对象上和/或投影到例如所述对象附近或周围或与之相关联的区域上。
技术实现思路
与一些实施例一致，提供一种方法，其包含通过投影装置以第一速率投影内容；通过所述投影装置以第二速率投影捕获帧；当投影捕获帧时，通过图像捕获装置捕获图像；以及至少部分地基于所捕获图像来执行计算机视觉功能。所述方法也可在非暂时性计算机可读媒体中实施。所述方法还可用以创建增强现实。与一些实施例一致，还提供一种系统。所述系统包含投影装置，其经配置以便以第一速率投影内容，且以第二速率投影捕获帧。所述系统还包含图像捕获装置，其经配置以在所述投影装置投影捕获帧时捕获图像。所述系统进一步包含耦合到所述投影装置和所述图像捕获装置的一或多个处理器，所述一或多个处理器经配置以处理所捕获图像并产所述生内容，或确定所述内容的位置或定向，以用于至少部分地基于所述所捕获图像而投影。所述系统进一步包含耦合到一或多个处理器的存储器。与一些实施例一致，进一步提供一种系统。所述系统包含：用于以第一速率投影内容的装置；用于以第二速率投影捕获帧的装置；用于在投影所述捕获帧时捕获图像的装置；以及用于至少部分地基于所捕获图像来执行计算机视觉功能的装置。与一些实施例一致，还提供一种方法，其包含：捕获包含所投影内容的图像；捕获包含所投影捕获帧的图像；以及至少部分地基于包含所投影捕获帧的所述图像而执行计算机视觉功能。可以第一速率投影所述捕获帧。可基于第一速率捕获包含所投影捕获帧的所述图像。在一些实施例中，所述内容和所述捕获帧可由投影装置投影。此外，可响应于从投影装置或从耦合到投影装置的处理装置接收信号而捕获包含所投影捕获帧的所述图像，和/或可从远程装置无线接收所述信号。在一些实施例中，所述方法包含分析所捕获图像以确定所捕获图像是否包括包含所投影捕获帧的图像，且所述确定可基于所捕获图像的时戳，或基于识别所捕获图像中的基准或标记。在一些实施例中，包含所投影内容的所述图像可包含包括所投影捕获帧的图像。在一些实施例中，可将内容投影到对象上，其中所述计算机视觉功能包括辨识或跟踪所述对象。与一些实施例一致，进一步提供一种方法，其包含：捕获视野的至少一个图像，其包含内容正投影到其上且捕获帧正以第一速率投影到其上的区域；确定所述至少一个图像中包含所投影捕获帧的至少一部分的一或多个图像；以及至少部分地基于所述一或多个图像而执行计算机视觉功能。在一些实施例中，所述内容和所述捕获帧可由投影装置投影。此外，所述确定可基于接收到的信号，且在一些实施例中，所述信号是从所述投影装置或从耦合到所述投影装置的处理装置接收，或所述信号可从远程装置无线接收。在一些实施例中，所述捕获可响应于基于所述所接收的信号的确定而执行。在一些实施例中，所述确定可基于第一速率，且可响应于基于所述第一速率的确定而执行所述捕获。在一些实施例中，所述确定可基于所述一或多个图像的时戳。此外，所述确定可基于识别所述一或多个图像中的基准或标记。在一些实施例中，所述捕获帧可包含内容以及一或多个捕获区域。此外，可将所述内容投影到对象上，且计算机视觉功能包含辨识或跟踪所述对象。附图说明图1是说明与一些实施例一致的处理装置的图。图2A到2E说明与一些实施例一致的捕获用于输入的图像且投影内容的实例。图3A和3B说明与一些实施例一致的捕获用于输入的图像且投影内容的实例。图4A和4B说明与一些实施例一致的捕获用于输入的图像且投影内容的另一实例。图5A和5B说明与一些实施例一致的在低光情境中捕获用于输入的图像且投影内容的实例。图6是说明与一些实施例一致的用于捕获用于输入的图像且投影内容的过程的流程图。图7为根据一些实施例的说明用于投影内容且捕获图像的过程的流程图。在图式中，具有相同名称的元件具有相同或类似的功能。具体实施方式在以下描述中，陈述描述某些实施例的具体细节。然而，对于所属领域的技术人员将显而易见的是，所公开的实施例可以在没有这些具体细节中的一些或全部的情况下实践。所呈现的具体实施例意在为说明性的而不是限制性的。所属领域的技术人员可认识到其它材料(尽管本文中未具体描述)在本专利技术的范围和精神内。如先前所描述，便携式或微型投影仪可用于AR系统和视频游戏中，来将包含图像或其它信息的内容投影到一区域，其中所投影的内容可基于所捕获图像。然而，所投影的内容可将额外的线、色彩和文本引入到图像捕获装置的视野中的对象上，这可能使得对象辨识和/或跟踪算法难以继续辨识和/或跟踪视野中的对象。此外，所述投影仪可利用对象辨识和跟踪算法来“跟踪”所述对象，以在视野中的投影仪和/或对象移动时，使所投影的内容保持在合适位置，这可能因所述投影而受阻。因此，用于图像捕获输入和投影输出的系统和方法允许图像捕获装置捕获图像，所述图像用于执行计算机视觉功能，包含对象辨识和跟踪、事件检测、运动估计、对象识别、对象检测、对象分类和光学字符辨识。所述系统和方法可在投影仪不在投影内容(这可能使所捕获的图像模糊)的一或多个周期期间捕获图像。明确地说，当不在投影内容时，且当正投影捕获帧时，本文所揭示的实施例可捕获图像。图1是说明与一些实施例一致的处理装置100的图。处理装置100可为例如智能电话等移动装置、平板计算机、个人计算机、膝上型计算机或上网本、例如由有线或卫星内容提供商提供的机顶盒(STB)，或视频游戏系统控制台。处理装置100还可为头戴式显示器(HMD)或其它可佩戴式计算装置。在一些实施例中，处理装置100在汽车中实施，例如在汽车的娱乐中心或控制台中，或包括或实施于医疗装置中。根据一些实施例，可使用经配置以用于捕获图像和投影内容的硬件和/或软件的任何适当本文档来自技高网...

【技术保护点】
一种方法，其包括：通过投影装置，以第一速率投影内容；通过所述投影装置，以第二速率投影捕获帧；当投影所述捕获帧时，通过图像捕获装置来捕获图像；以及至少部分地基于所述所捕获图像来执行计算机视觉功能。

【技术特征摘要】
【国外来华专利技术】2013.09.26 US 14/038,4801.一种方法，其包括：
通过投影装置，以第一速率投影内容；
通过所述投影装置，以第二速率投影捕获帧；
当投影所述捕获帧时，通过图像捕获装置来捕获图像；以及
至少部分地基于所述所捕获图像来执行计算机视觉功能。
2.根据权利要求1所述的方法，其中投影捕获帧包括投影单色的帧和不具有图像的帧
中的一者。
3.根据权利要求1所述的方法，其中以所述第二速率投影所述捕获帧包括以所述第二
速率投影所述捕获帧，使得所述所投影的捕获帧不被观察者注意到。
4.根据权利要求1所述的方法，其中执行计算机视觉功能包括：
基于所述所捕获图像来执行对象辨识；或
基于所述所捕获图像来执行跟踪。
5.根据权利要求4所述的方法，其进一步包括：
基于所述所执行的对象辨识或跟踪来产生用于投影的所述内容。
6.根据权利要求4所述的方法，其中投影内容包括投影挡住对其执行对象辨识或跟踪
的对象的内容。
7.根据权利要求4所述的方法，其中对所述所捕获图像执行跟踪包括确定对象在所述
所捕获图像中的位置、定向和深度中的至少一者。
8.根据权利要求1所述的方法，其中以所述第二速率捕获图像，且所述方法包括：
通过所述图像捕获装置来接收指示正投影所述捕获帧的信号；以及
响应于接收到所述信号而捕获所述图像。
9.根据权利要求1所述的方法，其中以至少为所述第二速率的两倍的速率来捕获图
像，且所述方法包括使所述投影装置与所述图像捕获装置同步，以捕获包含所述捕
获帧的至少一个图像，且捕获不包含所述捕获帧的至少一个图像。
10.一种系统，其包括：
投影装置，其经配置以便以第一速率投影内容，且以第二速率投影捕获帧；
图像捕获装置，其经配置以在所述投影装置投影所述捕获帧时捕获图像；
一或多个处理器，其耦合到所述投影装置和所述图像捕获装置，所述一或多个处
理器经配置以处理所述所捕获图像且产生所述内容，或至少部分地基于所述所捕获
图像来确定用于投影的所述内容的位置或定向；以及
存储器，其耦合到所述一或多个处理器。
11.根据权利要求10所述的系统，其中所述所投影的捕获帧包括单色捕获帧和不具有
图像的捕获帧中的一者。
12.根据权利要求10所述的系统，其中所述图像捕获装置包括相机。
13.根据权利要求12所述的系统，其中所述相机包括可见光相机、深度感测相机、能
够检测红外IR光或紫外UV光的相机、立体相机以及飞行时间ToF相机中的至少
一者。
14.根据权利要求10所述的系统，其中所述投影装置包括数字光处理DLP投影仪、激
光束转向LBS投影...

【专利技术属性】
技术研发人员：S·迪亚兹·斯平多拉，V·W·基廷，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US