使用单目相机的三维标记模型构建和实时跟踪制造技术

本发明专利技术披露了用于构建和使用一种跟踪目标模型的系统、方法和计算机可读存储介质。该模型可以由多个图像和一个关于放置目标的基座所定义的坐标系来构建，其中多个图像对应于当目标被放置在基座上时的目标的图像，并且所述基座包括多个标记。用于跟踪目标的所述模型可以被配置以在相机跟踪目标期间提供相机的位置信息。使用该模型跟踪目标可以包括：通过使用相机获得目标的一个或多个图像，以及基于该模型确定相机相对于目标的位置。

【技术实现步骤摘要】
【国外来华专利技术】使用单目相机的三维标记模型构建和实时跟踪
本专利技术涉及电子目标识别，特别涉及用于构建3D目标模型并基于该模型跟踪3D目标的改进技术。
技术介绍
增强现实(AR)是物理、真实世界环境的直接或间接视图，其元素通过使用各种技术的计算机生成的感官输入(如声音、视频、图形等)来增强。与AR功能相关的一个问题是：难以定向相机，例如叠加图形的增强内容与相机视野内场景适当对准。现有技术里基于标记的AR技术，尝试克服该问题。在基于标记的AR里，应用程序被配置以识别存在于真实世界环境中的标记，这有助于定向和对准相机。标记可以是二维的，例如条形码或其他图形，或者可以是三维的，例如物理目标。不管基于标记的AR应用程序是否利用二维标记、三维标记或两者，应用程序必须被编程以识别这些标记。通常，这是通过向应用程序提供一个标记模型来实现。二维标记模型的生成比三维标记更简单。例如，三维标记通常需要使用专用软件(例如，三维建模软件)或三维扫描仪来生成目标的三维模型。如果要使用大的标记库，生成用于基于标记的AR系统中的三维模型的过程是一个很耗时的过程，并且需要大量资源(例如，时间、成本、计算等)。专利
技术实现思路
本专利技术本文档来自技高网...

【技术保护点】
一种用于跟踪目标的构建模型的方法，所述方法包括：处理器接收多个图像，其中所述多个图像对应当所述目标被放置在基座上时的所述目标的图像，并且其中有多个标记存在于所述基座上；至少部分地基于出现在所述基座上的所述标记，所述处理器定义所述目标位于所述基座上的关于所述基座的一个坐标系；和基于在所述目标放置在所述基座上时拍摄的所述目标的多个图像，并且基于所述坐标系，所述处理器构建所述模型用于跟踪所述目标，其中基于没有所述基座时所述目标的后续图像，用于跟踪目标的所述模型被配置以提供相机的位置信息。

【技术特征摘要】
【国外来华专利技术】2017.01.23 US 15/412,9481.一种用于跟踪目标的构建模型的方法，所述方法包括：处理器接收多个图像，其中所述多个图像对应当所述目标被放置在基座上时的所述目标的图像，并且其中有多个标记存在于所述基座上；至少部分地基于出现在所述基座上的所述标记，所述处理器定义所述目标位于所述基座上的关于所述基座的一个坐标系；和基于在所述目标放置在所述基座上时拍摄的所述目标的多个图像，并且基于所述坐标系，所述处理器构建所述模型用于跟踪所述目标，其中基于没有所述基座时所述目标的后续图像，用于跟踪目标的所述模型被配置以提供相机的位置信息。2.根据权利要求1所述的方法，其中所述处理器定义所述目标位于所述基座上的关于所述基座的一个坐标系还包括：所述处理器给所述坐标系指定一个原点；和至少部分地基于所述基座上的所述多个标记，所述处理器定向所述坐标系。3.根据权利要求1所述的方法，还包括：所述处理器分析所述多个图像中的每个图像，以识别每个图像中所述目标的特征，其中所述分析包括：所述处理器识别所述目标的特征，其中所述特征包括线、形状、图案、颜色、纹理、边缘特征、角特征、斑点特征或其组合；和所述处理器将识别出的所述目标的特征转换成多个特征点。4.根据权利要求3所述的方法，还包括：对所述多个图像中的每个图像，确定相机位置信息，其表示所述相机相对于所述基座和所述目标的位置，其中所述相机位置信息是至少部分地基于所述基座的所述多个标记而确定的；和将在一个特定图像内识别出的多个特征点，与基于在所述特定图像里出现的一个或多个标记所确定的相机位置信息，关联起来。5.根据权利要求4所述的方法，其中一个特定图像的相机位置信息，是通过所述处理器识别在所述特定图像里出现在所述基座上的所述多个标记中的一个或多个标记而确定的，其中将所述相机位置信息与识别出的所述目标的特征关联起来，使得能根据没有所述基座时所述目标的后续图像来确定所述相机位置。6.根据权利要求1所述的方法，其中所述模型被配置以与一个在电子设备上执行的应用互动，通过使用一个与所述电子设备相连的相机，使得所述应用能够识别和跟踪所述目标。7.根据权利要求6所述的方法，其中所述应用被配置以接收由与所述电子设备相连的所述相机拍摄的所述目标的一个新图像，并被配置以基于所述模型，提供在所述新图像被拍摄时与所述电子设备相连的所述相机的位置信息。8.一种存储指令的非暂时性计算机可读存储介质，所述指令被处理器执行时，使所述处理器能够执行用于跟踪目标的构建模型的操作，所述操作包括：接收多个图像，其中所述多个图像对应当所述目标被放置在基座上时的所述目标的图像，并且其中有多个标记存在于所述基座上；至少部分地基于出现在所述基座上的所述标记，定义所述目标位于所述基座上的关于所述基座的一个坐标系；和基于在所述目标放置在所述基座上时拍摄的所述目标的多个图像，并基于所述坐标系，构建所述模型用于跟踪所述目标，其中基于没有所述基座时所述目标的后续图像，用于跟踪所述目标的所述模型被配置以提供相机的位置信息。9.根据权利要求8所述的非暂时性计算机可读存储介质，其中定义所述目标位于所述基座上的关于所述基座的一个坐标系还包括：所述处理器为所述坐标系指定一个原点；和至少部分地基于所述基座上的所述多个标记，所述处理器定向所述坐标系10.根据权利要求8所述的非暂时性计算机可读存储介质，其中所述操作还包括：所述处理器分析所述多个图像中的每个图像，以识别每个图像中所述目标的特征，其中所述分析包括：识别所述目标的特征，其中所述特征包括线、形状、图案、颜色、纹理、边缘特征、角特征、斑点特征或其组合；和将识别出的所述目标的特征转换成多个特征点。11.根据权利要求10所述的非暂时性计算机可读存储介质，所述操作还包括：对所述多个图像中的每个图像，确定相机位置信息，其表示所述相机相对于所述基座和所述目标的位置，其中所述相机位置信息是至少部分地基于所述基座的所述多个标记而确定的；和将在一个特定图像内识别出的多个特征点，与基于在所述特定图像里出现的一个或多个标记所确定的相机位置信息，关联起来。12.根据权利要求10所述的非暂时性计算机可读存储介质，其中一个特定图像的相机位置信息，是通过所述处理器识别在所述特定图像里出现在所述基座上的所述多个标记中的一个或多个标记而确定的，其中将所述相机位置信息与所述目标的识别出的特征关联起来，使得能根据没有基座时所述目标的后续图像来确定所述相机位置。13.根据权利要求8所述的非暂时性计算机可读存储介质，其中所述模型被配置以与一个在电子设备上执行的应用互动，通过使用一个与所述电子设备相连的相机，使得所述应用能够识别和跟踪所述目标。14.根据权利要求13所述的非暂时性计算机可读存储介质，其中所述应用被配置以接收由与所述电子设备相连的所述相机拍摄的所述目标的一个新图像，并被配置以基于所述模型，提供在所述新图像被拍摄时与所述电子设备相连的所述相机的位置信息。15.一种用于构建模型以跟踪目标的系统，所述系统包括：基座，其中有多个标记存在于所述基座上；相机，其被配置以在所述目标被放置在所述基座上时拍摄所述目标的多个图像；处理器，其被配置以：接收由所述相机拍摄的所...

【专利技术属性】
技术研发人员：朱星华，李境杰，周正华，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：中国香港,81