控制方法、追踪系统以及非暂态电脑可读取介质技术方案

一种控制方法包含下列步骤。以相机撷取涉及校准图卡的至少一影像，其中第一可追踪装置实体附接至该相机，第二可追踪装置实体附接至该校准图卡。以追踪基站追踪附接至相机的第一可追踪装置以产生第一旋转转换矩阵，以追踪基站追踪附接至校准图卡的第二可追踪装置以产生第二旋转转换矩阵。根据出现在至少一影像当中的校准图卡，产生第三旋转转换矩阵。根据第一旋转转换矩阵、第二旋转转换矩阵以及第三旋转转换矩阵，计算相机坐标系统与第一可追踪装置之间的第四旋转转换矩阵，其中第四旋转转换矩阵用于追踪相机。藉此，可准确追踪及定位相机，使相机所拍摄的物件与虚拟场景结合时显得更为逼真。更为逼真。更为逼真。

【技术实现步骤摘要】
控制方法、追踪系统以及非暂态电脑可读取介质


[0001]本公开有关于一种追踪系统以及控制方法，且特别是有关能够准确地且有效率地追踪相机的追踪系统。

技术介绍

[0002]近来发展了各种虚拟现实(Virtual Reality,VR)、扩增现实(Augmented Reality,AR)、替换现实(Substitutional Reality,SR)及/或混和现实(Mixed Reality,MR)装置以提供使用者沉浸式体验。当使用者穿戴了头戴式显示(head
‑
mounted display,HMD)装置时，使用者的视线将被头戴式显示装置上的沉浸式内容所覆盖。这些沉浸式内容显示虚拟背景以及沉浸式场景当中的一些物件。
[0003]为了创作出生动的沉浸式内容，其中一种方式是拍摄真实的演员、真实的车辆或真实的动物，再将这些真实的物件与虚拟场景当中虚拟物件或虚拟背景融合，为了达到上述融合，必须要精准地追踪真实物件的姿态数据(位置数据与旋转数据)。否则，这些真实物件将会被摆放在沉浸式场景中的错误位置或错误轴向。

技术实现思路

[0004]本公开的一实施例公开一种控制方法包含下列步骤。以相机撷取涉及校准图卡的至少一影像，其中第一可追踪装置实体附接至该相机，第二可追踪装置实体附接至该校准图卡；以追踪基站追踪该第一可追踪装置以及该第二可追踪装置，以产生该第一可追踪装置以及该追踪基站之间的第一旋转转换矩阵，并产生该第二可追踪装置以及该追踪基站之间的第二旋转转换矩阵；根据出现在该至少一影像当中的该校准图卡，产生该相机的一相机坐标系统以及该校准图卡之间的一第三旋转转换矩阵；以及根据第一旋转转换矩阵、第二旋转转换矩阵以及第三旋转转换矩阵，计算相机坐标系统与第一可追踪装置之间的第四旋转转换矩阵，其中该第四旋转转换矩阵用于追踪该相机。
[0005]于一些实施例中，该校准图卡包含一特征图样以及一乘载插座，该第二可追踪装置实体附接至该乘载插座并且相对于该特征图样具有一机构配置关系，由该机构配置关系推导出该校准图卡与该第二可追踪装置实体之间的一第五旋转转换矩阵，该第四旋转转换矩阵的计算进一步根据该第五旋转转换矩阵。
[0006]于一些实施例中，该第四旋转转换矩阵的计算是根据该第三旋转转换矩阵、该第五旋转转换矩阵、该第二旋转转换矩阵以及该第一旋转转换矩阵的乘积。
[0007]于一些实施例中，该相机坐标系统的原点位于该相机的一光学中心，该第四旋转转换矩阵用以描述该相机坐标系统与该第一可追踪装置之间的一旋转关系以及一位置关系。
[0008]于一些实施例中，控制方法更包含：以该相机撷取涉及该校准图卡的N张影像，其中N为大于1的正整数；以及根据出现在该N张影像当中的该校准图卡，执行一相机几何校准以产生多个内部参数以及多个形变参数。
[0009]于一些实施例中，多个内部参数是有关于该相机坐标系统与该N张影像其中一张影像对应的一二维像素坐标系统之间的坐标系统转换，该多个内部参数受到该相机的一焦距、一光学中心以及一偏斜系数所影响，该多个内部参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个内部参数用以调整该相机的一影像图框。
[0010]于一些实施例中，该多个形变参数是有关于该相机的多个非线性镜头形变，该多个形变参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个形变参数用以调整该相机的一影像图框。
[0011]于一些实施例中，控制方法更包含：以该相机撷取涉及该校准图卡的N张影像，其中N为大于1的正整数；根据出现在该N张影像当中的该校准图卡，产生该相机的该相机坐标系统以及该校准图卡之间的N个第三旋转转换矩阵；根据该第一旋转转换矩阵、该第二旋转转换矩阵以及该N个第三旋转转换矩阵，计算该相机坐标系统与该第一可追踪装置之间的N个候选旋转转换矩阵；以统计方式分析该N个候选旋转转换矩阵；以及根据该N个候选旋转转换矩阵的分析结果，计算该第四旋转转换矩阵。
[0012]本公开的另一实施例公开一种追踪系统，包含相机、第一可追踪装置、第二可追踪装置、追踪基站以及处理单元。相机用以撷取涉及一校准图卡的至少一影像。第一可追踪装置实体附接至该相机。第二可追踪装置实体附接至该校准图卡。追踪基站用以追踪该第一可追踪装置以及该第二可追踪装置，以产生该第一可追踪装置以及该追踪基站之间的一第一旋转转换矩阵，并产生该第二可追踪装置以及该追踪基站之间的一第二旋转转换矩阵。处理单元与该追踪基站以及该相机通讯连接，其中处理单元用以根据出现在该至少一影像当中的该校准图卡，产生该相机的一相机坐标系统以及该校准图卡之间的一第三旋转转换矩阵，处理单元用以根据该第一旋转转换矩阵、该第二旋转转换矩阵以及该第三旋转转换矩阵，计算该相机坐标系统与该第一可追踪装置之间的一第四旋转转换矩阵，处理单元用以根据该第一可追踪装置以及第四旋转转换矩阵追踪该相机。
[0013]于一些实施例中，该校准图卡包含一特征图样以及一乘载插座，该第二可追踪装置实体附接至该乘载插座并且相对于该特征图样具有一机构配置关系，由该机构配置关系得到该校准图卡与该第二可追踪装置实体之间的一第五旋转转换矩阵，该第四旋转转换矩阵的计算进一步根据该第五旋转转换矩阵。
[0014]于一些实施例中，该第四旋转转换矩阵的计算是根据该第三旋转转换矩阵、该第五旋转转换矩阵、该第二旋转转换矩阵以及该第一旋转转换矩阵的乘积。
[0015]于一些实施例中，该相机坐标系统的原点位于该相机的一光学中心，该第四旋转转换矩阵用以描述该相机坐标系统与该第一可追踪装置之间的一旋转关系以及一位置关系。
[0016]于一些实施例中，该处理单元用以根据该至少一影像当中的该校准图卡执行该相机的一相机几何校准，以产生多个内部参数以及多个形变参数。
[0017]于一些实施例中，该多个内部参数是有关于该相机坐标系统与该至少一影像对应的一二维像素坐标系统之间的坐标系统转换，该多个内部参数受到该相机的一焦距、一光学中心以及一偏斜系数所影响，该多个内部参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个内部参数用以调整该相机的一影像图框。
[0018]于一些实施例中，该多个形变参数是有关于该相机的多个非线性镜头形变，该多
个形变参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个形变参数用以调整该相机的一影像图框。
[0019]于一些实施例中，该相机撷取涉及该校准图卡的N张影像，其中N为大于1的正整数，根据出现在该N张影像当中的该校准图卡，该处理单元产生该相机的该相机坐标系统以及该校准图卡之间的N个第三旋转转换矩阵；根据该第一旋转转换矩阵、该第二旋转转换矩阵以及该N个第三旋转转换矩阵，该处理单元计算该相机坐标系统与该第一可追踪装置之间的N个候选旋转转换矩阵；该处理单元以统计方式分析该N个候选旋转转换矩阵；以及根据该N个候选旋转转换矩阵的分析结果，该处理单元计算该第四旋转转换矩阵。
[0020]本公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种控制方法，其特征在于，该控制方法包含：以一相机撷取涉及一校准图卡的至少一影像，其中一第一可追踪装置实体附接至该相机，一第二可追踪装置实体附接至该校准图卡；以一追踪基站追踪该第一可追踪装置以及该第二可追踪装置，以产生该第一可追踪装置以及该追踪基站之间的一第一旋转转换矩阵，并产生该第二可追踪装置以及该追踪基站之间的一第二旋转转换矩阵；根据出现在该至少一影像当中的该校准图卡，产生该相机的一相机坐标系统以及该校准图卡之间的一第三旋转转换矩阵；以及根据该第一旋转转换矩阵、该第二旋转转换矩阵以及该第三旋转转换矩阵，计算该相机坐标系统与该第一可追踪装置之间的一第四旋转转换矩阵，其中该第四旋转转换矩阵用于追踪该相机。2.如权利要求1所述的控制方法，其中该校准图卡包含一特征图样以及一乘载插座，该第二可追踪装置实体附接至该乘载插座并且相对于该特征图样具有一机构配置关系，由该机构配置关系推导出该校准图卡与该第二可追踪装置实体之间的一第五旋转转换矩阵，该第四旋转转换矩阵的计算进一步根据该第五旋转转换矩阵。3.如权利要求2所述的控制方法，其中该第四旋转转换矩阵的计算是根据该第三旋转转换矩阵、该第五旋转转换矩阵、该第二旋转转换矩阵以及该第一旋转转换矩阵的乘积。4.如权利要求1所述的控制方法，其中该相机坐标系统的原点位于该相机的一光学中心，该第四旋转转换矩阵用以描述该相机坐标系统与该第一可追踪装置之间的一旋转关系以及一位置关系。5.如权利要求1所述的控制方法，更包含：以该相机撷取涉及该校准图卡的N张影像，其中N为大于1的正整数；以及根据出现在该N张影像当中的该校准图卡，执行一相机几何校准以产生多个内部参数以及多个形变参数。6.如权利要求5所述的控制方法，其中该多个内部参数是有关于该相机坐标系统与该N张影像其中一张影像对应的一二维像素坐标系统之间的坐标系统转换，该多个内部参数受到该相机的一焦距、一光学中心以及一偏斜系数所影响，该多个内部参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个内部参数用以调整该相机的一影像图框。7.如权利要求5所述的控制方法，其中该多个形变参数是有关于该相机的多个非线性镜头形变，该多个形变参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个形变参数用以调整该相机的一影像图框。8.如权利要求1所述的控制方法，更包含：以该相机撷取涉及该校准图卡的N张影像，其中N为大于1的正整数；根据出现在该N张影像当中的该校准图卡，产生该相机的该相机坐标系统以及该校准图卡之间的N个第三旋转转换矩阵；根据该第一旋转转换矩阵、该第二旋转转换矩阵以及该N个第三旋转转换矩阵，计算该相机坐标系统与该第一可追踪装置之间的N个候选旋转转换矩阵；以统计方式分析该N个候选旋转转换矩阵；以及
根据该N个候选旋转转换矩阵的分析结果，计算该第四旋转转换矩阵。9.一种追踪系统，其特征在于，该追踪系统包含：一相机，用以撷取涉及一校准图卡的至少一影像；一第一可追踪装置，实体附接至该相机；一第二可追踪装置，实体附接至该校准图卡；一追踪基站，用以追踪该第一可追踪装置以及该第二可追踪装置，以产生该第一可追踪装置以及该追踪基站之间的一第一旋转转换矩阵，并产生该第二可追踪装置以及该追踪基站之间的一第二旋转转换矩阵；以及一处理单元，与该追踪基站以及该相机通讯连接，其中该处理单元用以：根据出现在该至少一影像当中的该校准图卡，产生该相机的一相机坐标系统以及该校准图卡之间的一第三旋转转换矩阵；根据该第一旋转转换矩阵、该第二旋转转换矩阵以及该第三旋转转换矩阵，计算该相机坐标系统与该第一可追踪装置之间的一第四旋转转换矩阵；以及根据该第一可追踪装置以及该第四旋转转换矩阵追踪该相机。10.如权利要求9所述的追踪系统，其中该校准图卡包含一特征图样以及一乘载插座，该第二可追踪装置实体附接至该乘载插座并且相对于该特征图样具有一机构配置关系，由该机构配置关系得到该校准图卡与该第二可追踪装置实体之间的一第五旋转转换矩阵，该第四旋转转换矩阵的计算进一步根据该第五旋转转换矩阵。11.如...

【专利技术属性】
技术研发人员：陈星宏，李旭峰，
申请(专利权)人：宏达国际电子股份有限公司，
类型：发明
国别省市：