基于空间增强现实的实物交互象棋装置及交互方法制造方法及图纸

本发明专利技术公开了一种基于空间增强现实的实物交互象棋装置及交互方法，装置包括：投影仪，工业相机，计算机，红外滤镜，红外灯，实物交互对象，半透明投影桌，镜面。本发明专利技术运行在空间增强现实平台，玩家使用实物棋子进行对弈，过程中会有虚拟动效动态叠加，相较于纯虚拟的传统PC游戏，更具沉浸感、真实性；玩家使用实物棋子就能完成游戏中所有的交互操作，无需佩戴设备，没有交互负载，交互通道与呈现通道完全一致，交互方式自然、高效，符合人机交互的发展趋势。势。势。

【技术实现步骤摘要】
基于空间增强现实的实物交互象棋装置及交互方法


[0001]本专利技术涉及空间增强现实领域以及实物交互
，更具体地说，尤其涉及一种基于空间增强现实的实物交互象棋装置及交互方法。

技术介绍

[0002]中国象棋是国家级非物质文化遗产、中华民族的文化瑰宝。然而，作为国粹的中国象棋却逐渐淡出人们的视野，承载着悠久汉文化发展历史的国家级非物质文化遗产需要大家一起来保护与传承。因此，我们利用空间增强现实技术，制作一款虚实融合、寓教于乐的象棋交互装置，为玩家带来基于现实又超越现实的游戏体验，提升对弈乐趣，保护与传承非物质文化遗产。
[0003]目前市面上的象棋交互方式主要有如下两种，第一种是在日常生活中，玩家直接使用实际的象棋交互，由两人进行下棋对弈，需要红、黑两方玩家都必须掌握象棋的下棋棋法和规则。第二种是数字化的电脑象棋游戏，玩家可以选择和电脑进行人机博弈，也可以连网和其他玩家进行双人博弈，玩家通过鼠标点击显示屏上的象棋棋子来拾取棋子，通过再次点击棋盘来实现落子的效果，并且计算机会计算判断玩家此次下棋操作是否符合象棋博弈的规则，然后给出下棋的响应或不合法响应。
[0004]现有的象棋交互存在以下不足之处：在日常生活中象棋交互中下棋需要由两个人完成博弈操作，下棋双方都需要掌握象棋的下棋棋法和规则，并且除了可以拾取棋子和放置棋子之外，没有其他的交互通道反馈，形式较为单一，交互体检差。在数字化的电脑象棋游戏交互中，玩家对象棋的交互操作都是纯虚拟的，只是通过鼠标的移动和点击来实现操作，缺失了下棋博弈中的拾取棋子和放置棋子的手感交互体验，交互输入和视觉输出在空间上不一致。
[0005]因此现有象棋交互需要一种提升交互的自然性和体验性的装置，在保留原始实物棋子交互的同时又能体验到基于现实超越现实的虚实融合体验。我们专利技术了一种基于空间增强现实的实物交互象棋装置，希望通过这款象棋交互装置来提升象棋的交互方式，同时基于我们的调查研究，目前的市面上并没有类似象棋产品装置。
[0006]空间增强现实是增强现实的三大形式之一，它利用投影等方式在物理空间中增强显示虚拟内容。在空间增强现实系统中，用户可以在物理空间与虚拟内容交互，具有良好的环境感知、空间感知与协同感知，交互任务执行过程中认知负荷低。实物交互技术是把数字信息连接到日常物理对象或环境中，以增强物理世界,使数字信息可以直接通过用户的双手进行操纵。
[0007]然而将上述技术应用于象棋交互领域并不能达到非常完美的效果，且在投影增强显示和移动实物棋子时均会影响计算机标签识别的准确率。

技术实现思路

[0008]本专利技术针对现有技术的缺陷，提出了一种基于空间增强现实的实物交互象棋装
置，该装置支持实物象棋交互和虚实融合的空间增强投影现实。
[0009]具体技术方案如下：
[0010]一个基于空间增强现实的实物交互象棋装置，所述交互装置包括：投影仪，工业相机，计算机，红外滤镜，红外灯，实物交互对象，半透明投影桌，镜面。
[0011]所述投影仪用于投射投影图像，投影仪投射的投影画面通过投影桌底部的镜面反射到半透明投影桌上；
[0012]所述工业相机用于实时捕获投影桌面上所有棋子的标签信息和位置信息图像，工业相机通过镜面反射从半透明的玻璃投影桌面底部拍摄图像，将获得图像传输给计算机；
[0013]所述计算机用于构建虚拟棋盘和交互界面，创建虚拟坐标系，基于工业相机的图像信息检测获取到投影桌面上所有的实物棋子信息，经过坐标变换后变成虚拟坐标系中的位置信息，通过改变虚拟对象模型，进行所述投影交互效果图像的生成处理；
[0014]所诉红外滤镜固定于工业相机镜头前方，用于过滤虚实融合呈现时投影仪投射的可见光画面，提升计算机对图像中标签识别检测的精确度；
[0015]所诉红外灯用于给实物交互对象打光，配合红外滤镜完成工业相机的拍摄图像过程；
[0016]所诉实物交互对象为3D打印制作的象棋棋子，用于玩家直接使用实物棋子与投影系统进行交互，在实物棋子的底部贴有用于识别检测的ArUco标签；
[0017]所诉半透明投影桌为3D打印制作的桌腿和半透明玻璃平面构成，用于玩家摆放实物交互棋子和投影仪投射交互图像；
[0018]所诉镜面置于半透明投影桌底部，用于反射实物棋子底部画面和投影图像。
[0019]在上述方案基础上，所述的工业相机为Vision Datum LEO 1440S
‑
166um。
[0020]在上述方案基础上，所述的投影仪型号为奥图码DM3307。
[0021]在上述方案基础上，将玩家下棋交互操作移动的实物棋子起始位置和终止位置通过工业相机捕获后产生对应的棋子移动效果，并精确投影至投影桌面上该实物棋子的相应位置。
[0022]该基于空间增强现实的实物交互象棋装置进行实物交互的方法包括以下步骤：
[0023]S1、根据中国象棋的内容和规则，设计象棋交互流程，采用计算机构建虚拟象棋棋盘交互界面，创建虚拟坐标系，搭建空间增强现实投影环境装置；
[0024]S2、对所述的基于空间增强现实的实物交互象棋装置中的坐标系进行标定；
[0025]S3、通过工业相机实时捕获投影桌面上所有的实物棋子信息，获得每一帧实物对象的图像，计算机根据图像中的ArUco标签信息，提取实物交互棋子的ID信息和ArUco标签的四个角点的图像二维坐标信息，根据四个角点坐标取得中心点的坐标信息；
[0026]S4、处理实物棋子移动时ArUco标签识别的闪烁性问题，过滤无效的坐标信息；
[0027]S5、在虚拟场景中建立与投影桌面一致的虚拟坐标系，将获得的坐标点乘以标定的单应性矩阵，得到ArUco标签在虚拟世界中的棋盘上的归一化坐标，然后根据棋盘的实际尺寸，计算在虚拟世界中的实际坐标，获得最终的坐标信息；
[0028]S6、将实物棋子移动的坐标位置放入虚拟坐标系中产生实物棋子移动的交互效果，并将产生的交互效果画面通过投影仪经镜面反射后投射至半透明投影桌面上，实现虚实融合的效果。
[0029]优先地，在所诉S1中，搭建空间增强现实投影环境装置，具体包括如下步骤：
[0030]S11、将镜面倾斜置于半透明桌下方，投影仪和相机视角均朝向镜面；
[0031]S12、调节投影仪和相机，使投影仪画面经镜面反射后能投射到半透明桌面上，使相机通过镜面能够拍摄到完整的半透明桌面图像；
[0032]S13、在相机镜头前方加装红外滤镜，用于过滤拍摄图像中的投影仪可见光画面，提升计算机对图像中标签识别检测的精确度；
[0033]S14、使用红外灯在半透明桌下方进行照明，使相机能够拍摄到实物交互对象的图像。
[0034]优先地，在所述S2中，具体包括如下步骤：
[0035]S21、采用单应矩阵相机标定方法将相机坐标系与投影仪坐标系进行标定；
[0036]S22、选取四组点，对投影仪的坐标进行归一化处理，通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于空间增强现实的实物交互象棋装置，其特征在于：投影仪、工业相机、计算机、红外滤镜、实物交互对象、半透明投影桌和镜面；所述投影仪用于投射投影图像，投影仪投射的投影画面通过半透明投影桌底部的镜面反射到半透明投影桌上；所述工业相机用于实时捕获投影桌面上所有棋子的标签信息和位置信息图像，工业相机通过镜面反射从半透明的玻璃投影桌面底部拍摄图像，将获得图像传输给计算机；所述计算机用于构建虚拟棋盘和交互界面，创建虚拟坐标系，基于工业相机的图像信息检测获取到半透明投影桌面上所有的实物棋子信息，经过坐标变换后变成虚拟坐标系中的位置信息，通过改变虚拟对象模型，进行所述投影交互效果图像的生成处理；所述的红外滤镜固定于工业相机镜头前方，用于过滤虚实融合呈现时投影仪投射的可见光画面，提升计算机对图像中标签识别检测的精确度；所述的实物交互对象为3D打印制作的象棋棋子，用于玩家直接使用实物棋子与投影系统进行交互，在实物棋子的底部贴有用于识别检测的ArUco标签；所述的半透明投影桌用于玩家摆放实物交互棋子和投影仪投射交互图像；所述的镜面置于半透明投影桌底部，用于反射实物棋子底部画面和投影图像。2.根据权利要求1所述的基于空间增强现实的实物交互象棋装置，其特征在于：还包括红外灯，所述的红外灯用于给实物交互对象打光，配合红外滤镜完成工业相机的拍摄图像过程。3.根据权利要求1所述的基于空间增强现实的实物交互象棋装置，其特征在于：所述的半透明投影桌为3D打印制作的桌腿和半透明玻璃平面构成。4.根据权利要求1所述的基于空间增强现实的实物交互象棋装置，其特征在于：所述的工业相机为Vision Datum LEO 1440S
‑
166um；所述的投影仪型号为奥图码DM3307。5.根据权利要求1所述的基于空间增强现实的实物交互象棋装置的交互方法，其特征在于：包括以下步骤：S1、根据中国象棋的内容和规则，设计象棋交互流程，采用计算机构建虚拟象棋棋盘交互界面，创建虚拟坐标系，搭建空间增强现实投影环境装置；S2、对所述的基于空间增强现实的实物交互象棋装置中的坐标系进行标定；S3、通过工业相机实时捕获投影桌面上所有的实物棋子信息，获得每一帧实物对象的图像，计算机根据图像中的ArUco标签信息，提取实物交互棋子的ID信息和ArUco标签的四个角点的图像二维坐标信息，根据四个角点坐标取得中心点的坐标信息；S4、处理实物棋子移动时ArUco标签识别的闪烁性问题，过滤无效的坐标信息；S5、在虚拟场景中建立与投影桌面一致的虚拟坐标系，将获得的坐标点乘以标定的单应性矩阵，得到ArUco标签在虚拟世界中的棋盘上的归一化坐标，然后根据棋盘的实际尺寸，计算在虚拟世界中的实际坐标，获得最终的坐标信息；S6、将实物棋子移动的坐标位置放入虚拟坐标系中产生实物棋子移动的交互效果，并将产生的交互效果画面通过投影仪经镜面反射后投射至半透明投影桌面上，实现虚实融合的效果。6.根据权利要求5所述的基于空间增强现实的实物交...

【专利技术属性】
技术研发人员：袁庆曙，杨琦浩，安丽娜，陈柯明，朱璐筱，韩晓彤，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：