一种多维交互识别与棋牌游戏结合的AR互动系统及方法技术方案

本发明专利技术公开的属于AR技术领域，具体为一种多维交互识别与棋牌游戏结合的AR互动系统及方法，包括服务器、主机、显示单元组和人体3D骨骼数据采集以及面部识别数据采集组，所述主机与所述服务器电性双向连接，所述主机与所述显示单元组电性输出连接，所述主机与所述人体骨骼数据采集组电性输入连接。通过人体骨骼数据采集组采集玩家体态，并生成玩家的3D骨骼模型，同时人体骨骼数据采集组对玩家选取棋牌元素的动作进行采集，通过数据处理，以实时控制玩家3D骨骼模型在虚拟场景中选取虚拟的棋牌元素，避免目前棋牌元素游戏大多采用鼠标和键盘操控，与玩家的交互性和游戏沉浸感较差的问题。

An AR Interactive System and Method Combining Multidimensional Interactive Recognition with Chess and Card Game

【技术实现步骤摘要】
一种多维交互识别与棋牌游戏结合的AR互动系统及方法
本专利技术公开的属于AR
，具体为一种多维交互识别与棋牌游戏结合的AR互动系统及方法。
技术介绍
AR(AugmentedReality)技术是指增强现实技术，具体来说是指利用计算机生成一种逼真的视、听、触和动等感觉的虚拟环境。AR可以算是VR(VirtualReality)虚拟现实中的一个分支，不过略微不同的是VR的创造一个全新的虚拟世界，而AR则是强调虚实结合，棋牌元素游戏以其游戏成本底、玩法多样深受人们的喜爱，随着网络时代的发展，越来越多的人在电脑或手机中进行棋牌元素游戏，但相较于“多人围桌”的棋牌元素游戏方式，在电脑上进行棋牌元素游戏越来越受到人们的喜爱，但目前棋牌元素游戏大多采用鼠标和键盘操控，与玩家的交互性较差，另外用户长时间保持一定姿势对颈椎造成损伤等问题为此，我们提出了一种多维交互识别与棋牌游戏结合的AR互动系统及方法投入使用，以解决上述问题。
技术实现思路
本专利技术的目的在于提供一种多维交互识别与棋牌游戏结合的AR互动系统及方法，以解决上述
技术介绍
中提出的目前棋牌元素游戏大多采用鼠标和键盘操控，与玩家的交互性较差，另外用户长时间保持一定姿势对颈椎造成损伤等问题。为实现上述目的，本专利技术提供如下技术方案：一种多维交互识别与棋牌游戏结合的AR互动系统及方法，包括服务器、主机、显示单元组和人体3D骨骼数据采集以及面部识别数据采集组，所述主机与所述服务器电性双向连接，所述主机与所述显示单元组电性输出连接，所述主机与所述人体3D骨骼数据采集以及面部识别数据采集组电性输入连接。优选的，所述人体3D骨骼数据采集以及面部识别数据采集组包括1组或者多组人体数据采集设备，体感摄像设备或者普通摄像设备。优选的，所述多维交互识别与棋牌游戏结合的AR互动系统的控制方法的具体步骤如下：S1：利用人体3D骨骼数据采集以及面部识别数据采集组实时采集一个或多个用户的3D骨骼数据以及面部识别数据，并导入主机中的3D模型构建单元；S2：主机中的3D模型构建单元根据S1中的数据重建用户的虚拟人物模型以及面部，并导入主机中的图形图像引擎；S3：主机控制显示单元组将摄像头采集画面投放到对应的显示单元上，然后再将游戏场景的2D和3D元素画面(比如棋牌元素)叠加在摄像头画面上，以搭建虚拟现实游戏场景；S4：主机将实时重建的人物3D模型以及面部3D模型投放到虚拟游戏场景中，并可以与虚拟游戏场景总的虚拟元素交互；S5：将玩家在规定时间内操作棋牌元素的过程和游戏时间结束时的最终牌面按照统一规则进行比较，以计算出获胜玩家和分数的信息；S6：利用显示单元组加载和显示与获胜玩家3D骨骼模型和失败玩家3D骨骼模型相匹配的2D和3D元素动画特效；S7：对各玩家的积分进行结算并生成积分榜，同时在显示单元组将积分榜画面显示出来，并将玩家公开信息以及统计数据如分数等上传至远程服务器单元存储，远程服务器端根据上传数据推送广告，礼品，优惠券等数据信息返回到客户端显示；优选的，所述步骤S4中主机将实时重建的人物3D模型以及面部3D模型投放到虚拟游戏场景中，并可以与虚拟场景中的虚拟棋牌元素交互。其具体步骤如下：S41：玩家根据游戏场中散落的棋牌画面做出相应的棋牌抓取动作，人体3D骨骼数据采集以及面部识别数据采集组实时采集玩家用人体肢体，面部器官部位，手部操作棋牌元素的行为动作；S42：主机根据S41中实时采集到数据提取出骨骼模型的时间空间数据，面部模型的时间空间数据以及手指模型的时间空间数据并输出到多维度人体交互识别引擎来处理；S43：多维度人体交互识别引擎可以分为三个主要模块，体势识别引擎，面部表情识别引擎以及手势识别引擎，体势识别引擎，面部表情识别引擎以及手势识别引擎根据时间和空间数据信息识别出用户的各种自然交互动作以及该动作发生的空间起始时间与坐标，结束时间与坐标；S44：主机将S43输出的交互动作空间坐标通过空间矩阵转换为摄像头采集画面中的平面坐标，从而使得摄像头采集到的真实场景中的玩家可以与叠加在其上虚拟场景中的虚拟棋牌元素进行无缝交互，并同时输出到显示单元中，并显示对应棋牌元素飞到对应玩家的头像下方，同时玩家向右挥手，玩家抓取的棋牌从反到正依次翻开，并进行大小比较，计算所抓取的棋牌得分；优选的：所述步骤S43中多维度人体交互识别引擎的识别过程，其具体步骤如下：S431：体势识别引擎识别人体的身高远近角度位置信息，四肢运动信息以及躯干所穿衣服颜色信息，这些信息在玩家移动的过程中可以更精准的定位是否是同一位玩家以及体势动作数据；S432：面部表情识别引擎可以识别玩家的面部表情，并通过表情信息的判断来与AR场景元素进行交互和操作游戏流程；S433：手势识别引擎是专门针对人体手掌五指的动作形态进行跟踪和识别从而与AR场景元素进行交互和操作游戏流程。与现有技术相比，本专利技术的有益效果是：通过人体3D骨骼数据采集以及面部识别数据采集组拍摄采集玩家体态，手部，面部表情以及身高穿着等信息，并实时生成玩家的3D骨骼模型和面部模型；通过体势，手势和面部表情以及身高穿着等多维度信息来操作虚拟场景以及虚拟棋牌元素，既避免了目前棋牌类型游戏大多采用鼠标和键盘操控，与玩家的交互性较差，体验感不够好以及用户长时间保持一定姿势对颈椎造成损伤的问题，也改进了单一纬度人体交户识别的稳定性和鲁棒性不高的问题。附图说明图1为本专利技术客户端工作流程图；图2为本专利技术服务端工作流程图；图3为本专利技术客户端拓扑图；图4为本专利技术服务端拓扑图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种技术方案：一种多维交互识别与棋牌游戏结合的AR互动系统及方法，用于提高玩家在进行棋牌元素游戏的交互性，请参阅图2，包括服务器、主机、显示单元组和人体3D骨骼数据采集以及面部识别数据采集组，主机与服务器电性双向连接，主机与显示单元组电性输出连接，主机与人体3D骨骼数据采集以及面部识别数据采集组电性输入连接，显示单元组包括1组或者多组显示设备包括液晶显示器，LED屏幕以及投影机等，人体3D骨骼数据采集以及面部识别数据采集组包括1组或者多组人体数据采集设备，体感摄像设备或者普通摄像设备，请参阅图1，多维交互识别与棋牌游戏结合的AR互动系统的控制方法的具体步骤如下：S1：利用人体3D骨骼数据采集以及面部识别数据采集组实时采集一个或多个用户的3D骨骼数据以及面部识别数据，并导入主机中的3D模型构建单元；S2：主机中的3D模型构建单元根据S1中的数据重建用户的虚拟人物模型以及面部，并导入主机中的图形图像引擎；S3：主机控制显示单元组将摄像头采集画面投放到对应的显示单元上，然后再将游戏场景的2D和3D元素画面(比如棋牌元素)叠加在摄像头画面上，以搭建虚拟现实游戏场景；S4：主机将实时重建的人物3D模型以及面部3D模型投放到虚拟游戏场景中，并可以与虚拟游戏场景总的虚拟元素交互；S5：将玩家在规定时间内操作棋牌元素的过程和游戏时间结束时的最终牌本文档来自技高网...

【技术保护点】
1.一种多维交互识别与棋牌游戏结合的AR互动系统及方法，其特征在于：包括服务器、主机、显示单元组和人体3D骨骼数据采集以及面部识别数据采集组，所述主机与所述服务器电性双向连接，所述主机与所述显示单元组电性输出连接，所述主机与所述人体3D骨骼数据采集以及面部识别数据采集组电性输入连接。

【技术特征摘要】
1.一种多维交互识别与棋牌游戏结合的AR互动系统及方法，其特征在于：包括服务器、主机、显示单元组和人体3D骨骼数据采集以及面部识别数据采集组，所述主机与所述服务器电性双向连接，所述主机与所述显示单元组电性输出连接，所述主机与所述人体3D骨骼数据采集以及面部识别数据采集组电性输入连接。2.根据权利要求1所述的一种多维交互识别与棋牌游戏结合的AR互动系统及方法，其特征在于：所述主机包括一个或者多个包含操作系统的计算系统设备，所述显示单元组包括1组或者多组显示设备包括液晶显示器，LED屏幕以及投影机等，所述人体3D骨骼数据采集以及面部识别数据采集组包括1组或者多组人体数据采集设备，体感摄像设备或者普通摄像设备。3.一种如权利要求1所述的多维交互识别与棋牌游戏结合的AR互动系统的控制方法，其特征在于：所述多维交互识别与棋牌游戏结合的AR互动系统的控制方法的具体步骤如下：S1：利用人体3D骨骼数据采集以及面部识别数据采集组实时采集一个或多个用户的3D骨骼数据以及面部识别数据，并导入主机中的3D模型构建单元；S2：主机中的3D模型构建单元根据S1中的数据重建用户的虚拟人物模型以及面部，并导入主机中的图形图像引擎；S3：主机控制显示单元组将摄像头采集画面投放到对应的显示单元上，然后再将游戏场景的2D和3D元素画面，即棋牌元素，叠加在摄像头画面上，以搭建虚拟现实游戏场景；S4：主机将实时重建的人物3D模型以及面部3D模型投放到虚拟游戏场景中，并可以与虚拟游戏场景总的虚拟元素交互；S5：将玩家在规定时间内操作棋牌元素的过程和游戏时间结束时的最终牌面按照统一规则进行比较，以计算出获胜玩家和分数的信息；S6：利用显示单元组加载和显示与获胜玩家3D骨骼模型和失败玩家3D骨骼模型相匹配的2D和3D元素动画特效；S7：对各玩家的积分进行结算并生成积分榜，同时在显示单元组将积分榜画面显示出来，并将玩家公开信息以及统计数据如分数等上传至远程服务器单元存储，远程服务器端根据上传数据推送广告，礼品，优惠券等数据信息返回到客户...

【专利技术属性】
技术研发人员：孙建，
申请(专利权)人：上海触派科技有限公司，
类型：发明
国别省市：上海,31