基于动作分解和行为分析实现实景游戏的方法技术

本发明专利技术涉及实现实景游戏的方法，按以下步骤进行：(1)建立人体骨架模型；(2)离线建立游戏动作库，按游戏项目分别建立动作库，对单个语义动作进行多帧动作分解；(3)对双目摄像机标定获取双目摄像机参数和极线校准；(5)背景建模；(6)选择交互式特征标记物；(7)前景分割；(8)初始化特征标记物信息；(9)人脸及肤色检测；(10)多目标跟踪；(11)稀疏立体匹配；(12)3D骨架获取；(13)与离线动作库中动作进行匹配实现动作识别，结合单帧图像分析匹配和多帧图像分析匹配。得到语义动作后传递到游戏执行单元，实现实景游戏功能。本发明专利技术具有交互性更强、操作更简便、真实感更强，成本低的游戏实现方法，更适合普通大众广泛接受。

【技术实现步骤摘要】

本专利技术涉及一种。
技术介绍
目前游戏市场发展迅速，各种游戏主机层出不穷，并搭配有丰富多彩的游戏软件， 以满足消费者的需求。游戏的交互方式，从早期的通过键盘与游戏操作手柄来进行，渐渐的进化成基于重力、速度等传感器的方式。早期的通过键盘和手柄来操作游戏的方式，游戏者往往是长时间不断的坐在屏幕前操作游戏，对游戏者的身体健康状况有很大的伤害。而基于传感器的实景游戏仍然存在可玩性和方便性不高的缺点，而且成本较高。因此需要一种互动性更好，操作起来更方便，给游戏者真实感更强，成本更低的工作模式来提高游戏的可玩性和满足普通大众广泛接受要求。
技术实现思路
本专利技术的目的为了克服上述现有技术存在的问题及缺点，提供一种，本专利技术具有交互性更强、操作更简便、真实感更强，成本低廉的实景游戏实现方法。基于动作分解和行为分析实现实景游戏的装置，包括双目同步摄像机、游戏主机、 图像画面显示器和多种特征标记物，其中游戏主机分为四个模块1)预装数据库模块；2)时序控制模块；3)图像分析获取人体行为指令模块；4)游戏执行模块，装置结构图如图1所示；双目同步摄像机与游戏主机通过数据线连接，游戏主机与图像画面显示器通过数据线连接，多种特征标记物佩戴在使用者的人体关键关节上。所述的预装数据库模块为行为指令分析模块和游戏执行模型所共享。所述的时序控制模块实现行为指令信息和通信指令信号在预装数据库模块、行为指令分析模块和游戏执行模块之间进行传输和执行。本装置的使用方式为使用者有选择的在人体关键关节上佩戴特征标记物，双目同步摄像机实时获取佩戴有特征标记物的使用者的运动状态图像，游戏主机的行为指令生成机构读取双目摄像机拍摄的双目图像，进行人体姿势分析，得到人体姿势指令后，将该指令发送到游戏执行单元，实现让虚拟人物按使用者动作方式进行动作，游戏执行单元将生成的游戏图像传送到图像画面显示器。预装数据库模块的信息包括人体骨架模型和游戏动作分解姿势库，以上信息预装在游戏主机内部。游戏时，通过交互方式，使用者选择特征标记物，配置多种特征标记物是避免和游戏者服装或背景相冲突而导致特征目标无法检测，在进行实际游戏时根据游戏类型的需要选择佩戴特征标记物及特征标记物的个数。标记物体积小，重量轻，方便游戏者佩戴，并对游戏者的操作无任何限制和影响。游戏主机的行为指令生成机构通过分析获取的双目图像产生捕捉到的姿势信息，与游戏执行单元进行通信，使得游戏执行单元中的虚拟人物按使用者的动作方式进行动作。，按以下步骤进行(1)在离线状态下，在游戏主机内建立人体骨架模型；( 在离线状态下，以人体骨架模型在游戏主机内建立游戏动作库，按游戏类型分别建立动作库，并对单个语义动作进行多帧动作分解；(3) 在离线状态下，对双目摄像机进行标定获取双目摄像机参数及双目摄像机极线校准；(4) 在游戏主机内建立背景模型；( 游戏者人体关键节点处佩戴特征标记物；(6)游戏主机通过双目同步摄像机及背景模型对游戏区域进行前景分割；(7)游戏主机通过双目同步摄像机初始化游戏者佩戴的特征标记物，并获取特征标记物的位置信息及对应的肢体名称，获取游戏者的身体尺寸信息并保存；(8)游戏主机通过双目同步摄像机对人脸及肤色进行检测，获取人体关键节点位置信息；(9)游戏主机通过双目同步摄像机对脸部、双手及特征标记物进行跟踪，获取游戏者感兴趣区域块而得到连续人体关键节点区域位置信息；(10)游戏主机通过双目同步摄像机对左右图像中的脸部、双手及特征标记物进行稀疏立体匹配， 获取游戏者各肢体部位在左右图像上的视差信息；(11)游戏主机通过双目同步摄像机对各肢体部位空间坐标信息获取，实时获取人体3D骨架模型并进行归一化处理并获得标准人体模型；(12)游戏主机将游戏者的动作与离线动作库中动作进行匹配实现动作识别，结合单帧图像分析匹配和多帧图像分析匹配，进行动作识别，得到语义动作后传递到游戏主机的执行单元，实现实景游戏。在本专利技术中，游戏装置可以执行多种游戏，如网球，羽毛球，乒乓球游戏等。每一个游戏中涉及到多个动作，游戏主机的执行单元根据游戏动作识别单元发送的指令，控制游戏中的虚拟角色的行为，并将结果作为游戏画面而进行显示并输出。在本专利技术中，不需要与游戏者进行接触就可以理解游戏者的动作行为。双目摄像机构采集到游戏者的图像数据，然后由图像分析单元识别出游戏者的姿态行为，并能分析出游戏者动作的快慢，进而生成游戏指令控制游戏中的虚拟角色的行为。附图说明 获取双目摄像机的内参参数(焦距f，中心位置)及外参参数(空间位置关系)。 得到参数保存为文件。同时打开双目摄像机，调整左右摄像机焦距使得观察1.5m左右(Hm范围)处景物，左右图像达到基本相同清晰度。采用张正友摄像机标定方法，选择黑白棋盘格平板为标定样品。根据图像坐标与世界坐标间的转换关系如式⑴所示二维图像坐标(u，v)，空间世界坐标(X，Y，Z)，摄像机系统内部参数(fx，fy，u。，v。)。世界坐标经过外参矩阵(R3*3为旋转矩阵，为平移矩阵)变化后转换为摄像机坐标，摄像机坐标经过摄像机内参矩阵变换后转换为图像坐标。权利要求1.，其特征在于按以下步骤进行(1) 在离线状态下，在游戏主机内建立人体骨架模型；(2)在离线状态下，以人体骨架模型在游戏主机内建立游戏动作库，按游戏类型分别建立动作库，并对单个语义动作进行多帧动作分解；C3)在离线状态下，对双目摄像机进行标定获取双目摄像机参数及双目摄像机极线校准；(4)在游戏主机内建立背景模型；( 游戏者人体关键节点处佩戴特征标记物；(6) 游戏主机通过双目同步摄像机及背景模型对游戏区域进行前景分割；(7)游戏主机通过双目同步摄像机初始化游戏者佩戴的特征标记物，并获取特征标记物的位置信息及对应的肢体名称，获取游戏者的身体尺寸信息并保存；(8)游戏主机通过双目同步摄像机对人脸及肤色进行检测，获取人体关键节点位置信息；(9)游戏主机通过双目同步摄像机对脸部、双手及特征标记物进行跟踪，获取游戏者感兴趣区域块而得到连续人体关键节点区域位置信息；(10)游戏主机通过双目同步摄像机对左右图像中的脸部、双手及特征标记物进行稀疏立体匹配，获取游戏者各肢体部位在左右图像上的视差信息；(11)游戏主机通过双目同步摄像机对各肢体部位空间坐标信息获取，实时获取人体3D骨架模型并进行归一化处理并获得标准人体模型；(12)游戏主机将游戏者的动作与离线动作库中动作进行匹配实现动作识别，结合单帧图像分析匹配和多帧图像分析匹配，进行动作识别，得到语义动作后传递到游戏主机的执行单元，实现实景游戏。2.根据权利要求1所述的方法，其特征在于所述的建立人体骨架模型主要为将人体模型中的头部、左肩、右肩、左肘、右肘、左手、右手、腹部、左髋、右髋、左膝、右膝、左脚、右脚的关健节点建立标准人体模型。3.根据权利要求1所述的方法，其特征在于所述的建立游戏动作库为将游戏中涉及到的动作进行捕捉并建立动作库，并根据游戏名称划分动作库，每一款游戏配置一个动作库，以文件形式保存。4.根据权利要求1所述的方法，其特征在于建立背景模型在无人场景内对背景区域进行高斯混合模型建模，学习模型参数，对每个像素建立一个混合高斯分布保证第一帧的学习率为1，初始化第一个分布后，后面按设置的学习率更新模型参数，学习过程中本文档来自技高网...

【技术保护点】
１．基于动作分解和行为分析实现实景游戏的方法，其特征在于按以下步骤进行：（１）在离线状态下，在游戏主机内建立人体骨架模型；（２）在离线状态下，以人体骨架模型在游戏主机内建立游戏动作库，按游戏类型分别建立动作库，并对单个语义动作进行多帧动作分解；（３）在离线状态下，对双目摄像机进行标定获取双目摄像机参数及双目摄像机极线校准；（４）在游戏主机内建立背景模型；（５）游戏者人体关键节点处佩戴特征标记物；（６）游戏主机通过双目同步摄像机及背景模型对游戏区域进行前景分割；（７）游戏主机通过双目同步摄像机初始化游戏者佩戴的特征标记物，并获取特征标记物的位置信息及对应的肢体名称，获取游戏者的身体尺寸信息并保存；（８）游戏主机通过双目同步摄像机对人脸及肤色进行检测，获取人体关键节点位置信息；（９）游戏主机通过双目同步摄像机对脸部、双手及特征标记物进行跟踪，获取游戏者感兴趣区域块而得到连续人体关键节点区域位置信息；（１０）游戏主机通过双目同步摄像机对左右图像中的脸部、双手及特征标记物进行稀疏立体匹配，获取游戏者各肢体部位在左右图像上的视差信息；（１１）游戏主机通过双目同步摄像机对各肢体部位空间坐标信息获取，实时获取人体３Ｄ骨架模型并进行归一化处理并获得标准人体模型；（１２）游戏主机将游戏者的动作与离线动作库中动作进行匹配实现动作识别，结合单帧图像分析匹配和多帧图像分析匹配，进行动作识别，得到语义动作后传递到游戏主机的执行单元，实现实景游戏。...

【技术特征摘要】

【专利技术属性】
技术研发人员：黄立，
申请(专利权)人：武汉市高德电气有限公司，
类型：发明
国别省市：83