一种观众参与的提线木偶表演的人偶交互方法技术

本发明专利技术提供一种观众参与的提线木偶表演的人偶交互方法，包括：1、初始化；2、预设主线控制指令；3、执行主线控制指令；4、判断主线控制指令是否执行完毕；5、判断Kinect识别范围是否有人；6、进入互动模式，识别用户的手势和声音，判断用户的手势和声音与规范化的手势和声音是否匹配，若完全不匹配，则进入步骤3；若匹配，则识别其匹配程度，根据不同的匹配程度激活不同的辅线控制指令；7、执行辅线控制指令；8、判断辅线控制指令是否执行完毕。本发明专利技术当观众进入交互设备Kinect的识别范围，系统将由预设的主线剧情表演进入互动模式，舞美、声音、提线木偶都受观众控制，达到观众参与表演的效果。

【技术实现步骤摘要】
一种观众参与的提线木偶表演的人偶交互方法
本专利技术涉及信息
，尤其涉及一种观众参与的提线木偶表演的人偶交互方法。
技术介绍
木偶戏古称“傀儡戏”，是中国极富民间传统特色的古老戏种，蕴藏着各地各族人民的思想道德、民俗风情和审美意识。中国的木偶戏兴起于汉代，盛于明清。发展到今天，曾经辉煌灿烂的木偶戏面临很多令人堪忧的现状：表演木偶戏的老艺人多因年迈而不能演出，许多年轻艺人亦迫于生活压力无奈专业；大多学徒并不是出于对木偶戏的喜爱，仅仅是把它当作一条谋生的途径；演出大多在县以下地区进行，演出范围受限；观众多为老年人，年轻人无暇欣赏。总的来说，中国木偶艺术已经濒危。虽然木偶戏已于2006年被列入第一批国家级非物质文化遗产名录。由于受到经济的挑战、外来文化的冲击、青年人娱乐取向转变等影响，木偶艺术仍处于后继乏人的尴尬局面，使得全国各地的木偶戏正在面临空前的生存危机和失传危险。提线木偶古称“悬丝傀儡”或“线戏”，由偶头、笼腹、四肢、悬线和勾牌组成。作为中国木偶戏不可替代的一大分支，提线木偶制作精美、结构完整、独具匠心，具有极强的代表性。它侧重于夸张与变形，尤为强调人物的性格化和表现力。加之其线条繁多，操弄复杂，需要通过艺人巧妙地运用提、拨、勾、挑、扭、抡、闪、摇等极强的技巧，与我国其他传统木偶戏相比，提线木偶的表演难度最大，因而面临的生存危机与失传危险也最为严重。传统提线木偶表演对于观众来说是被动观看，观众无法参与到提线木偶表演中，演出缺乏互动性，观众体验差，大大降低了传统提线木偶戏的表现力和观赏性。
技术实现思路
本专利技术要解决的技术问题，在于提供一种观众参与的提线木偶表演的人偶交互方法，通过交互设备Kinect实时检测观众的手势、声音，利用Unity3D虚拟引擎管理整个人偶交互系统，使用C#语言完成整体的开发工作，实现交互控制功能；利用人机交互技术和数字化技术等，实现传统提线木偶与现代科学技术深度融合，给观众提供更好的欣赏体验，探索开创非物质文化遗产的数字化保护传播新模式。本专利技术的问题是这样实现的：一种观众参与的提线木偶表演的人偶交互方法，需提供一种人偶交互系统，所述人偶交互系统包括交互设备Kinect、计算机、显示屏、音箱、机械臂和提线木偶，所述人偶交互方法包括如下步骤：步骤1、将人偶交互系统进行初始化；步骤2、预设用于表演主线剧情的主线控制指令，并传输给显示屏、音箱和机械臂的微控制器；步骤3、根据传输的主线剧情对应的主线控制指令，所述显示屏显示主线剧情设定的虚拟场景和提示字幕，所述音箱播放主线剧情设定的提线木偶台词和背景音乐，所述机械臂的微控制器控制机械臂执行主线剧情设定的动作，从而带动所述提线木偶的线使得提线木偶运动；步骤4、所述计算机判断主线控制指令是否执行完毕，若是，则将所述人偶交互系统复位；若否，则进入步骤5；步骤5、判断所述交互设备Kinect的识别范围内是否有用户，若是，则获取用户的三维人体骨骼数据和音频数据，进入步骤6；否则进入步骤3；步骤6、所述人偶交互系统进入互动模式，根据所述三维人体骨骼数据和音频数据识别用户的手势和声音；将识别得到的用户的手势和声音与规范化的手势和声音进行比较，规范化的手势和声音存储在预先设定好的动作库和语音库中，判断用户的手势和声音与规范化的手势和声音是否匹配，若完全不匹配，则不改变预设的主线剧情，进入步骤3；若匹配，则识别其匹配程度，根据不同的匹配程度激活不同的辅线控制指令；步骤7、将辅线控制指令传输给显示屏、音箱和机械臂的微控制器，根据辅线控制指令，所述显示屏显示辅线剧情设定的虚拟场景和提示字幕，音箱播放辅线剧情设定的提线木偶台词和背景音乐，机械臂的微控制器控制机械臂执行辅线剧情设定的动作，带动提线木偶的线使得提线木偶运动；步骤8、计算机判断辅线控制指令是否执行完毕，若是，则将人偶交互系统复位；若否，则进入步骤5。进一步地，所述步骤2和步骤3具体为：所述主线控制指令包括主线剧情对应的图像显示信息、音频播放信息和机械控制信息，所述主线控制指令在Unity3D虚拟引擎上执行，并将执行的主线剧情对应的图像显示信息、音频播放信息和机械控制信息分别传输给显示屏、音箱和机械臂的微控制器；所述显示屏根据传输的主线剧情对应的图像显示信息显示主线剧情设定的虚拟场景和提示字幕，音箱根据主线剧情对应的音频播放信号播放主线剧情设定的提线木偶台词和背景音乐，机械臂的微控制器根据主线剧情对应的机械控制信息使得机械臂执行主线剧情设定的动作，从而带动提线木偶的线使得提线木偶运动；所述步骤7具体为：所述辅线控制指令包括辅线剧情对应的图像显示信息、音频播放信息和机械控制信息，所述辅线控制指令在Unity3D虚拟引擎上执行，并将执行的辅线剧情对应的图像显示信息、音频播放信息和机械控制信息分别传输给显示屏、音箱和机械臂的微控制器；所述显示屏根据传输的辅线剧情对应的图像显示信号显示辅线剧情设定的虚拟场景和提示字幕，音箱根据辅线剧情对应的音频播放信号播放辅线剧情设定的提线木偶台词和背景音乐，机械臂的微控制器根据辅线剧情对应的机械控制信息使得机械臂执行辅线剧情设定的动作，从而带动提线木偶的线使得提线木偶运动，将无人交互的主线剧情转换成有人交互的辅线剧情，从而完成了提线木偶与观众的互动。进一步地，所述步骤5具体为：利用交互设备Kinect的摄像头捕捉彩色帧和深度帧，获取用户所在场景的颜色深度数据，利用交互设备Kinect的软件开发工具包分析场景的颜色深度数据，若检测到颜色深度数据中存在有三维人体骨骼数据，则判断出交互设备Kinect的识别范围内有用户，则交互设备Kinect从颜色深度数据中读取用户的三维人体骨骼数据，同时利用交互设备Kinect的内置麦克风阵列捕捉声音，获取用户的音频数据，进入步骤6；若未检测到颜色深度数据中存在有三维人体骨骼数据，则判断出交互设备Kinect的识别范围内没有用户，则进入步骤3。进一步地，所述步骤6中根据三维人体骨骼数据和音频数据识别用户的手势和声音具体为：根据连续图像帧的三维人体骨骼数据，并通过人体的空间位置、形态和运动信息的变化识别用户的手势；根据连续图像帧对应的音频数据，并利用MicrosoftSpeech的语音识别API识别用户的声音。进一步地，所述步骤7中机械控制信息传输给机械臂的微控制器具体为：根据数据处理结果激活的Socket通信协议将所述机械控制信息通过Wi-Fi方式传输给机械臂的微控制器。本专利技术的优点在于：1、功能上：具有实时互动表演的功能，可突破人力限制，完成危险、枯燥动作的助演，亦可搭建动态展览区；2、结构上：对提线木偶的操作对象由木偶表演技师到可控的机械臂，对观众的识别由人眼到交互设备Kinect，向观众的展示由固定的剧情节目到灵活的实时互动表演。附图说明下面参照附图结合实施例对本专利技术作进一步的说明。图1为本专利技术一种观众参与的提线木偶表演的人偶交互方法的执行流程图。图2为本专利技术一种观众参与的提线木偶表演的人偶交互系统的结构示意图。具体实施方式为使得本专利技术更明显易懂，现以一优选实施例，并配合附图作详细说明如下。本专利技术的硬件装置包括交互设备Kinect、计算机、显示屏、音箱、机械臂。当观众进入交互设备Kinect的识别范围，系统将由预设的主线剧情表本文档来自技高网...

【技术保护点】
1.一种观众参与的提线木偶表演的人偶交互方法，其特征在于：需提供一种人偶交互系统，所述人偶交互系统包括交互设备Kinect、计算机、显示屏、音箱、机械臂和提线木偶，所述人偶交互方法包括如下步骤：步骤1、将人偶交互系统进行初始化；步骤2、预设用于表演主线剧情的主线控制指令，并传输给显示屏、音箱和机械臂的微控制器；步骤3、根据传输的主线剧情对应的主线控制指令，所述显示屏显示主线剧情设定的虚拟场景和提示字幕，所述音箱播放主线剧情设定的提线木偶台词和背景音乐，所述机械臂的微控制器控制机械臂执行主线剧情设定的动作，从而带动所述提线木偶的线使得提线木偶运动；步骤4、所述计算机判断主线控制指令是否执行完毕，若是，则将所述人偶交互系统复位；若否，则进入步骤5；步骤5、判断所述交互设备Kinect的识别范围内是否有用户，若是，则获取用户的三维人体骨骼数据和音频数据，进入步骤6；否则进入步骤3；步骤6、所述人偶交互系统进入互动模式，根据所述三维人体骨骼数据和音频数据识别用户的手势和声音；将识别得到的用户的手势和声音与规范化的手势和声音进行比较，规范化的手势和声音存储在预先设定好的动作库和语音库中，判断用户的手势和声音与规范化的手势和声音是否匹配，若完全不匹配，则不改变预设的主线剧情，进入步骤3；若匹配，则识别其匹配程度，根据不同的匹配程度激活不同的辅线控制指令；步骤7、将辅线控制指令传输给显示屏、音箱和机械臂的微控制器，根据辅线控制指令，所述显示屏显示辅线剧情设定的虚拟场景和提示字幕，音箱播放辅线剧情设定的提线木偶台词和背景音乐，机械臂的微控制器控制机械臂执行辅线剧情设定的动作，带动提线木偶的线使得提线木偶运动；步骤8、计算机判断辅线控制指令是否执行完毕，若是，则将人偶交互系统复位；若否，则进入步骤5。...

【技术特征摘要】
1.一种观众参与的提线木偶表演的人偶交互方法，其特征在于：需提供一种人偶交互系统，所述人偶交互系统包括交互设备Kinect、计算机、显示屏、音箱、机械臂和提线木偶，所述人偶交互方法包括如下步骤：步骤1、将人偶交互系统进行初始化；步骤2、预设用于表演主线剧情的主线控制指令，并传输给显示屏、音箱和机械臂的微控制器；步骤3、根据传输的主线剧情对应的主线控制指令，所述显示屏显示主线剧情设定的虚拟场景和提示字幕，所述音箱播放主线剧情设定的提线木偶台词和背景音乐，所述机械臂的微控制器控制机械臂执行主线剧情设定的动作，从而带动所述提线木偶的线使得提线木偶运动；步骤4、所述计算机判断主线控制指令是否执行完毕，若是，则将所述人偶交互系统复位；若否，则进入步骤5；步骤5、判断所述交互设备Kinect的识别范围内是否有用户，若是，则获取用户的三维人体骨骼数据和音频数据，进入步骤6；否则进入步骤3；步骤6、所述人偶交互系统进入互动模式，根据所述三维人体骨骼数据和音频数据识别用户的手势和声音；将识别得到的用户的手势和声音与规范化的手势和声音进行比较，规范化的手势和声音存储在预先设定好的动作库和语音库中，判断用户的手势和声音与规范化的手势和声音是否匹配，若完全不匹配，则不改变预设的主线剧情，进入步骤3；若匹配，则识别其匹配程度，根据不同的匹配程度激活不同的辅线控制指令；步骤7、将辅线控制指令传输给显示屏、音箱和机械臂的微控制器，根据辅线控制指令，所述显示屏显示辅线剧情设定的虚拟场景和提示字幕，音箱播放辅线剧情设定的提线木偶台词和背景音乐，机械臂的微控制器控制机械臂执行辅线剧情设定的动作，带动提线木偶的线使得提线木偶运动；步骤8、计算机判断辅线控制指令是否执行完毕，若是，则将人偶交互系统复位；若否，则进入步骤5。2.如权利要求1所述的一种观众参与的提线木偶表演的人偶交互方法，其特征在于：所述步骤2和步骤3具体为：所述主线控制指令包括主线剧情对应的图像显示信息、音频播放信息和机械控制信息，所述主线控制指令在Unity3D虚拟引擎上执行，并将执行的主线剧情对应的图像显示信息、音频播放信息和机械控制信息分别传输给显示屏、音箱和机械臂的微控制器；所述显示屏根据传输的主线剧情对应的图像显示信息显示主线剧情设定的虚拟场景和提示字幕，音箱根据主线剧情对应...

【专利技术属性】
技术研发人员：姚俊峰，佘莹莹，林孟葳，陈锦，高超，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35