歌剧虚拟同步指挥方法及系统技术方案

本发明专利技术公开一种歌剧虚拟同步指挥方法及系统，能够复现指挥棒的动作。所述方法包括：S1、利用RGBD动作捕捉设备捕捉图像采集区域的图像，并判断所述图像是否为待模拟指挥棒的图像，其中，所述RGBD动作捕捉设备的识别骨骼包括预先设置的1个指挥棒骨骼；S2、若所述图像为所述指挥棒的图像，则获取所述指挥棒的骨骼的空间位置数据；S3、利用图形渲染引擎对所述空间位置数据进行处理，得到所述指挥棒动画。

【技术实现步骤摘要】

本专利技术涉及动作捕捉和人机交互领域，具体涉及一种歌剧虚拟同步指挥方法及系 统。
技术介绍
动作捕捉设备已经大量地运用到各种专业领域，随之带来的动作捕捉技术已经成 为前沿技术并且已经融入到了传统的人机交互领域，为全新的人机交互方式打开了思路。 RGBD动作捕捉设备凭借快速、简单、易开发等一系列优势成为大众所熟知的动作捕捉设备 之一。 当通过RGBD动作捕捉设备对指挥家进行动作捕捉并远程指挥歌剧演出的时候，由 于RGBD动作捕捉设备自身只能识别人体的20个骨骼节点，不能对指挥棒进行动作捕捉，只 能复现指挥家本人的动作而不能复现指挥棒的动作。
技术实现思路
本专利技术的目的在于，提供一种歌剧虚拟同步指挥方法及系统，能够复现指挥棒的 动作。 为此目的，一方面，本专利技术提出一种歌剧虚拟同步指挥方法，包括： S1、利用RGBD动作捕捉设备捕捉图像采集区域的图像，并判断所述图像是否为待 模拟指挥棒的图像，其中，所述RGBD动作捕捉设备的识别骨骼包括预先设置的1个指挥棒骨 骼； S2、若所述图像为所述指挥棒的图像，则获取所述指挥棒的骨骼的空间位置数据； S3、利用图形渲染引擎对所述空间位置数据进行处理，得到所述指挥棒动画。 另一方面，本专利技术提出一种歌剧虚拟同步指挥系统，包括： RGBD动作捕捉设备，用于捕捉图像采集区域的图像，其中，所述RGBD动作捕捉设备 的识别骨骼包括预先设置的1个指挥棒骨骼；第一判断单元，用于判断所述RGBD动作捕捉设备捕捉的图像是否为待模拟指挥棒 的图像； 位置数据获取单元，用于若所述第一判断单元确定出所述图像为所述指挥棒的图 像，则获取所述指挥棒的骨骼的空间位置数据； 图形渲染引擎，用于对所述位置数据获取单元获取的空间位置数据进行处理，得 到所述指挥棒动画。 本专利技术实施例所述的歌剧虚拟同步指挥方法及系统，通过为指挥棒增加骨骼，从 而能够复现指挥棒的动作，有助于实现全方位的指挥模拟。【附图说明】 图1为本专利技术一种歌剧虚拟同步指挥方法一实施例的流程示意图； 图2为本专利技术一种歌剧虚拟同步指挥方法另一实施例的流程示意图； 图3为本专利技术一种歌剧虚拟同步指挥系统一实施例的结构示意图。【具体实施方式】 为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例 中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术 一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有 做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。 参看图1，本实施例公开一种歌剧虚拟同步指挥方法，包括： S1、利用RGBD动作捕捉设备(所述RGBD动作捕捉设备可以为Kinect动作捕捉设备、 Kinect2.0动作捕捉设备、Asus Xtion动作捕捉设备或者Intel RealSense动作捕捉设备） 捕捉图像采集区域的图像，并判断所述图像是否为待模拟指挥棒的图像，其中，所述RGBD动 作捕捉设备的识别骨骼包括预先设置的1个指挥棒骨骼； S2、若所述图像为所述指挥棒的图像，则获取所述指挥棒的骨骼的空间位置数据； S3、利用图形渲染引擎对所述空间位置数据进行处理，得到所述指挥棒动画（指空 间位置数据传输给三维仿真引擎用来驱动虚拟指挥棒的运动）。 本专利技术实施例所述的歌剧虚拟同步指挥方法，通过为指挥棒增加骨骼，从而能够 复现指挥棒的动作，有助于实现全方位的指挥模拟。 可选地，在本专利技术歌剧虚拟同步指挥方法的另一实施例中，所述判断所述图像是 否为待模拟指挥棒的图像，包括： 对所述图像中的手部区域进行定位； 利用定位结果进行所述指挥棒识别，若识别出所述指挥棒，则确定所述图像为所 述指挥棒的图像，否则，则确定所述图像不是所述指挥棒的图像。 本专利技术实施例所涉及的指挥棒识别的伪码为： 指挥棒识别算法(） { 获取RGBD动作捕捉设备捕捉的图像数据 手区域定位 手区域外观识别 提取指挥棒骨胳 输出指挥棒的骨骼 可选地，在本专利技术歌剧虚拟同步指挥方法的另一实施例中，若确定出所述图像不 是所述指挥棒的图像，则跳转至步骤S1执行。 可选地，在本专利技术歌剧虚拟同步指挥方法的另一实施例中，在所述利用定位结果 进行所述指挥棒识别之前，还包括： 利用识别模型（比如SVM、RF、AddGhost等识别模型)对指挥棒的识别进行训练。 可选地，在本专利技术歌剧虚拟同步指挥方法的另一实施例中，捕捉到的图像包括RGB 数值以及Depth深度数据（深度数据包括640*480pdi、320*240pdi和80*60pdi三种级别，深 度数据以毫米为单位为传感器的视野范围内的每一个像素点提供距离数据）。可选地，在本专利技术歌剧虚拟同步指挥方法的另一实施例中，在所述S3之前，还包 括：对所述空间位置数据进行平滑。 本专利技术实施例中，进行平滑是指，对骨骼空间位置数据利用线性或者非线性插值 方法进行数据平滑，保证骨骼运动的流畅度，避免运动数据的丢失或者畸形。所涉及的动画 显示的伪码为： 指挥棒动画显示算法(指挥棒骨骼数据） { do 平滑骨骼帧 获取该帧数据 将该帧数据存储到数据集中 将数据集中的数据传输到引擎中 由引擎渲染显示指挥棒的动作 }while (是否能够获取新的指挥棒喊数据） }? 可选地，在本专利技术歌剧虚拟同步指挥方法的另一实施例中，在所述S3之前，还包 括： 根据所述空间位置数据以及历史空间位置数据判断所述骨骼的运动轨迹是否符 合预设的运动轨迹，若符合，则跳转至步骤S3。 本专利技术实施例中，若指挥棒骨骼的运动轨迹不符合预设的运动轨迹，则可以结束 算法。 下面对本专利技术一具体实施例进行详细介绍。 参看图2,本专利技术歌剧虚拟同步指挥方法具体包括如下步骤：步骤1，在RGBD动作捕捉设备中为指挥棒设置1个指挥棒骨骼；<当前第1页1 2 本文档来自技高网...

【技术保护点】
一种歌剧虚拟同步指挥方法，其特征在于，包括：S1、利用RGBD动作捕捉设备捕捉图像采集区域的图像，并判断所述图像是否为待模拟指挥棒的图像，其中，所述RGBD动作捕捉设备的识别骨骼包括预先设置的1个指挥棒骨骼；S2、若所述图像为所述指挥棒的图像，则获取所述指挥棒的骨骼的空间位置数据；S3、利用图形渲染引擎对所述空间位置数据进行处理，得到所述指挥棒动画。

【技术特征摘要】

【专利技术属性】
技术研发人员：梁栋，吴玉峰，丁刚毅，张龙飞，查晨，李鹏，杜锦，俞峰，刘畅，陈洋，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11