剧场表演重建方法及装置制造方法及图纸

本发明专利技术实施例提供一种剧场表演重建方法及装置，属于三维重建技术领域。包括：采集剧场表演的全景数据；对全景数据进行预处理，得到剧场表演数据，对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。由于可以对剧场表演元素进行重建，从而可以帮助剧组人员全方位的了解剧场表演的三维场景，并且可以随时随地对各剧场表演元素进行指导调整，提高工作效率。其次，演出团队也可以利用重建的剧场表演元素查看自己的排练效果，动作表情是否到位，以及每一个情节的台词、站位等，为演员提供一个方便的辅助工具。

Theatre Performance Reconstruction Method and Device

【技术实现步骤摘要】
剧场表演重建方法及装置
本专利技术实施例涉及三维重建
，尤其涉及一种剧场表演重建方法及装置。
技术介绍
在剧场演出的创作过程中，需要对多种表演元素进行反复的排练和合成。这些剧场表演元素包括每个演员的表演内容，以及舞台布景、背景音乐、灯光、特效、道具等随空间和时间的变化。对于每个演员，需要学习所扮演角色的台词、表情、动作、站位，以及与其他角色的关系；对于舞美道具部门，需要了解布景、道具随位置和时间的变化；对于音响部门，需要知道音效的播放方案及其具体时间点；对于灯光部门，需要知道切换灯光效果的具体时间点。在剧场演出的创作过程中，这些表演元素会不断地修改并被重新合成，从而需要一个记录工具来辅助创作团队记录不同剧场表演元素的排练过程，以及各个剧场表演元素在时间和空间维度上的相互关系。最常见的记录工具是视频录像，但是表演视频无法记录剧场表演元素的三维信息，也不能对单个表演元素进行分类记录。因此，现在急需一种剧场表演重建方法进行记录。
技术实现思路
为了解决上述问题，本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的剧场表演重建方法及装置。根据本专利技术实施例的第一方面，提供了一种剧场表演重建方法，包括：采集剧场表演的全景数据，全景数据包括全景视频、定标全景图像及剧场表演音效；对全景数据进行预处理，得到剧场表演数据，对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。根据本专利技术实施例的第二方面，提供了一种剧场表演重建装置，包括：采集模块，用于采集剧场表演的全景数据，全景数据包括全景视频、定标全景图像及剧场表演音效；预处理模块，用于对全景数据进行预处理，得到剧场表演数据；标注模块，用于对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。根据本专利技术实施例的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的剧场表演重建方法。根据本专利技术的第四方面，提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的剧场表演重建方法。本专利技术实施例提供的剧场表演元素识别方法及装置，通过采集剧场表演的全景数据，对全景数据进行预处理，得到剧场表演数据，对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。由于可以对剧场表演元素的重建，从而可以帮助剧组人员全方位的了解剧场表演的三维场景，并且可以随时随地对各剧场表演元素进行指导调整，提高工作效率。其次，演出团队也可以利用重建的剧场表演元素查看自己的排练效果，动作表情是否到位，以及每一个情节的台词、站位等，为演员提供一个方便的辅助工具。最后，每个剧场表演元素都可以单独控制，方便编导、演员、舞美、灯光等各个部门查看自己对应的部分，同时也可以看到整个剧场表演的全貌，提高了工作效率，也为剧场工作者提供更好的工作体验。应当理解的是，以上的一般描述和后文的细节描述是示例性和解释性的，并不能限制本专利技术实施例。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种剧场表演重建方法的流程示意图；图2为本专利技术实施例提供的一种数据采集模块的工作原理示意图；图3为本专利技术实施例提供的一种数据处理模块、数据标注和展示模块之间的工作原理示意图；图4为本专利技术实施例提供的一种剧场表演重建系统的结构示意图；图5为本专利技术实施例提供的一种剧场表演重建装置的结构示意图；图6为本专利技术实施例提供的一种电子设备的框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。随着三维重建、动作捕捉、人脸识别、表情识别、光场重建以及全景视频等技术的成熟，更加完整的剧场表演元素记录成为可能。三维重建技术可以获取舞台的深度信息，并根据点云数据的配准融合，实现表演场景的重建；动作捕捉、表情识别、声音捕捉等技术也可以记录与演员相关的表演元素；光场和声场的重建技术可以对舞台声光效果进行重建。基于上述原理，可以针对剧场表演的各表演元素进行重建，以使得重建的范围相对更加广泛和完整。相应地，剧组工作人员对于剧场表演的指导工作就不再限制于真实的剧场环境，演出团队也可以利用重建的表演元素数据更加了解和完善自己的表演。同时，这些表演元素数据还可以用于创作新媒体内容。本专利技术实施例提出了一个基于全景相机的剧场表演重建方法，利用一台全景相机捕捉剧场表演的全景视频，使用场景三维重建、动作捕捉、人脸识别、表情识别、光场重建等多种技术对剧场表演元素进行重建，并通过数据处理对表演元素进行标注，获得各个表演元素数据，可以为剧场表演的编导、演员、舞美、灯光等各个部门提供排练和演出的数据支持。需要说明的是，本专利技术实施例提供的方法，可以适用于不同的剧场表演形式，包括且不限于话剧、歌剧、舞剧、曲艺、杂技、魔术、音乐等多种表演形式。参见图1，该方法包括：101、采集剧场表演的全景数据，全景数据包括全景视频、定标全景图像及剧场表演音效；102、对全景数据进行预处理，得到剧场表演数据；103、对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。其中，全景数据的采集可以通过数据采集模块实现，本专利技术实施例对此不作具体限定。数据采集模块可以包括且不限于一个全景相机、一个声音捕捉设备和数据采集服务器，如图2所示。全景相机用于对剧院表演进行多相机拍摄，声音捕捉设备用于采集表演的音频数据。数据采集模块可以采集剧场表演的全景视频数据、音频数据和定标全景图像数据。定标全景图像可以包括两个部分：多相机几何定标的多幅全景图像数据，和记录不同照明方案的全景图像数据。其中，多相机几何定标的全景图像是指放置好标定物后，从不同方向和距离拍摄的全景图像，用于相机标定和校正。其中。记录不同照明方案的全景图像是指涵盖所有光照方案的全景图像合集，以用于对光场的重建。数据采集完成后，数据采集服务器可将全景视频数据、音频数据和定标全景图像发送给数据处理模块，以通过数据处理模块执行步骤102。步骤103可以通过数据标注和展示模块实现，通过对剧场表演数据进行数据标注，可以使得每种剧场表演数据与剧场表演元素相对应，从而形成完整的剧场表演元素，并最终以三维重建的形式进行呈现。本专利技术实施例提供的方法，通过采集剧场表演的全景数据，对全景数据进行预处理，得到剧场表演数据，对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建本文档来自技高网...

【技术保护点】
1.一种剧场表演重建方法，其特征在于，包括：采集剧场表演的全景数据，所述全景数据包括全景视频、定标全景图像及剧场表演音效；对所述全景数据进行预处理，得到剧场表演数据，对所述剧场表演数据进行数据标注，以使得所述剧场表演数据与剧场表演元素相对应，得到三维重建结果。

【技术特征摘要】
1.一种剧场表演重建方法，其特征在于，包括：采集剧场表演的全景数据，所述全景数据包括全景视频、定标全景图像及剧场表演音效；对所述全景数据进行预处理，得到剧场表演数据，对所述剧场表演数据进行数据标注，以使得所述剧场表演数据与剧场表演元素相对应，得到三维重建结果。2.根据权利要求1所述的方法，其特征在于，所述剧场表演数据包括点云数据及相机姿态数据；相应地，所述对所述全景数据进行预处理，得到剧场表演数据，包括：提取所述定标全景图像中标定物的特征点，根据所述特征点，计算相机的内外参数和畸变参数；根据所述内外参数及所述畸变参数，对所述全景视频中的关键帧进行畸变校正，基于畸变校正后的关键帧进行三维重建，得到所述点云数据及所述相机姿态。3.根据权利要求1所述的方法，其特征在于，所述剧场表演数据包括演员动作数据；相应地，所述对所述全景数据进行预处理，得到剧场表演数据，包括：基于所述全景视频中的人物位置，通过深度学习模型对人体关节点进行预测，并确定人体轮廓信息；根据所述人体轮廓信息，对人体进行三维建模，得到所述演员动作数据。4.根据权利要求1所述的方法，其特征在于，所述剧场表演数据包括面部特征信息；相应地，所述对所述全景数据进行预处理，得到剧场表演数据，包括：对所述全景视频进行脸部特征点匹配，得到所述面部特征信息。5.根据权利要求1所述的方法，其特征在于，所述剧场表演数据包括演员台词数据及剧场音效数据；相应地，所述对所述全景数...

【专利技术属性】
技术研发人员：李红松，何林家，薛彤，饶植，段才童，丁刚毅，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11