一种基于图像和雷达数据的舞台交互系统技术方案

本发明专利技术公开了一种基于图像和雷达数据的舞台交互系统，包括信息采集模块、处理模块和控制模块。所述信息采集模块包括安装在舞台正前方的一台RGB摄影机和一台LiDAR激光雷达，实时探测舞台上表演者的姿态信息，作为生产姿态的训练数据或现场数据；处理模块包括姿态生成和姿态识别，姿态生成单元利用双流深度学习网络学习训练数据，产生表演者的姿态模型；姿态识别根据表演者的姿态模型识别匹配对应的预设姿态，将结果发送到控制模块。控制单元模块根据接收到的识别结果，控制舞台屏幕的显示内容随表演者姿态变化。通过上述方式，本发明专利技术能够在较高精度下使表演者可以通过动作姿态与舞台场景实时交互。

【技术实现步骤摘要】
一种基于图像和雷达数据的舞台交互系统
本专利技术属于人机交互技术，具体涉及一种基于图像和雷达数据的舞台交互系统。
技术介绍
随着艺术表演的舞美对演出效果增强作用的越发突出，传统的常规式布景式舞台已经无法满足表演者与舞台场景互动的需求，于是出现了许多舞台交互系统。现有的舞台交互系统通常使用3D体感摄影机，配合表演者身上的体感设备来捕捉表演者的姿态，或是采用激活雷达探测表演者的触控点，来实现交互。基于3D体感摄影机和体感设备来捕捉表演者姿态的舞台交互系统，其实现方法通常是借助穿戴于表演者身上的体感设备，检测表演者肢体的动作幅度并输出检测信号；3D体感摄影机检测体感信号后将信息传输给处理装置和控制装置，实现舞台交互。这种方法的优点在于可检测包括手势，姿态，表情等信息，且只需表演者穿戴设备，成本低廉。缺点是系统的检测范围有限，当表演者背对或侧对3D体感摄影机时，该交互系统都难以准确的获取表演者的姿态数据，从而也无法准确控制舞台的切换,而且体感设备在一定程度上也会影响表演者的动作美观。基于激光雷达探测表演者触控点的舞台交互系统，其实现方案本文档来自技高网...

【技术保护点】
1.一种基于图像和雷达数据的舞台交互系统，其特征在于：包括信息采集模块、处理模块和控制模块；/n所述信息采集模块，使用一台RGB摄影机和一台LiDAR激光雷达，分别对舞台进行图像拍摄和雷达探测，实时获取舞台上的表演者信息，将雷达探测得到的数据以与RGB图像相同的频率生成雷达点云图后，将RGB图像和雷达云点图作为现场数据，一同传输到处理模块中；/n所述处理模块包括姿态生成单元和姿态识别单元，姿态生成单元通过双流网络学习信息采集模块采集的数据，生成姿态集；姿态识别单元找到姿态集中的现场姿态对应的预设姿态，将识别结果发送给控制模块；/n所述双流网络包括特征提取、特征聚合与姿态生成模块；其中特征提取模...

【技术特征摘要】
1.一种基于图像和雷达数据的舞台交互系统，其特征在于：包括信息采集模块、处理模块和控制模块；
所述信息采集模块，使用一台RGB摄影机和一台LiDAR激光雷达，分别对舞台进行图像拍摄和雷达探测，实时获取舞台上的表演者信息，将雷达探测得到的数据以与RGB图像相同的频率生成雷达点云图后，将RGB图像和雷达云点图作为现场数据，一同传输到处理模块中；
所述处理模块包括姿态生成单元和姿态识别单元，姿态生成单元通过双流网络学习信息采集模块采集的数据，生成姿态集；姿态识别单元找到姿态集中的现场姿态对应的预设姿态，将识别结果发送给控制模块；
所述双流网络包括特征提取、特征聚合与姿态生成模块；其中特征提取模块首先单独处理雷达点云图得到鸟瞰图，然后利用VGG-16网络提取鸟瞰图与RGB图像特征，得到特征图；特征聚合模块根据特征图中的特征信息框选出表演者在...

【专利技术属性】
技术研发人员：吴子朝，陈豪，张成，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33