【技术实现步骤摘要】
本专利技术属于计算机视觉处理，具体地说，涉及一种支持户外led屏的实时互动裸眼3d虚拟场景系统。
技术介绍
1、户外led显示屏是面积一般几十平方米至几百平方米甚至更大，亮度高、视角大可在阳光下工作，具有一定的防风、防雨、防水功能，主要用于户外广告、车站、广场、商场等。
2、裸眼3d视觉技术，是在二维画面中借助物体的远近、大小、阴影效果、透视关系、空间设计等构建出三维立体的效果，利用视觉错觉和心理暗示使观看者产生3d视觉体验。在建筑的led曲面屏、转角屏上，呈现符合透视原理的动态图像，当人站在转角的前方观看时，便同时看到物体的侧面和正面，呈现逼真的立体效果。观看者无需借助3d眼镜等辅助设备即可看到有空间感、立体感的画面，视觉冲击力强。
3、目前，现有户外led大屏实时互动技术没有裸眼3d虚拟场景及虚拟人的技术应用，同时现有户外led大屏的裸眼3d技术没有实时互动虚拟场景及虚拟人的技术应用，裸眼3d效果的离线制作流程与实时互动技术的技术应用的结合需要技术研发并应用。
技术实现思路
1、要解决的问题
2、针对现有户外led大屏实时互动技术没有裸眼3d虚拟场景及虚拟人的技术应用，同时现有户外led大屏的裸眼3d技术没有实时互动虚拟场景及虚拟人的技术应用，裸眼3d效果的离线制作流程与实时互动技术的技术应用的结合需要技术研发并应用的问题，本专利技术提供一种支持户外led屏的实时互动裸眼3d虚拟场景系统。
3、技术方案
4、为解决上述
5、一种支持户外led屏的实时互动裸眼3d虚拟场景系统，包括：
6、摄像采集模块，用于在户外现场拍摄采集参与者的表情和身体动作，发送拍摄的数据；
7、识别分析模块，用于接收摄像采集模块发送的数据，安装引擎软件，使用引擎软件建立虚拟场景和虚拟人物；
8、画面生成模块，用于进行互动信息同语音和文字信息输出，渲染生成输出裸眼3d播放画面；
9、播放显示模块，用于通过播放软件和设备将生成的语音和文字信息以字幕显示和声音播放的形式展现，将引擎软件实时输出的裸眼3d画面传输到户外led大屏屏幕。
10、优选地，所述摄像采集模块包括拍摄模块、分析模块、通信模块；
11、拍摄模块，用于使用深度相机拍摄采集参与者的脸部表情和身体动作；
12、分析模块，用于对拍摄模块拍摄采集的数据进行分析判断，进行降噪、去抖动、前景检测、校正畸变和压缩编码处理；
13、通信模块，用于使用5g网络通信信号将数据发送传输给分析模块。
14、进一步地，所述降噪是使用小波去噪算法去除视频图像中的高频噪声和低频噪声，降噪流程如下：
15、s01、先采用小波分解将原始视频图像映射到小波域中，得到视频图像的小波系数；
16、s02、在小波域中，对小波系数进行软阈值处理，用比噪声幅值大的阈值代替小于该阈值的幅值，并将其余的幅值缩小一个常数因子，去除小波系数中的噪声部分；
17、s03、对去噪后的小波系数进行反小波变换，恢复出去噪后的视频图像。
18、进一步地，所述校正畸变是采用透视模型作为畸变模型，采用参考标定板对深度相机进行标定，在不同位置和角度下采集多幅视频图像，获取标定视频图像的畸变参数；对标定视频图像进行畸变校正，获取畸变后的视频图像，采用最小二乘法拟合畸变模型的参数；最后将目标视频图像输入畸变模型，利用拟合参数进行畸变校正，得到畸变校正后的视频图像。
19、优选地，所述识别分析模块包括插件链接模块、模型制作模块和数据应用模块；
20、插件链接模块，用于与通信模块建立网络通讯，让引擎软件与分析模块进行实时网络链接，将拍摄、采集和分析后的数据输出给引擎软件；
21、模型制作模块，用于通过三维动画制作在引擎软件上建立虚拟场景和虚拟人物；
22、数据应用模块，用于通过引擎软件的数据重定向功能将接收的数据应用到虚拟场景和虚拟人物中。
23、进一步地，所述模型制作模块建立虚拟场景和虚拟人物是使用三维动画制作软件创建三维模型并设定材质、纹理属性；再预设动画库，给模型添加动画效果；在引擎软件中创建虚拟场景，将三维模型以及其动画效果导入引擎软件中，并进行灯光、阴影和特效设置；添加控制器，对虚拟人物的动作进行交互控制；进行测试，检查动画和交互效果，不断调整和优化，直至达到理想的效果。
24、进一步地，所述数据应用模块将数据应用到虚拟场景和虚拟人物中中具体流程如下：
25、g01、先再引擎软件中创建数据重定向通道；
26、g02、再根据需要，选择收集的数据类型，定义数据的格式、协议；
27、g03、在虚拟场景中对被控制的虚拟人物进行编程，使其能够将接收到的数据用于运动状态的控制；
28、g04、将数据重定向通道接收接收摄像采集模块发送的数据，使数据传输到引擎软件中；
29、g05、在程序中监听数据变化事件，将接收到的数据与编程中定义好的对象进行关联，实现对虚拟场景和虚拟人物的控制。
30、优选地，所述画面生成模块包括语音文字模块和渲染输出模块；
31、语音文字模块，用于使用文字转语音、语音转文字技术互动信息，将语音和文字信息输出给播放软件和设备；
32、渲染输出模块，用于驱动虚拟场景及虚拟人的表情、口型、动作、造型和服装变换效果，运用引擎软件的实时渲染功能输出裸眼3d播放画面。
33、进一步地，所述文字转语音的流程如下：
34、h01、先输入需要转换成语音的文本内容，同时指定发音人、语速、语调参数；
35、h02、对输入的文本进行处理，包括分词、语法树分析、情感分析；
36、h03、使用语音合成引擎对输入的文本进行语音合成，生成相应的声音文件；
37、h04、将生成的语音文件播放出来，输出转换后的语音；
38、所述语音转文字的流程如下：
39、k01、采集语音信号，对语音信号进行预处理，包括降噪、滤波、增益处理；
40、k02、对预处理后的语音信号进行特征提取，包括短时能量、过零率、倒谱系数，将语音信号转换为数字化的特征向量；
41、k03、使用语音识别引擎进行语音识别，分为前端处理和后端处理两部分，前端处理：包括语音信号的预处理、特征提取、归一化，将语音信号转换为数字化的特征向量序列；后端处理：利用隐马尔科夫模型对特征向量序列进行处理，计算并输出文本。
42、进一步地，所述渲染输出模块的实时渲染输出的流程如下：
43、j01、先通过图形渲染技术为虚拟场景提供高质量图像展示，从场景编辑器获取场景数据，将其转换成能够被渲染的图形模型，在屏幕上显示出来，同时处理虚拟角色与场景的交互，使角色与场景的交互更加逼真；...
【技术保护点】
1.一种支持户外LED屏的实时互动裸眼3D虚拟场景系统，其特征在于，包括：
2.根据权利要求1所述的一种支持户外LED屏的实时互动裸眼3D虚拟场景系统，其特征在于：所述摄像采集模块包括拍摄模块、分析模块、通信模块；
3.根据权利要求2所述的一种支持户外LED屏的实时互动裸眼3D虚拟场景系统，其特征在于：所述降噪是使用小波去噪算法去除视频图像中的高频噪声和低频噪声，降噪流程如下：
4.根据权利要求2所述的一种支持户外LED屏的实时互动裸眼3D虚拟场景系统，其特征在于：所述校正畸变是采用透视模型作为畸变模型，采用参考标定板对深度相机进行标定，在不同位置和角度下采集多幅视频图像，获取标定视频图像的畸变参数；对标定视频图像进行畸变校正，获取畸变后的视频图像，采用最小二乘法拟合畸变模型的参数；最后将目标视频图像输入畸变模型，利用拟合参数进行畸变校正，得到畸变校正后的视频图像。
5.根据权利要求1所述的一种支持户外LED屏的实时互动裸眼3D虚拟场景系统，其特征在于：所述识别分析模块包括插件链接模块、模型制作模块和数据应用模块；
6.
7.根据权利要求5所述的一种支持户外LED屏的实时互动裸眼3D虚拟场景系统，其特征在于：所述数据应用模块将数据应用到虚拟场景和虚拟人物中中具体流程如下：
8.根据权利要求1所述的一种支持户外LED屏的实时互动裸眼3D虚拟场景系统，其特征在于：所述画面生成模块包括语音文字模块和渲染输出模块；
9.根据权利要求8所述的一种支持户外LED屏的实时互动裸眼3D虚拟场景系统，其特征在于：所述文字转语音的流程如下：
10.根据权利要求8所述的一种支持户外LED屏的实时互动裸眼3D虚拟场景系统，其特征在于：所述渲染输出模块的实时渲染输出的流程如下：
...【技术特征摘要】
1.一种支持户外led屏的实时互动裸眼3d虚拟场景系统，其特征在于，包括：
2.根据权利要求1所述的一种支持户外led屏的实时互动裸眼3d虚拟场景系统，其特征在于：所述摄像采集模块包括拍摄模块、分析模块、通信模块；
3.根据权利要求2所述的一种支持户外led屏的实时互动裸眼3d虚拟场景系统，其特征在于：所述降噪是使用小波去噪算法去除视频图像中的高频噪声和低频噪声，降噪流程如下：
4.根据权利要求2所述的一种支持户外led屏的实时互动裸眼3d虚拟场景系统，其特征在于：所述校正畸变是采用透视模型作为畸变模型，采用参考标定板对深度相机进行标定，在不同位置和角度下采集多幅视频图像，获取标定视频图像的畸变参数；对标定视频图像进行畸变校正，获取畸变后的视频图像，采用最小二乘法拟合畸变模型的参数；最后将目标视频图像输入畸变模型，利用拟合参数进行畸变校正，得到畸变校正后的视频图像。
5.根据权利要求1所述的一种支持户外led屏的实时互动裸眼3d虚拟场景系统，其特征在于：所述识别分析模块包括插件链接模块、模型制作模块和数据应用模块；
6.根据权...
【专利技术属性】
技术研发人员：林毅，吴懿，魏宁，宋振华，文品丁，
申请(专利权)人：四开花园网络科技广州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。