一种交互式观影方法和系统技术方案

本发明专利技术提出一种交互式观影方法和系统。其中方法包括：配置三维虚拟场景，三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放交互式影视内容的面片模型；从图像采集器获取的观影用户的人脸数据中提取包含观影用户的完整人脸的第一帧图像，并从包含完整人脸的其他帧图像中确定观影用户的平面位移数据和角度位移数据；在提取第一帧图像的时刻，触发红外发射器向观影用户发射红外光束，以生成观影用户的人脸深度模型；利用人脸深度模型，确定基于其他帧图像的观影用户相对于现实坐标系原点的深度位移数据；基于平面位移数据、角度位移数据、深度位移数据，虚拟摄影机在三维虚拟场景中更新通过面片模型呈现给观影用户的交互式影视内容。互式影视内容。互式影视内容。

【技术实现步骤摘要】
一种交互式观影方法和系统


[0001]本专利技术属于交互观影
，尤其涉及一种交互式观影方法和系统。

技术介绍

[0002]3D电影的基本原理是，利用两个模拟人眼的镜头拍摄景物的双视点图像，在完成拍摄与制作之后，把两个视点的影像同步放映，银幕上同时显示这两个带有略微差别的影像。体感产生的主要原因是左右眼看到的画面不同(左右眼位置不同)，使得画面会有一些差异。左边镜头的影像经过一个横偏振片过滤得到横偏振光，右边镜头的影像经过一个纵偏振片过滤得到纵偏振光。此时用肉眼直接观看，看到的画面是重叠且模糊不清的；如果想看到立体影像，立体眼镜的左眼和右眼需分别装上横偏振片和纵偏振片，横偏振光只能通过横偏振片，纵偏振光只能通过纵偏振片。这样就保证了左边相机拍摄的东西只能进入左眼，右边相机拍摄到的东西只能进入右眼。人脑会对左右眼的影像进行合成，从而让观众看到三维立体效果的视频影像。
[0003]人脸识别技术需经过以下流程：人脸图像的采集与预处理、人脸检测、人脸特征提取、人脸识别和活体鉴别。主要方法包括：基于特征点的方法、基于几何特征的方法、基于深度学习的方法、基于支持向量机的方法和其他综合方法。主要应用领域包括：门禁、考勤签到、安防、支付、面部捕捉、AR(视觉增强)换装、AR动态壁纸。
[0004]摄像头(彩色RGB摄像头)可配合红外发射器向物体投射调制后的近红外光线，光线照射到物体反射回红外相机，红外相机通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，用于建立骨骼系统并追踪捕捉人体的运动。
[0005]蓝牙通信技术是一种短距离无线通信技术，功率级别分CLASS
‑
1100米距离和CLASS
‑
210米距离两种，能在众多支持蓝牙通信的硬件设备之间进行无线信息交换。
[0006]目前，观众观影必须佩戴眼镜类型的装置，辅助三维影像在人脑中的合成。虽为观众提供了身临其境的逼真感和立体感，但会过度动用人眼的立体视觉。在观看立体电影时，眼部肌肉的牵动不能完美协同，这就需要人脑对图像做更多的补救处理，导致用脑过度，观众观影体验不佳。因此，需要一种将红外结构光技术、彩色RGB摄像头、人脸识别技术、蓝牙通信技术应用于电影观看的应用技术。

技术实现思路

[0007]科学技术的发展从未停止，电子产品的更新换代也日趋频繁。自2009年，3D电影的上映产生了巨大反响，这让人们意识到电影可以不再局限于2D平面，从而引领了电影的技术革命。但是3D电影技术通常需佩戴3D眼镜作为辅助装置，以帮助观众进行观影体验。这无疑增加了观众在观影过程中的负担，且3D电影会过度动用人眼的立体视觉，加重人脑的处理负担。
[0008]为了解决上述技术问题，本专利技术提出了一种交互式观影方案。该方案基于摄像头与人脸识别算法，通过游戏引擎内预设三维模拟场景内的虚拟摄像头位置来确定观众在三
维模拟场景内的位置，通过人脸识别技术确定观众与屏幕之间的相对位置关系与相对运动，可让屏幕不需借助3D眼镜来显示真实且立体的三维物体，实现一种裸眼3D的效果。用户可配合电脑主机利用该装置多角度的观看电影，且不需要佩戴任何辅助设备。观看电影时亦可通过蓝牙互动设备与电影中的情节内容互动，主观的改变电影的内容，给观众带来舒适且简便的智能立体视觉观影体验。
[0009]本专利技术第一方面公开了一种交互式观影方法，所述方法包括：步骤S1、配置三维虚拟场景，所述三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放所述交互式影视内容的面片模型；步骤S2、从图像采集器获取的观影用户的人脸数据中提取包含所述观影用户的完整人脸的第一帧图像，并从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据；步骤S3、在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，以生成所述观影用户的人脸深度模型；步骤S4、利用所述人脸深度模型，确定基于所述其他帧图像的所述观影用户相对于现实坐标系原点的深度位移数据；步骤S5、基于所述平面位移数据、所述角度位移数据、所述深度位移数据，所述虚拟摄影机在所述三维虚拟场景中更新通过所述面片模型呈现给所述观影用户的所述交互式影视内容。
[0010]根据本专利技术第一方面的方法，在所述步骤S1中：经配置的所述虚拟摄影机具有初始位置；所述初始位置为所述三维虚拟场景中的坐标系原点；所述三维虚拟场景中的坐标系原点与现实场景中的坐标系原点对应。
[0011]根据本专利技术第一方面的方法，在所述步骤S2中，利用人脸识别算法从所述人脸数据中提取所述第一帧图像，所述第一帧图像用于确定所述完整人脸的图像特征，并基于所述图像特征，从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据，所述第一帧图像与所述其他帧图像为连续帧图像；具体包括：将所述第一帧图像中的完整人脸作为第一追踪目标，基于所述图像特征，利用目标追踪算法在所述其他帧图像中追踪所述第一追踪目标，以获取所述第一追踪目标在所述其他帧图像中的位置信息；根据所述位置信息确定所述观影用户相对于所述现实场景中的坐标系原点的平面位移数据和角度位移数据。
[0012]根据本专利技术第一方面的方法，在所述步骤S3中，在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，所述红外光束经反射后被红外接收器接收，以根据发射所述红外光束和接收所述红外光束的时间间隔，生成所述观影用户的人脸深度模型。
[0013]根据本专利技术第一方面的方法，在所述步骤S4中：将所述人脸深度模型作为第二追踪目标，利用所述目标追踪算法在所述其他帧图像中确定所述观影用户相对于所述现实坐标系原点的深度位移数据；或者在提取所述其他帧图像的时刻，利用所述红外发射器和所述红外接收器获取与提取所述其他帧图像的时刻对应的人脸深度模型，并基于与提取所述其他帧图像的时刻对应的人脸深度模型，来确定所述观影用户相对于现实坐标系原点的深度位移数据。
[0014]根据本专利技术第一方面的方法，在所述方法中：所述观影用户手持互动蓝牙设备，所述互动蓝牙设备用于获取所述观影用户的手部位移数据并传输所述手部位移数据；利用所述红外发射器和所述红外接收器，确定所述观影用户的手部深度模型，以获取所述观影用
户的手部深度数据；基于所述手部位移数据和所述手部深度数据，在所述三维虚拟场景中更新与所述互动蓝牙设备对应的道具的移动状态，从而实现所述互动蓝牙设备与所述三维虚拟场景中的所述交互式影视内容的智能互动。
[0015]根据本专利技术第一方面的方法，所述互动蓝牙设备具有加速度传感器、重力传感器、陀螺仪、定位装置，以获取所述手部位移数据；所述互动蓝牙设备还用于获取所述观影用户设置的互动信息，所述互动信息包括所述观影用户选择的在所述三维虚拟场景中与所述互动蓝牙设备对应的所述道具的类型。
[0016]本专利技术第二方面公开了一种交互式观影系统，所述系统包括：第一处理单元，被配置为，配置三维虚拟场景，所述三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互式观影方法，其特征在于，所述方法包括：步骤S1、配置三维虚拟场景，所述三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放所述交互式影视内容的面片模型；步骤S2、从图像采集器获取的观影用户的人脸数据中提取包含所述观影用户的完整人脸的第一帧图像，并从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据；步骤S3、在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，以生成所述观影用户的人脸深度模型；步骤S4、利用所述人脸深度模型，确定基于所述其他帧图像的所述观影用户相对于现实坐标系原点的深度位移数据；步骤S5、基于所述平面位移数据、所述角度位移数据、所述深度位移数据，所述虚拟摄影机在所述三维虚拟场景中更新通过所述面片模型呈现给所述观影用户的所述交互式影视内容。2.根据权利要求1所述的一种交互式观影方法，其特征在于，在所述步骤S1中：经配置的所述虚拟摄影机具有初始位置；所述初始位置为所述三维虚拟场景中的坐标系原点；所述三维虚拟场景中的坐标系原点与现实场景中的坐标系原点对应。3.根据权利要求2所述的一种交互式观影方法，其特征在于，在所述步骤S2中，利用人脸识别算法从所述人脸数据中提取所述第一帧图像，所述第一帧图像用于确定所述完整人脸的图像特征，并基于所述图像特征，从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据，所述第一帧图像与所述其他帧图像为连续帧图像；具体包括：将所述第一帧图像中的完整人脸作为第一追踪目标，基于所述图像特征，利用目标追踪算法在所述其他帧图像中追踪所述第一追踪目标，以获取所述第一追踪目标在所述其他帧图像中的位置信息；根据所述位置信息确定所述观影用户相对于所述现实场景中的坐标系原点的平面位移数据和角度位移数据。4.根据权利要求3所述的一种交互式观影方法，其特征在于，在所述步骤S3中，在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，所述红外光束经反射后被红外接收器接收，以根据发射所述红外光束和接收所述红外光束的时间间隔，生成所述观影用户的人脸深度模型。5.根据权利要求4所述的一种交互式观影方法，其特征在于，在所述步骤S4中：将所述人脸深度模型作为第二追踪目标，利用所述目标追踪算法在所述其他帧图像中确定所述观影用户相对于所述现实坐标系原点的深度位移数据；或者在提取所述其他帧图像的时刻，利用所述红外发射器和所述红外接收器获取与提取...

【专利技术属性】
技术研发人员：郑子龙，
申请(专利权)人：郑子龙，
类型：发明
国别省市：