一种基于人脸检测的360度自由立体式的三维显示音箱制造技术

本发明专利技术公开了一种基于人脸检测的360度自由立体式的三维显示音箱，所述三维显示音箱包括360度人脸检测模块、微型投影仪模块、透射式投影成像光学系统或反射式投影成像光学系统和圆柱型全息定向散射屏；所述360度人脸检测模块围绕在三维显示音箱外侧布置，所述圆柱型全息定向散射屏布置在三维显示音箱的中央，所述透射式投影成像光学系统和微型投影仪模块依次布置在圆柱型全息定向散射屏下方。本发明专利技术提供的基于人脸检测的360度自由立体式的三维显示音箱用户不需戴特殊眼镜，在适当距离下可以在任意水平方向和一定垂直方向观看3D场景，并且具有便携性等优点。并且具有便携性等优点。并且具有便携性等优点。

【技术实现步骤摘要】
一种基于人脸检测的360度自由立体式的三维显示音箱


[0001]本专利技术涉及三维显示领域，特别涉及一种基于人脸检测的360度自由立体式的三维显示音箱。

技术介绍

[0002]到15世纪末，达芬奇发现，人们在观看视差图像时可以感知立体感和深度。当下比较流行的三维显示方式有全息三维显示、视差型三维显示、集成成像三维显示、光场三维显示等。
[0003]全息显示是理想的3D显示方式，但是现有设备的性能无法承载全息显示过大的信息量，很难做到高分辨率、动态的全息图像。
[0004]视差型三维显示使人的左眼和右眼看到两幅不同的二维图像，通过大脑进行视差融合产生立体感。视差型三维显示主要有两种：一种是借助于眼镜来获得立体感知，给用户增加额外的负担，容易产生辐辏冲突，且随着观察者的移动，显示画面不会变化；另一种是裸眼状态下即可直接观察的自由立体三维显示。自由立体三维显示技术可提供全方位视差，传统自由立体显示主要可分类两大类：基于柱面镜阵列或视差栅栏的自由立体显示技术以及基于多投影机多视角三维显示。基于柱透镜阵列的显示方式受栅栏和透镜阵列尺寸大小的限制，系统分辨率较低，提供的视角较少。基于多投影机的三维显示技术虽然增加了视点数，但仍无法做到360
°
观看，且系统复杂，搭建条件苛刻，难以商用化。
[0005]传统的集成成像显示系统由微透镜阵列与多投影机构成，可提供全视差显示，但是对微透镜阵列的精度要求较高，重建图像深度区域不大，图像分辨率低。
[0006]光场三维显示可以记录和重构出三维物体上各个点元向各个方向发出的光线。浙江大学钟擎等人搭建的光场三维显示系统由高速投影机和定向散射屏构成，可以提供水平360
°
观看。但是此系统成本较高，系统较庞大，难以民用化。
[0007]现在市面上的音箱大多数只具备播放音频的功能，无法提供视觉交互体验。为了设计出可交互的带有立体显示功能的音箱，从经济性和实用性上考虑，采用上述诸多方法是不切实际的。Che-Hao Hsu等人提出的HoloTube采用了红外光检测人所在方位的方法来实现360度自由立体显示，同时采用锥面反射镜对光路进行调控，光线不穿过光轴，在反射镜同侧的光线成像到柱面屏同侧。相比采用直接检测人眼的方法，红外光检测精度较低，只能检测水平位置，只能实现水平360度视角，不能提供垂直视角，且该系统分辨率较低，垂直方向仅有292个像素，显示效果不理想。

技术实现思路

[0008]本专利技术针对目前市面上现有音箱无法提供三维显示与交互的问题，提出了一种基于人脸检测的360度自由立体式的三维显示音箱；用户不需戴特殊眼镜，在适当距离下可以在任意水平方向和一定垂直方向观看3D场景，并且具有便携性等优点。
[0009]本专利技术提供如下技术方案：
[0010]一种基于人脸检测的360度自由立体式的三维显示音箱，所述三维显示音箱包括360度人脸检测模块、微型投影仪模块、透射式投影成像光学系统或反射式投影成像光学系统和圆柱型全息定向散射屏；所述360度人脸检测模块围绕在三维显示音箱外侧布置，所述圆柱型全息定向散射屏布置在三维显示音箱的中央，所述透射式投影成像光学系统和微型投影仪模块依次布置在圆柱型全息定向散射屏下方。
[0011]其中，360度人脸检测模块：用于实时检测人脸(人眼)位置；微型投影仪模块：用以投影出对应3D场景的图像；透射式投影光学系统或反射式投影成像光学系统：将微型投影仪发出的光线投射到柱面定向散射屏上；圆柱型定向散射屏：为透射式的偏折型全息结构散射屏，对入射光线的出射方向进行调制，经过它的光线会发生角度的偏折，对于水平入射人眼的光线不散射，使柱面屏呈现透明状态，在其他方向进行大角度散射从而使用户在不同位置都可以看到完整画幅。
[0012]所述透射式投影成像光学系统依次包括第一球面透镜、第二球面透镜、第三球面透镜、第四球面透镜、第五球面透镜和非球面透镜；所述透射式投影成像光学系统包括第一圆柱型偏振片和第二圆柱型偏振片；所述第一圆柱型偏振片包围非球面透镜，所述第二圆柱型偏振片包围圆柱型全息定向散射屏，所述第一圆柱型偏振片和第二圆柱型偏振片的偏振方向正交。即，所述第一圆柱型偏振片的偏振方向呈垂直方向，以消除未经散射的直透光的影响。
[0013]所述第三球面透镜和第四球面透镜组成双胶合透镜，所述非球面透镜的四个面均为非球面。
[0014]在透射式投影成像光学系统，光线依次经过第一球面镜、第二球面镜、第三球面镜、第四球面镜和第五球面镜，再在非球面镜上先透射、然后2次内反射最后透射至第一圆柱型偏振片。
[0015]所述反射式投影成像光学系统依次包括第一球面透镜、第二球面透镜、第三球面透镜、第四球面透镜、第五球面透镜、非球面透镜、第六球面透镜、第七球面透镜和非球面反射镜；所述第二球面透镜和第三球面透镜组成双胶合透镜。反射式系统最后一面为非球面反射镜，因此该系统不必考虑直透光的影响，不需要加两个偏振片。
[0016]其中，反射式投影成像光学系统中的非球面反射镜为较大口径(直径约100mm)的非球面反射镜。
[0017]在本专利技术中，对于透射式结构，最后组合非球面透镜由四个非球面构成。光线分别经过非球面的透射、反射、反射、透射最后到达像面上，经过两次反射的光线会穿过光轴到达像面。对于反射式结构，由微型投影仪发出的上侧光线经过透镜组到达非球面反射镜的下侧，经过非球面反射镜反射后穿过光轴到达像面。
[0018]在本专利技术中，对于透射式投影成像光学系统或反射式投影成像光学系统，两种结构中光线最终都通过非球面镜透射或反射，穿过光轴从而成像到另外一侧。
[0019]所述的360度人脸检测模块包括摄像头和用于检测人脸的模型Retinaface，摄像头采集的人脸图像输入到模型Retinaface，输出人脸位置。
[0020]优选的，所述的360度人脸检测模块包括4个摄像头，围绕三维显示音箱圆周排列，每个摄像头间隔90度，垂直视角60度。用于实时检测人脸(人眼)位置。
[0021]优选的，所选择的摄像头为无畸变的摄像头模组，使检测到的人眼像素坐标位置
和人眼所在实际方位角准确对应，节省了校正畸变带来的的耗时，不受畸变带来的误差影响。
[0022]优选的，所述的用于检测人脸的模型Retinaface的主干网络为MobilenetV2，将MobileNetv2网络分成stage1、stage2、stage3，将各个stage的特征图送入FPN网络结构提取出浅层、中间层、深层信息，输出人眼位置。
[0023]此模型可以提升检测性能：深层具有较大的感受野，可以检测较大的人脸，浅层定位信息准确，可以检测较小的人脸。该模型鲁棒性较好，在相邻两幅图片的拼接处，即使有微小不重合的情况，该模型也能准确识别出人脸。人脸检测算法采用专门用于检测小脸的Retinaface模型，该模型不仅在检测准确度上较传统算法有所提升，由于网络是single-stage的，检测速度也非常快，对于残本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸检测的360度自由立体式的三维显示音箱，其特征在于，所述三维显示音箱包括360度人脸检测模块、微型投影仪模块、透射式投影成像光学系统或反射式投影成像光学系统和圆柱型全息定向散射屏；所述360度人脸检测模块围绕在三维显示音箱外侧布置，所述圆柱型全息定向散射屏布置在三维显示音箱的中央，所述透射式投影成像光学系统和微型投影仪模块依次布置在圆柱型全息定向散射屏下方。2.根据权利要求1所述的基于人脸检测的360度自由立体式的三维显示音箱，其特征在于，所述透射式投影成像光学系统依次包括第一球面透镜、第二球面透镜、第三球面透镜、第四球面透镜、第五球面透镜和非球面透镜；所述透射式投影成像光学系统包括第一圆柱型偏振片和第二圆柱型偏振片；所述第一圆柱型偏振片包围非球面透镜，所述第二圆柱型偏振片包围圆柱型全息定向散射屏，所述第一圆柱型偏振片和第二圆柱型偏振片的偏振方向正交。3.根据权利要求2所述的基于人脸检测的360度自由立体式的三维显示音箱，其特征在于，所述第三球面透镜和第四球面透镜组成双胶合透镜，所述非球面透镜的四个面均为非球面。4.根据权利要求1所述的基于人脸检测的360度自由立体式的三维显示音箱，其特征在于，所述反射式投影成像光学系统依次包括第一球面透镜、第二球面透镜、第三球面透镜、第四球面透镜、第五球面透镜、非球面透镜、第六球面透镜、第七球面透镜和非球面反射镜；所述第二球面透镜和第三球面透镜组成双胶合透镜。5.根据权利要求1所述的基于人脸检测的360度自由立体式的三维显示音箱，其特征在于，所述的360度人脸检测模块包括摄像头和用于检测人脸的模型Retinaface，摄像头采集的人脸图像输入到模型Retinaface，输出人脸位置。6.根据权利要求5所述的基于人脸检测的360度自由立体式的三维显示音箱，其特征在于，所述的用于检测人脸的模型Retinaface的主干网络为MobilenetV2，将MobileNet...

【专利技术属性】
技术研发人员：李海峰，徐丁天，刘旭，
申请(专利权)人：浙江大学，
类型：发明
国别省市：