【技术实现步骤摘要】
本专利技术属于虚拟现实，具体涉及利用虚拟场景进行真实社交的方法、系统及ar眼镜。
技术介绍
1、虚拟现实技术即vr包括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境而给人以环境沉浸感，当前，随着vr技术的发展，vr已经被应用到各个
中。
2、专利号为“2017103756194”的专利公开了一种基于实时人体三维重建的vr社交系统及其方法，所公开的专利文件中，存在以下缺点：一是，在vr场景中进行三维重建的人体不是真实实况转播的真实人体的形象；二是，所述专利中并没有解决现实中人体位置的变化怎么与虚拟场景相匹配，存在现实中人体移动的方向和速度与虚拟场景中人体移动的方向和速度不一致的问题；三是，由于现实中人体位置变化与虚拟场景不匹配，导致无法通过虚拟场景与其他人准确建立联系，社交效率低。
技术实现思路
1、为解决上述技术问题，本专利技术提供利用虚拟场景进行真实社交的方法及系统。
2、具体方案如下：
3、利用虚拟场景进行真实社交的方法，包括云服务端和直播终端，所述方法包括如下步骤：
4、步骤一：云服务端根据直播终端数量获取参与社交虚拟场景的直播间的数量n，所述直播间为现实中的一个直播场景，n≥2；
5、步骤二：根据直播间的数量n建立n+1个相同的三维坐标系，其中，每个直播间建立1个三维坐标系，n个直播间构成1至n个三维坐标系，云服务端在虚拟场景建立第n+1个三维坐标系；
6、步骤三：设定所述n
7、定义虚拟场景的地面为每个三维坐标系的x轴和y轴形成的平面，直播间的地面也为三维坐标系的x轴和y轴形成的平面，虚拟场景在第n+1三维坐标系中占据的空间范围表示为kn+1，每个直播间的三维坐标系内对应的空间范围表示为k1-kn 所述k1-kn内无障碍且k1-kn内的真实人外形能够进行三维直播；所述障碍指遮挡的程度无法完成直播，在直播过程可以过滤和弥补的障碍就属于无障碍；
8、步骤四：每个直播间至少存在一个被直播人定义为有人的直播间，定义有人的直播间数量为m个，n≥m≥2；在m个直播间内的每个直播间分别采集每个被直播人的人体位置位置信息和人体外形信息以及被直播人的声音信息和声音位置信息，并同时传输至云服务端，云服务端将每个直播间的每个被直播人的外形信息处理为三维人像信息；
9、步骤五：替换步骤四，每个直播间至少存在一个被直播人定义为有人的直播间，定义有人的直播间数量为m个，n≥m≥2；在m个直播间内的每个直播间分别采集每个被直播人的人体位置位置信息和人体外形信息以及被直播人的声音信息和声音位置信息并处理为三维人像信息并同时传输至云服务端；
10、步骤六：云服务端将每个直播间的每个被直播人的人体位置位置信息和三维人像信息信息以及被直播人的声音信息和声音位置信息均实时导入到虚拟场景中形成vr数据流，云服务端将所述vr数据流传送至各个直播终端；每个被直播人在对应直播间均佩戴直播终端的显示部件ar眼镜。此时虚拟场景中集合了所有被直播人佩戴ar眼镜的虚拟形象，每个直播间的被直播人的实体形象与虚拟形象重合，被直播人通过ar眼镜只能够看到其他被直播人的vr虚拟形象，当然云服务端将所述vr数据流传送至各个直播终端时；可以缺少该被直播人的虚拟形象，被直播人通过ar眼镜也只能够看到其他被直播人的虚拟形象。
11、三维人像信息的生成包括如下步骤，
12、s1）：在每个直播间内对于每个被直播人均设置至少三台摄像机，至少三台摄像机对直播间内的被直播人进行同步跟踪拍摄；同步跟踪拍摄为不同摄像机拍摄的每一帧的时间相同；
13、s2）：直播终端从同一直播间内不同摄像机拍摄的视频中逐帧进行不同角度的人体抠像，并合成人体立体影像；
14、s3）：直播终端将人体立体影像传送至云服务端，云服务端逐帧识别人体立体影像，记录人体立体影像中含有ar眼镜的视频帧，将相同时间帧的面部影像与人体立体影像融合，形成三维人像信息。
15、三维人像信息的生成包括如下步骤，、声音信息和声音位置信息
16、所述s1）：在每个直播间内对于每个被直播人均设置至少三台摄像机，至少三台摄像机对直播间内的被直播人进行同步跟踪拍摄；同步跟踪拍摄为不同摄像机拍摄的每一帧的时间相同；被直播人在直播间内佩戴ar眼镜，所述ar眼镜朝向人脸设置有摄像头，摄像头的时间帧与摄像机的时间帧同步，摄像头对被直播人的面部进行拍摄；主要是拍摄人的面部被ar眼镜遮挡的部位；
17、所述s2）：直播终端将多组摄像头拍摄的视频根据时间帧和编号依次融合，构成面部影像；同时，直播终端从同一直播间内不同摄像机拍摄的视频中逐帧进行不同角度的人体抠像，并合成不含ar眼镜的人体立体影像；
18、所述s3）：直播终端将面部影像和人体立体影像传送至云服务端，云服务端逐帧识别人体立体影像，记录人体立体影像中含有ar眼镜的视频帧，将相同时间帧的面部影像与人体立体影像融合，形成不含ar眼镜的三维人像信息。
19、被直播人在直播间内佩戴的是ar眼镜，ar眼镜朝向人脸设置摄像头，所述摄像头位于ar眼镜的镜片周边，每个摄像头均为同步拍摄，每个相邻摄像头之间摄影范围均产生重叠区域并且与摄像机也产生重叠区域，所述摄像头与摄像机为同步拍摄，所述直播终端从所述摄像头中逐帧进行面部信息的提取。
20、所述人体位置信息包括位置坐标和姿态，所述直播终端采集每个直播间内每个被直播人的位置坐标和姿态并将采集的位置坐标和姿态传送到云服务端，所述直播终端根据摄像机的拍摄帧的时间顺序对直播间内每个人的坐标和姿态同步实时采集；所述位置坐标通过定位设备采集，姿态数据由通过陀螺仪采集，所述定位设备和陀螺仪固定在被直播人胸部。
21、所述声音信息通过直播终端的录音设备采集，所述声音位置信息通过直播终端声源定位设备采集。
22、所述系统，包括云服务端和直播终端，所述云服务端设置有云服务处理器，所述直播终端设置有终端处理器，所述直播终端还包括有至少三组摄像机、ar眼镜、无线入耳式耳机、定位设备和陀螺仪，其中，所述云服务处理器与终端处理器通过tcp/ip通信连接，所述摄像机、vr头显、无线入耳式耳机、定位设备和陀螺仪均与终端处理器电连接，所述定位设备与陀螺仪固定一体设置，所述定位设备和陀螺仪固定在被直播人胸部。
23、一种ar眼镜，包括眼镜架，及设置在眼睛架上的vr显示装置，vr显示装置包括显示屏及显示屏内侧的凸透镜，凸透镜与显示屏结合在人眼中形成vr图像，所述显示屏为透光显示屏，透光显示屏外侧设置屈光度与凸透镜屈光度相配合的凹透镜，凹透镜用于抵消凸透镜对光线的折射，凹透镜位于凸透镜的焦点之内，凸透镜位于凹透镜的虚焦点之内。使得透光显示屏的透光部分形成现实的透明图像。
24、所述透光显示屏为透光单侧显本文档来自技高网...
【技术保护点】
1.利用虚拟场景进行真实社交的方法，包括云服务端和直播终端，所述方法包括如下步骤：
2.根据权利要求1所述的利用虚拟场景进行真实社交的方法，其特征在于：三维人像信息的生成包括如下步骤，
3.根据权利要求2所述的利用虚拟场景进行真实社交的方法，其特征在于：三维人像信息的生成包括如下步骤，、声音信息和声音位置信息
4.根据权利要求3所述的利用虚拟场景进行真实社交的方法，其特征在于：被直播人在直播间内佩戴的是AR眼镜，AR眼镜朝向人脸设置摄像头，所述摄像头位于AR眼镜的镜片周边，每个摄像头均为同步拍摄，每个相邻摄像头之间摄影范围均产生重叠区域并且与摄像机也产生重叠区域，所述摄像头与摄像机为同步拍摄，所述直播终端从所述摄像头中逐帧进行面部信息的提取。
5.根据权利要求1所述的利用虚拟场景进行真实社交的方法，其特征在于：所述人体位置信息包括位置坐标和姿态，所述直播终端采集每个直播间内每个被直播人的位置坐标和姿态并将采集的位置坐标和姿态传送到云服务端，所述直播终端根据摄像机的拍摄帧的时间顺序对直播间内每个人的坐标和姿态同步实时采集；所述位置坐标
6.根据权利要求1所述的利用虚拟场景进行真实社交的方法，其特征在于：所述声音信息通过直播终端的录音设备采集，所述声音位置信息通过直播终端声源定位设备采集。
7.一种如权利要求1-6之一所述的利用虚拟场景进行真实社交的系统，其特征在于：所述系统，包括云服务端和直播终端，所述云服务端设置有云服务处理器，所述直播终端设置有终端处理器，所述直播终端还包括有至少三组摄像机、AR眼镜、无线入耳式耳机、定位设备和陀螺仪，其中，所述云服务处理器与终端处理器通过TCP/IP通信连接，所述摄像机、VR头显、无线入耳式耳机、定位设备和陀螺仪均与终端处理器电连接，所述定位设备与陀螺仪固定一体设置，所述定位设备和陀螺仪固定在被直播人胸部。
8.一种AR眼镜，包括眼镜架，及设置在眼睛架上的VR显示装置，VR显示装置包括显示屏及显示屏内侧的凸透镜，凸透镜与显示屏结合在人眼中形成VR图像，其特征在于，所述显示屏为透光显示屏，透光显示屏外侧设置屈光度与凸透镜屈光度相配合的凹透镜，凹透镜用于抵消凸透镜对光线的折射，凹透镜位于凸透镜的焦点之内，凸透镜位于凹透镜的虚焦点之内；使得透光显示屏的透光部分形成现实的透明图像。
9.根据权利要求8所述的一种AR眼镜，其特征在于：所述透光显示屏为透光单侧显示屏，透光单侧显示屏朝向内侧也就是朝向眼睛一侧显示VR图像。
10.根据权利要求9所述的一种AR眼镜，其特征在于：所述透光单侧显示屏，包括阵列的发光区，阵列的发光区之间是阵列的透光区，其中发光区单侧发光。
11.根据权利要求8所述的一种AR眼镜，其特征在于：所述每一个透光区为菲涅尔凹透镜的一部分，所有透光区组成的阵列构成一个菲涅尔凹透镜，菲涅尔凹透镜代替透光显示屏外侧设置屈光度与凸透镜屈光度相配合的凹透镜，此时能够减少眼镜重量并减小眼镜厚度。
12.根据权利要求8所述的一种AR眼镜，其特征在于：所述凸透镜为菲涅尔凸透镜，所述凹透镜为菲涅尔凹透镜。
13.根据权利要求10或者11所述的一种AR眼镜，其特征在于：所述透光区的材料为感光变色透光材料，当透光区周边发光区的发光材料发光时，感光变色透光材料的颜色变深，透光度降低；透光区周边的发光材料不发光时，感光变色透光区的透光度高。
14.根据权利要求13所述的一种AR眼镜，其特征在于：所述凸透镜与显示屏之间设置距离调节装置，用以调节凸透镜到显示屏之间的距离。
...【技术特征摘要】
1.利用虚拟场景进行真实社交的方法，包括云服务端和直播终端，所述方法包括如下步骤：
2.根据权利要求1所述的利用虚拟场景进行真实社交的方法，其特征在于：三维人像信息的生成包括如下步骤，
3.根据权利要求2所述的利用虚拟场景进行真实社交的方法，其特征在于：三维人像信息的生成包括如下步骤，、声音信息和声音位置信息
4.根据权利要求3所述的利用虚拟场景进行真实社交的方法，其特征在于：被直播人在直播间内佩戴的是ar眼镜，ar眼镜朝向人脸设置摄像头，所述摄像头位于ar眼镜的镜片周边，每个摄像头均为同步拍摄，每个相邻摄像头之间摄影范围均产生重叠区域并且与摄像机也产生重叠区域，所述摄像头与摄像机为同步拍摄，所述直播终端从所述摄像头中逐帧进行面部信息的提取。
5.根据权利要求1所述的利用虚拟场景进行真实社交的方法，其特征在于：所述人体位置信息包括位置坐标和姿态，所述直播终端采集每个直播间内每个被直播人的位置坐标和姿态并将采集的位置坐标和姿态传送到云服务端，所述直播终端根据摄像机的拍摄帧的时间顺序对直播间内每个人的坐标和姿态同步实时采集；所述位置坐标通过定位设备采集，姿态数据由通过陀螺仪采集，所述定位设备和陀螺仪固定在被直播人胸部。
6.根据权利要求1所述的利用虚拟场景进行真实社交的方法，其特征在于：所述声音信息通过直播终端的录音设备采集，所述声音位置信息通过直播终端声源定位设备采集。
7.一种如权利要求1-6之一所述的利用虚拟场景进行真实社交的系统，其特征在于：所述系统，包括云服务端和直播终端，所述云服务端设置有云服务处理器，所述直播终端设置有终端处理器，所述直播终端还包括有至少三组摄像机、ar眼镜、无线入耳式耳机、定位设备和陀螺仪，其中，所述云服务处理器与终端处理器通过tcp/ip通信连接，所述摄像机、v...
【专利技术属性】
技术研发人员：张一平，
申请(专利权)人：郑州泽正技术服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。