将真人主播影像投射于远程真实环境的增强现实直播方法技术

本发明专利技术公开了一种将真人主播影像投射于远程真实环境的增强现实直播方法。其中，方法包括：三维重建系统对真实场景进行三维重建，形成真实场景的视觉地图并部署于增强现实服务器；客户端根据采集到的多个主播人体实时图像，生成主播的实时三维虚拟影像，并利用增强现实技术根据视觉地图将主播的实时三维虚拟影像投射于真实场景中；客户端将放置在真实场景中预定位置处的视频采集设备采集的视频流与主播的实时三维虚拟影像融合，生成直播视频流，并推送至直播平台服务器；直播平台服务器将直播视频流推送至用户的终端设备。将直播视频流推送至用户的终端设备。将直播视频流推送至用户的终端设备。

【技术实现步骤摘要】
将真人主播影像投射于远程真实环境的增强现实直播方法


[0001]本专利技术涉及增强现实
，并且更具体地，涉及一种将真人主播影像投射于远程真实环境的增强现实直播方法。

技术介绍

[0002]传统电视户外直播，需要记者、主持人或者主播亲自来到现场进行播报，但这种方式不够便捷、成本较高、灵活性较差。目前市面上有一部分上虚拟直播、绿幕直播可以实现主播无需改变自己位置就能实现在各种不同场景下的直播，利用人体分割算法将人体与背景相分割，抠除背景只保留人物主体，再将一些提前录制好的图像和视频放置在背景中。但是存在如下缺陷：1.这种技术方法只是将主播背后的背景在2D平面的维度抠除，因此无法轻易的变换角度，也无法将主播影像任意放置于真实环境中的各个位置，真实感有所欠缺；2.其新增的背景并非实时的真实环境，大多数一些提前录制好的图像和视频，因此也无法表达实时的现场环境，主播也同样无法根据真实环境的动态变化做实时响应，例如介绍正在变化的一些场景，甚至是远程采访路人等等；3.由于没有AR技术的增强，也无法配合一些辅助性的3D虚拟AR内容，来增强直播的效果。

技术实现思路

[0003]针对现有技术的不足，本专利技术提供一种将真人主播影像投射于远程真实环境的增强现实直播方法。
[0004]根据本专利技术的一个方面，提供了一种将真人主播影像投射于远程真实环境的增强现实直播方法，包括：
[0005]三维重建系统对真实场景进行三维重建，形成真实场景的视觉地图并部署于增强现实服务器；
[0006]客户端根据采集到的多个主播人体实时图像，生成主播的实时三维虚拟影像，并利用增强现实技术根据视觉地图将主播的实时三维虚拟影像投射于真实场景中；
[0007]客户端将放置在真实场景中预定位置处的视频采集设备采集的视频流与主播的实时三维虚拟影像融合，生成直播视频流，并推送至直播平台服务器；
[0008]直播平台服务器将直播视频流推送至用户的终端设备。
[0009]可选地，还包括：客户端根据视觉地图在虚拟人物场景内容中搭建AR虚拟内容。
[0010]可选地，三维重建系统包括全景相机以及客户端，其中三维重建系统对真实场景进行三维重建，形成真实场景的视觉地图的操作，包括：
[0011]利用全景相机采集真实场景环境信息，经全景相机处理后输出三维点云信息和图像信息至客户端；
[0012]客户端根据三维点云信息和图像信息，搭建视觉地图。
[0013]可选地，客户端根据预设在真实人体周围的预定数量的预设图像采集设备采集的多个主播人体实时图像，生成实时三维虚拟影像的操作，包括：
[0014]多个图像采集设备采集真实人体的多个主播人体实时图像，并利用人体分割算法将主播人体实时图像中的主体人物与环境进行分割，得到多个人体深度图传输至客户端；
[0015]客户端将人体深度图转换为点云信息，并将多个点云信息融和后转换为MESH和纹理贴图，并根据MESH和纹理贴图，生成实时三维虚拟影像。
[0016]可选地，还包括：
[0017]在视频流的当前图片帧未匹配到相关图片的情况下，则选择下一图片帧继续匹配，直至满足匹配需求。
[0018]可选地，还包括：
[0019]采用边缘网络技术进行增强现实服务器和客户端以及用户移动端之间的通信以及数据传输。
[0020]根据本专利技术的另一个方面，提供了一种将真人主播影像投射于远程真实环境的增强现实直播装置，包括：
[0021]形成模块，用于三维重建系统对真实场景进行三维重建，形成真实场景的视觉地图并部署于增强现实服务器；
[0022]第一生成模块，用于客户端根据采集到的多个主播人体实时图像，生成主播的实时三维虚拟影像，并利用增强现实技术根据视觉地图将主播的实时三维虚拟影像投射于真实场景中；
[0023]第二生成模块，用于客户端将放置在真实场景中预定位置处的视频采集设备采集的视频流与主播的实时三维虚拟影像融合，生成直播视频流，并推送至直播平台服务器；
[0024]推送模块，用于直播平台服务器将直播视频流推送至用户的终端设备。
[0025]根据本专利技术的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本专利技术上述任一方面所述的方法。
[0026]根据本专利技术的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本专利技术上述任一方面所述的方法。
[0027]从而，本申请采用数个深度摄像机在各个角度对真人主播进行全景拍摄，逐帧将获取到的各个角度的深度图最终转换为三维的MESH和材质贴图，再通过增强现实技术将其投射于真实的场景中，客户端会将实时视频流与虚拟内容(真人主播的投射影像与其他相配合的AR虚拟内容)合流后传输至直播端服务器，再将直播画面推流给观众。观众便可以看到真人主播在一个真实的实时场景下进行直播或表演，此外还有一些辅助性的AR虚拟元素来增强直播效果。并且在主播端加入位置操作设备(即视频采集设备)，主播可以随时变化在真实环境下的位置。
附图说明
[0028]通过参考下面的附图，可以更为完整地理解本专利技术的示例性实施方式：
[0029]图1是本专利技术一示例性实施例提供的将真人主播影像投射于远程真实环境的增强现实直播方法的流程示意图；
[0030]图2是本专利技术一示例性实施例提供的将真人主播影像投射于远程真实环境的增强现实直播方法的流程示意图；
[0031]图3是本专利技术一示例性实施例提供的将真人主播影像投射于远程真实环境的增强现实直播装置的结构示意图；
[0032]图4是本专利技术一示例性实施例提供的电子设备的结构。
具体实施方式
[0033]下面，将参考附图详细地描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。
[0034]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。
[0035]本领域技术人员可以理解，本专利技术实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0036]还应理解，在本专利技术实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0037]还应理解，对于本专利技术实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0038]另外，本专利技术中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本专利技术中字符“/”，一般表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种将真人主播影像投射于远程真实环境的增强现实直播方法，其特征在于，包括：三维重建系统对真实场景进行三维重建，形成真实场景的视觉地图并部署于增强现实服务器；客户端根据采集到的多个主播人体实时图像，生成所述主播的实时三维虚拟影像，并利用增强现实技术根据所述视觉地图将所述主播的所述实时三维虚拟影像投射于所述真实场景中；所述客户端将放置在所述真实场景中预定位置处的视频采集设备采集的视频流与所述主播的所述实时三维虚拟影像融合，生成直播视频流，并推送至直播平台服务器；所述直播平台服务器将所述直播视频流推送至用户的终端设备。2.根据权利要求1所述的方法，其特征在于，还包括：所述客户端根据所述视觉地图在所述虚拟人物场景内容中搭建AR虚拟内容。3.根据权利要求1所述的方法，其特征在于，所述三维重建系统包括全景相机以及所述客户端，其中三维重建系统对真实场景进行三维重建，形成真实场景的视觉地图的操作，包括：利用所述全景相机采集所述真实场景环境信息，经所述全景相机处理后输出三维点云信息和图像信息至所述客户端；所述客户端根据所述三维点云信息和图像信息，搭建所述视觉地图。4.根据权利要求1所述的方法，其特征在于，客户端根据采集到的多个主播人体实时图像，生成所述主播的实时三维虚拟影像的操作，包括：多个图像采集设备采集所述真实人体的多个主播人体实时图像，并利用人体分割算法将所述主播人体实时图像中的主体人物与环境进行分割，得到多个人体深度图传输至所述客户端；所述客户端将所述人体深度图转换为点云信息，并将多个所述点云信息融和后转换为MESH和纹...

【专利技术属性】
技术研发人员：赵辰，赵岩伟，王振阳，郭于晨，
申请(专利权)人：杭州场域未来科技有限责任公司，
类型：发明
国别省市：