一种在虚拟场景下显示外景的方法和终端技术

本发明专利技术涉及图像处理领域，尤其涉及一种在虚拟场景下显示外景的方法和终端。本发明专利技术通过S1、当VR播放器接收到播放VR资源的指令时，启动录屏服务；所述录屏服务为触发摄像头在一时间段内连续捕获外景的图像；S2、当所述录屏服务启动成功时，所述VR播放器播放VR资源，得到VR场景；S3、融合所述VR场景和所述外景图像。实现降低体验混合增强现实技术所需的成本。

【技术实现步骤摘要】
一种在虚拟场景下显示外景的方法和终端
本专利技术涉及图像处理领域，尤其涉及一种在虚拟场景下显示外景的方法和终端。
技术介绍
现如今，虚拟现实技术(即VR技术)已经广泛应用于各个行业。伴随着虚拟现实技术的普遍化，增强现实技术(即AR技术)以及混合增强现实技术(即MR技术)也应运而生。根据对市场的了解，购买一台微软的混合增强现实头显设备Holens大概需2万元。基于现有技术，为了体验混合增强现实所付出的经济成本较高。
技术实现思路
本专利技术所要解决的技术问题是：如何降低体验混合增强现实技术所需的成本。为了解决上述技术问题，本专利技术采用的技术方案为：本专利技术提供一种在虚拟场景下显示外景的方法，包括：S1、当VR播放器接收到播放VR资源的指令时，启动录屏服务；所述录屏服务为触发摄像头在一时间段内连续捕获外景的图像；S2、当所述录屏服务启动成功时，所述VR播放器播放VR资源，得到VR场景；S3、融合所述VR场景和所述外景图像。本专利技术还提供一种在虚拟场景下显示外景的终端，包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：S1、当VR播放器接收到播放VR资源的指令时，启动录屏服务；所述录屏服务为触发摄像头在一时间段内连续捕获外景的图像；S2、当所述录屏服务启动成功时，所述VR播放器播放VR资源，得到VR场景；S3、融合所述VR场景和所述外景图像。本专利技术的有益效果在于：充分利用现有带有摄像头的智能终端的特性，将摄像头捕获到的外景图像融入到VR场景中，使用户在虚拟世界能够和现实世界进行交互操作，从而达到一种混合现实的能力，而无需购买昂贵的混合现实头显设备，大大降低了体验混合增强现实技术所需的成本。附图说明图1为本专利技术提供的一种在虚拟场景下显示外景的方法的具体实施方式的流程框图；图2为本专利技术提供的一种在虚拟场景下显示外景的终端的具体实施方式的结构框图；标号说明：1、处理器；2、存储器。具体实施方式为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。请参照图1以及图2，如图1所示，本专利技术提供一种在虚拟场景下显示外景的方法，包括：S1、当VR播放器接收到播放VR资源的指令时，启动录屏服务；所述录屏服务为触发摄像头在一时间段内连续捕获外景的图像；S2、当所述录屏服务启动成功时，所述VR播放器播放VR资源，得到VR场景；S3、融合所述VR场景和所述外景图像。进一步地，所述S3具体为：预设时间间隔获取所述摄像头捕获到的外景的图像，得到当前外景图像；提取所述当前外景图像的特征值，得到当前特征值；若所述当前特征值与预设的特征值数组中存储的特征值不匹配，则融合所述VR场景和所述当前外景图像；根据所述当前特征值更新所述特征值数组。由上述描述可知，只有当外景图像发生变化时才重新融合外景图像和VR场景，减小计算机内部资源开销。进一步地，所述S3具体为：VR播放器通过OpenGL获取所述VR场景的方位信息；根据所述方位信息创建顶点数组；OpenGL根据所述顶点数组将所述当前外景图像渲染至所述VR场景。进一步地，还包括：使用Google的Tensorflow库校验所述当前特征值与所述特征值数组中存储的特征值是否匹配。进一步地，提取所述当前外景图像的特征值，得到当前特征值，具体为：转换所述当前外景图像为RGB格式图像；根据所述SIFT算法提取所述RGB格式图像的特征值，得到当前特征值。由上述描述可知，利用现有的带有摄像头的智能终端、VR播放器、OpenGL技术以及特征点识别提取算法SIFT和机器学习库tensorflow即可解决VR场景下无法显示外景的问题，大大降低了体验混合增强现实技术所需的成本。如图2所示，本专利技术还提供一种在虚拟场景下显示外景的终端，包括一个或多个处理器1及存储器2，所述存储器2存储有程序，并且被配置成由所述一个或多个处理器1执行以下步骤：S1、当VR播放器接收到播放VR资源的指令时，启动录屏服务；所述录屏服务为触发摄像头在一时间段内连续捕获外景的图像；S2、当所述录屏服务启动成功时，所述VR播放器播放VR资源，得到VR场景；S3、融合所述VR场景和所述外景图像。进一步地，所述S3具体为：预设时间间隔获取所述摄像头捕获到的外景的图像，得到当前外景图像；提取所述当前外景图像的特征值，得到当前特征值；若所述当前特征值与预设的特征值数组中存储的特征值不匹配，则融合所述VR场景和所述当前外景图像；根据所述当前特征值更新所述特征值数组。进一步地，所述S3具体为：VR播放器通过OpenGL获取所述VR场景的方位信息；根据所述方位信息创建顶点数组；OpenGL根据所述顶点数组将所述当前外景图像渲染至所述VR场景。进一步地，还包括：使用Google的Tensorflow库校验所述当前特征值与所述特征值数组中存储的特征值是否匹配。进一步地，提取所述当前外景图像的特征值，得到当前特征值，具体为：转换所述当前外景图像为RGB格式图像；根据所述SIFT算法提取所述RGB格式图像的特征值，得到当前特征值。本专利技术的实施例一为：本实施例提供一种在虚拟场景下显示外景的方法，包括：S1、当VR播放器接收到播放VR资源的指令时，启动录屏服务；所述录屏服务为触发摄像头在一时间段内连续捕获外景的图像。S2、当所述录屏服务启动成功时，所述VR播放器播放VR资源，得到VR场景。其中，录屏服务启动成功后，录屏服务会发送启动成功的指令给VR播放器，VR播放器接收到录屏服务启动成功的指令，读取VR资源，开始进行播放，并且发送开始播放的指令给录屏服务。S3、融合所述VR场景和所述外景图像。具体为：S31、预设时间间隔获取所述摄像头捕获到的外景的图像，得到当前外景图像。其中，录屏服务接收到开始播放的指令后，创建HardWareCamera数组。录屏服务实时从相机硬件上获取图片流，并将当前图片流覆盖至HardWareCamera数组，HardWareCamera只能存取一帧图像；创建CharacterPoint数组用于存储从每一帧图像中提取到的特征值，并设置外景图像识别定时检测的时间间隔。S32、提取所述当前外景图像的特征值，得到当前特征值。可选地，转换所述当前外景图像为RGB格式图像；根据所述SIFT算法提取所述RGB格式图像的特征值，得到当前特征值。其中，录屏服务根据时间间隔，定时从HardWareCamera中取出图片流，并将其转换为RGB格式图像。S33、使用Google的Tensorflow库校验所述当前特征值与所述特征值数组中存储的特征值是否匹配；若所述当前特征值与预设的特征值数组中存储的特征值不匹配，则VR播放器通过OpenGL获取所述VR场景的方位信息。S34、根据所述方位信息创建顶点数组。S35、OpenGL根据所述顶点数组将所述当前外景图像渲染至所述VR场景；根据所述当前特征值更新所述特征值数组。其中，录屏服务发送取出外景图像的指令和HardWareCamera的地址至VR播放器。VR播放器接收到取出外景图像的指令后从HardWareCamera取出当前外景图像，并将当前外景图像转换为YUV格式的纹理流。YUV即纹理，是一种颜色编码的方法，将亮度信息Y和色彩信息UV分离。YUV不像RG本文档来自技高网...

【技术保护点】
一种在虚拟场景下显示外景的方法，其特征在于，包括：S1、当VR播放器接收到播放VR资源的指令时，启动录屏服务；所述录屏服务为触发摄像头在一时间段内连续捕获外景的图像；S2、当所述录屏服务启动成功时，所述VR播放器播放VR资源，得到VR场景；S3、融合所述VR场景和所述外景图像。

【技术特征摘要】
1.一种在虚拟场景下显示外景的方法，其特征在于，包括：S1、当VR播放器接收到播放VR资源的指令时，启动录屏服务；所述录屏服务为触发摄像头在一时间段内连续捕获外景的图像；S2、当所述录屏服务启动成功时，所述VR播放器播放VR资源，得到VR场景；S3、融合所述VR场景和所述外景图像。2.根据权利要求1所述的在虚拟场景下显示外景的方法，其特征在于，所述S3具体为：预设时间间隔获取所述摄像头捕获到的外景的图像，得到当前外景图像；提取所述当前外景图像的特征值，得到当前特征值；若所述当前特征值与预设的特征值数组中存储的特征值不匹配，则融合所述VR场景和所述当前外景图像；根据所述当前特征值更新所述特征值数组。3.根据权利要求2所述的在虚拟场景下显示外景的方法，其特征在于，所述S3具体为：VR播放器通过OpenGL获取所述VR场景的方位信息；根据所述方位信息创建顶点数组；OpenGL根据所述顶点数组将所述当前外景图像渲染至所述VR场景。4.根据权利要求2所述的在虚拟场景下显示外景的方法，其特征在于，还包括：使用Google的Tensorflow库校验所述当前特征值与所述特征值数组中存储的特征值是否匹配。5.根据权利要求2所述的在虚拟场景下显示外景的方法，其特征在于，提取所述当前外景图像的特征值，得到当前特征值，具体为：转换所述当前外景图像为RGB格式图像；根据所述SIFT算法提取所述RGB格式图像的特征值，得到当前特征值。6.一种在虚拟场景下显示外景的终端，其特征在于，...

【专利技术属性】
技术研发人员：刘德建，张雅彬，曾少彬，方振华，郭玉湖，
申请(专利权)人：福建天泉教育科技有限公司，
类型：发明
国别省市：福建,35