本发明专利技术提出了一种适应多场景和多设备的增强现实方法和装置，其中方法具体包括：步骤一、通过信息采集设备采集实际应用场景中的原始图像信息；步骤二、通过适配器将所述原始图像信息传输中云端处理单元进行数据处理；步骤三、云端处理单元通过数据传输通道将处理后的图像信息回传至适配器中；步骤四、适配器将接收到的回传数据通过数据传输通道传输给AR设备终端进行现实世界与虚拟世界的图像数据融合；步骤五、对融合后的图像数据进行可视化的呈现。通过将多个深度学习算法整合到一个装置内，增强对不同场景的适应能力，实现用户体验的提升。另外，利用5G技术，将深度学习算法同AR技术融合，让AR技术摆脱设备限制的同时获得更好的体验。好的体验。好的体验。
【技术实现步骤摘要】
一种适应多场景和多设备的增强现实方法和装置
[0001]本专利技术涉及一种适应多场景和多设备的增强现实方法和装置，特别是涉及增强现实图像数据处理
技术介绍
[0002]随着计算机技术的发展，将真实世界与虚拟世界相融合的增强现实技术应运而生，该技术是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。
[0003]随着移动设备计算能力的大幅增强，越来越多的AR技术被应用于移动设备。移动AR技术在带来便利和无限可能的同时，也带来了新的难题。移动设备需要面对更为复杂多变的地理环境，同时却只拥有有限的计算性能。
[0004]在现有的技术方案中，都是针对特定场景设计特定算法进行实现，采用深度学习的方法来实现增强现实。虽然深度神经网络使得计算机对图像的处理能力具有更强的自适应性，但在现有的图像语义识别网络中，单一网路对不同场景的处理能力也即为有限。加之，为了得到更好的图像识别效果，效果较好的网络模型深度在基本在100层以上，对于移动设备来说基本不可能实现。
技术实现思路
[0005]专利技术目的：提出一种适应多场景和多设备的增强现实方法和装置，以解决现有技术存在的上述问题，满足复杂多变的场景需求，使得AR设备在不同场景不同设备上都能有良好的用户体验。
[0006]技术方案：第一方面，提出了一种适应多场景和多设备的增强现实方法，该方法具体包括以下步骤：步骤一、通过信息采集设备采集实际应用场景中的原始图像信息；步骤二、通过适配器将所述原始图像信息传输中云端处理单元进行数据处理；步骤三、云端处理单元通过数据传输通道将处理后的图像信息回传至适配器中；步骤四、适配器将接收到的回传数据通过数据传输通道传输给AR设备终端进行现实世界与虚拟世界的图像数据融合；步骤五、对融合后的图像数据进行可视化的呈现。
[0007]其中，整体实现过程采用分布式布局实现，通过划分边缘处理端和云端运算的实现过程，减轻边缘处理端的运算压力。
[0008]在第一方面的一些可实现方式中，在采用分布式布局实现整体分析的过程中，进一步为：采用基于5G架构的MEC服务器部署模式，通过计算和渲染将实时运行结果回传到用
户一体机上。
[0009]另外，云端处理单元在MEC架构中，属于MEC应用层，提供云AR渲染及编解码能力，是基于虚拟化平台进行部署和搭建的，与MEC平台架构中的功能组件层提供网络接口层服务。其中MEC表示多接入边缘计算。
[0010]在第一方面的一些可实现方式中，所述云端处理单元支持部署在云计算的虚拟机上，也支持部署在有GPU能力的硬件服务器上；云端处理单元中将后台管理服务器、资源分配服务器放在了核心网一端；将具备渲染能力及编解码能力的应用服务器放在了边缘节点一端，使其更贴近用户侧，用于降低时延。
[0011]在第一方面的一些可实现方式中，云端处理单元对AR设备终端传输过来的数据进行图像数据处理时，采用的算法单元包含至少两种深度学习的运算算法，不同的算法调用根据不同需求进行选择。
[0012]具体的，基于预设数值设定高分辨率、低分辨率、高帧率、低帧率，对应算法选择的条件为：在网络环境良好且AR设备终端硬件支持的场景下，选用高分辨率、高帧率算法；在网络环境良好，同时对图像精度要求高的场景下，选用高分辨率、低帧率算法；在网络环境或硬件设备不支持的场景下，选用低分辨率算法；若对时延要求极低的场景，选用低分辨率、高帧率的算法。
[0013]在第一方面的一些可实现方式中，所述云端处理单元对AR设备终端传输过来的数据进行图像数据处理时，进一步为：步骤1、通过预先训练的深度学习模型对图像信息进行目标部位检测和识别；步骤2、通过深度学习模型提取图像的特征点；步骤3、将提取的特征点和识别目标的特征点匹配，对检测到的目标进行标记；步骤4、标记目标的三维姿态估计，根据识别目标的特征点、图像的特征点和摄像装置的参数，计算摄像装置姿态和标记目标的变换矩阵，从而确定标记的三维坐标；步骤5、在云端处理单元进行虚拟场景渲染，并渲染结果画面传回用户终端，所传回虚拟场景和图像标记的三维坐标对齐，实现虚拟和现实场景的融合。
[0014]在第一方面的一些可实现方式中，所述深度学习模型对获取到图像数据进行目标部位检测和识别的过程进一步包括：获取原始图像数据；对图像数据中的移动物体进行位移估计；基于位移估计的结果进行位移补偿；结合位移补偿后的图像数据和当前图像数据帧的变化确定候选目标；基于候选目标确定目标区域；结合选定区域和原始图像数据的预处理结果，对目标进行识别分类，进而获取最终的目标检测结果。
[0015]第二方面，提出一种适应多场景和多设备的增强现实装置，该装置具体包括：AR设备终端、被设置为根据获取到真实场景数据信息，完成虚实结合场景的交互操作；云端处理单元、被设置为接收AR设备终端获取到的真实场景数据信息，并进行数据分析适配器、被设置为与AR设备终端，用于根据需求转换信号并进行数据传输。
[0016]在第二方面的一些可实现方式中，所述AR设备终端包括：图像采集单元、数据存储器、算法调节器和电池；云端处理单元包括：算法执行单元和通信单元；适配器包括：通信设备、数据传输通道、临时存储单元、时延控制器和电源； AR设备终端中的电池用于整个AR设备的供电。
[0017]其中，所述图像采集单元通过光学摄像头对现实世界进行图像采集，并在采集完成后将图片通过与适配器连接的数据通道传输至适配器中；通过AR设备终端中的数据存储单元从适配器中接收图像信息并进行数据缓存；所述适配器通过数据传输通道与AR设备进行数据传输，并通过临时存储单元存储从云端和AR设备终端传输过来的图像数据；所述云端处理单元的通信单元用于接收从适配器传输的数据，并将数据解密后传输给算法执行单元进行图像分析和渲染，同时，将渲染好的结果传回适配器。
[0018]所述AR设备终端和适配器与云端处理单元分离，通过分布式部署的方式进行数据处理；所述适配器可以适配至少两种终端设备。
[0019]有益效果：本专利技术提出了一种适应多场景和多设备的增强现实方法和装置，通过将多个深度学习算法整合到一个装置内，增强对不同场景的适应能力，实现用户体验的提升。另外，利用5G技术，将深度学习算法同AR技术融合，让AR技术摆脱设备限制的同时获得更好的体验。除此之外，在数据传输过程中，采用对报文非对称加密技术，防止传输数据被他人窃取，提高数据传输安全性。
附图说明
[0020]图1为现有技术中AR系统结构示意图。
[0021]图2为本专利技术结构示意图。
[0022]图3为本专利技术数据处理流程图。
[0023]图4为本专利技术算法分类示意图。
[0024]图5为本本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种适应多场景和多设备的增强现实方法，其特征在于，具体包括以下步骤：步骤一、通过信息采集设备采集实际应用场景中的原始图像信息；步骤二、通过适配器将所述原始图像信息传输中云端处理单元进行数据处理；步骤三、云端处理单元通过数据传输通道将处理后的图像信息回传至适配器中；步骤四、适配器将接收到的回传数据通过数据传输通道传输给AR设备终端进行现实世界与虚拟世界的图像数据融合；步骤五、对融合后的图像数据进行可视化的呈现；其中，整体实现过程采用分布式布局实现，通过划分边缘处理端和云端运算的实现过程，减轻边缘处理端的运算压力。2.根据权利要求1所述的一种适应多场景和多设备的增强现实方法，其特征在于，在采用分布式布局实现整体分析的过程中，进一步为：采用基于5G架构的MEC服务器部署模式，通过计算和渲染将实时运行结果回传到用户一体机上；另外，云端处理单元在MEC架构中，属于MEC应用层，提供云AR渲染及编解码能力，是基于虚拟化平台进行部署和搭建的，与MEC平台架构中的功能组件层提供网络接口层服务；其中所述MEC表示多接入边缘计算。3.根据权利要求1所述的一种适应多场景和多设备的增强现实方法，其特征在于，所述云端处理单元支持部署在云计算的虚拟机上，也支持部署在有GPU能力的硬件服务器上；云端处理单元中将后台管理服务器、资源分配服务器放在了核心网一端；将具备渲染能力及编解码能力的应用服务器放在了边缘节点一端，使其更贴近用户侧，用于降低时延。4.根据权利要求1所述的一种适应多场景和多设备的增强现实方法，其特征在于，所述云端处理单元对AR设备终端传输过来的数据进行图像数据处理时，采用的算法单元包含至少两种深度学习的运算算法，不同的算法调用根据不同需求进行选择；进一步的，基于预设数值设定高分辨率、低分辨率、高帧率、低帧率，对应算法选择的条件为：在网络环境良好且AR设备终端硬件支持的场景下，选用高分辨率、高帧率算法；在网络环境良好，同时对图像精度要求高的场景下，选用高分辨率、低帧率算法；在网络环境或硬件设备不支持的场景下，选用低分辨率算法；若对时延要求极低的场景，选用低分辨率、高帧率的算法。5.根据权利要求1所述的一种适应多场景和多设备的增强现实方法，其特征在于，所述云端处理单元对AR设备终端传输过来的数据进行图像数据处理时，进一步为：步骤1、通过预先训练的深度学习模型对图像信息进行目标部位检测和识别；步骤2、通过深度学习模型提取图像的特征点；步骤3、将提取的特征点和识别目标的特征点...
【专利技术属性】
技术研发人员：李婕，吴利航，孙迎春，董陵，曾琦娟，王剑辉，
申请(专利权)人：江苏移动信息系统集成有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。