基于深度学习算法的多场景云AR融合方法及系统技术方案

本发明专利技术一种基于深度学习算法的多场景云AR融合方法公开了一种能够对多个用户所处的实景进行融合，便于后期依托融合后的实景进行虚实融合，提升多用户之间的互动体验的云AR融合方法及系统。其特征在于利用一种基于深度学习算法的多场景云AR融合系统进行多场景云AR融合，包括以下几个步骤：1、利用分布式终端设备：终端1、终端2、

【技术实现步骤摘要】
基于深度学习算法的多场景云AR融合方法及系统


[0001]本专利技术基于深度学习算法的多场景云AR融合方法及系统涉及一种以深度学习算法为基础的多场景云AR融合方法及系统，属于AR信息


技术介绍

[0002]增强现实(Augment Reality，简称AR)是近年来科研研究的一个热点，通过将虚拟物体与真实环境紧密结合，增强人们对周边环境的认知，增强现实的特性是：虚实结合、实时交互和跟踪注册，它是将计算机产生的信息(图像、模型、动画等)叠加到现实场景中，实现虚拟和现实的无缝融合，不仅带来现实的数字化增强，而且为虚拟景象赋予了现实场景的基础，在游戏、教育、工业制造等多个领域良好的发展前景，但是在目前的AR场景中，同一时间只能单一用户与AR场景进行交互，在多人互动的AR应用场景下，主要互动方式仅限于积分排名等简单场景，难以构成用户间的有效互动，这样就导致了当前的AR应用的碎片化和小型化，限制了AR技术的适用范围。
[0003]为解决上述问题，公开号：CN108983974A公开了一种AR场景处理方法、装置、设备和计算机可读存储介质，该方法包括：接收第一AR设备发送的场景融合请求，所述场景融合请求包括：所述第一AR设备的第一标识、待融合的第二AR设备的第二标识和所述第一AR设备对应的当前第一虚拟场景信息；根据所述第二标识获取所述第二AR设备对应的当前第二虚拟场景信息；对所述第一虚拟场景信息和所述第二虚拟场景信息进行融合处理，获取融合后的第三虚拟场景信息，并将所述第三虚拟场景信息发送给所述第一标识对应的所述第一AR设备，该方法通过用户间的虚拟场景信息融合来实现多用户虚拟交互，但是由于用户所处的实景环境不同，单个用户在AR设备上仅仅能够看到自身所处的实景环境与融合后的虚景之间的交互，而无法体验到其他用户的实景和融合后的虚景之间的交互，用户互动性较差，无法满足更深层次的用户互动需求。
[0004]公开号CN113628347A公开了一种基于边缘计算的云AR实景共享方法及系统，其技术方案要点是依托第一终端(即主导终端)进行实景拍摄、本地虚景渲染及虚实融合等能力，融合第一边缘节点(即主导边缘节点)实景识别、三维注册等数字化处理能力，完成实景和虚景逻辑分享基础处理，该方法通过主导边缘节点和互动边缘节点的信心交互实现基于主导终端同一的实景和数据化逻辑的多人互动，但是基于主导终端的实景会使互动终端产生不真实感，降低AR的体验效果。

技术实现思路

[0005]为了改善上述情况，本专利技术基于深度学习算法的多场景云AR融合方法及系统提供了一种能够对多个用户所处的实景进行融合，便于后期依托融合后的实景进行虚实融合，提升多用户之间的互动体验的云AR融合方法及系统。
[0006]本专利技术基于深度学习算法的多场景云AR融合方法，其特征在于，利用一种基于深度学习算法的多场景云AR融合系统进行多场景云AR融合，包括以下几个步骤：
1、利用分布式终端设备：终端1、终端2、
……
、终端n分别对其所在的周边实景进行拍摄，生成所述实景图像1、实景图像2、
……
、实景图像n并分别发送给分布式边缘设备的子设备1、子设备2
……
、子设备n；2、所述子设备1、子设备2、
……
、子设备n分别接收所述实景图像1、实景图像2、
……
、实景图像n，并利用深度学习算法对实景图像1、实景图像2、
……
、实景图像n中的目标进行识别并输出目标图像识别结果；所述深度学习算法包括以下步骤：1）获取实景图像，所述实景图像包括室内实景图像和室外实景图像；2）对所述实景图像中的目标进行预标注，作为训练样本数据库；3）建立深度全卷积神经网络，所述深度全卷积神经网络包括用于特征提取的主网络和用于目标检测的子网络；4）利用训练样本数据库对主网络进行训练，在主网络训练完成后，添加子网络；5）利用实景图像数据库进行深度全卷积神经网络的目标检测测试，根据测试结果对网络参数进行微调，得到训练好的深度全卷积神经网络；6）将实景图像1、实景图像2、
……
、实景图像n输入至深度全卷积神经网络，得到最终的目标检测结果；3、所述子设备1、子设备2
……
、子设备n分别对所述实景图像1、实景图像2、
……
、实景图像n进行三维注册，生成实景图像1、实景图像2、
……
、实景图像n的三维模型1、三维模型2
……
三维模型n，并根据目标图像识别结果在上述三维模型中对目标进行标记，然后将带有标记的三维模型同步至中央云；4、所述中央云接收所述三维模型1、三维模型2
……
三维模型n，对上述的多个三维模型进行数据拼接，形成新的融合三维模型，并将融合三维模型分别发送给子设备1、子设备2
……
、子设备n；优选的，所述数据拼接的原理是根据两个邻近的三维模型中含有的相同或相似的目标进行三维模型的匹配处理，寻找出一个较为合适的相同或相似的目标使其重叠在一起，然后删除冗余数据；优选的，若邻近的两个三维模型中没有相同或相似的目标，则以两个三维模型中的主要物体的边界为重合线；5、所述子设备1、子设备2
……
、子设备n接收所述融合三维模型，根据所述融合三维模型生成虚景逻辑，然后分别将所述虚景逻辑发送给所述终端1、终端2、
……
、终端n；6、所述终端1、终端2、
……
、终端n接收所述虚拟逻辑后，根据所述虚景逻辑进行虚景渲染，然后结合所述周边实景进行虚实融合，实现多场景云AR融合；本专利技术还涉及一种基于深度学习算法的多场景云AR融合系统，包括：分布式终端设备：所述分布式终端设备包括多个独立终端，分别对其所在的周边实景进行拍摄，获取所述多个实景图像并发送给对应的子设备；接收所述虚景逻辑后，根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合；分布式边缘设备：与所述分布式终端设备无线通信连接，包含多个具有处理能力的子设备，所述子设备之间无线通信连接，接收所述分布式终端发送的实景图像并对实景图像中的目标进行识别；生成所述实景图像的三维模型并在实景图像中对目标进行标记；
将标记后的三维模型发送给中央云；接收所述拼接后的三维模型，根据所述拼接后的三维模型生成虚景逻辑，并将其发送给分布式终端设备；中央云：与所述分布式边缘设备无线通信连接，接收多个所述实景图像的三维模型，并将多个所述实景图像的三维模型根据目标特征进行拼接；将拼接后的三维模型发送给分布式边缘设备。
有益效果
[0007]一、能够对多个用户所处的实景进行融合，便于后期依托融合后的实景进行虚实融合，提升多用户之间的互动体验。
[0008]二、利用深度学习算法识别实景图像中的目标并进行标记，避免了人工识别的繁琐，降低了工作量。
[0009]三、分布式的数据处理方式，能够降低终端和云端的计算压力，提高数据处理速度。
附图说明
[0010]图1为本专利技术基于深度学习算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习算法的多场景云AR融合方法，其特征在于：利用一种基于深度学习算法的多场景云AR融合系统进行多场景云AR融合，包括以下几个步骤：1）利用分布式终端设备：终端1、终端2、
……
、终端n分别对其所在的周边实景进行拍摄，生成所述实景图像1、实景图像2、
……
、实景图像n并分别发送给分布式边缘设备的子设备1、子设备2
……
、子设备n；2）所述子设备1、子设备2、
……
、子设备n分别接收所述实景图像1、实景图像2、
……
、实景图像n，并利用深度学习算法对实景图像1、实景图像2、
……
、实景图像n中的目标进行识别并输出目标图像识别结果；3）所述子设备1、子设备2
……
、子设备n分别对所述实景图像1、实景图像2、
……
、实景图像n进行三维注册，生成实景图像1、实景图像2、
……
、实景图像n的三维模型1、三维模型2
……
三维模型n，并根据目标图像识别结果在上述三维模型中对目标进行标记，然后将带有标记的三维模型同步至中央云；4）所述中央云接收所述三维模型1、三维模型2
……
三维模型n，对上述的多个三维模型进行数据拼接，形成新的融合三维模型，并将融合三维模型分别发送给子设备1、子设备2
……
、子设备n；5）所述子设备1、子设备2
……
、子设备n接收所述融合三维模型，根据所述融合三维模型生成虚景逻辑，然后分别将所述虚景逻辑发送给所述终端1、终端2、
……
、终端n；6）所述终端1、终端2、
……
、终端n接收所述虚拟逻辑后，根据所述虚景逻辑进行虚景渲染，然后结合所述周边实景进行虚实融合，实现多场景云AR融合。2.根据权利要求1所述的一种基于深度学习算法的多场景云AR融合方法，其特征在于所述基于深度学习算法的多场景云AR融合系统，包括：分布式终端设备：所述分布式终端设备包括多个独立终端，分别对其所在的周边实景进行拍摄，获取所述多个实景图像并发送给对应的子设备；接收所述虚景逻辑后，根据所述虚景逻辑进行虚景渲染，然后结合所述实景进行虚实融合；分布式边缘设备：与所述分布式终端设备无线通信连接，包含多个具有处理能力的子设备，所述子设备之间无线通信连接，接收所述分布式终端发送的实景图像并对实景图像中的目标进行识别；生成所述实景图像...

【专利技术属性】
技术研发人员：岳秀云，
申请(专利权)人：江苏迪途信息技术发展有限公司，
类型：发明
国别省市：