全景显示系统在AR眼镜上的实时传输与监控的方法技术方案

本发明专利技术公开了一种全景显示系统在AR眼镜上的实时传输与监控的方法，包括：步骤1、安装摄像头；步骤2、进行全景画面实时拼接和unity多形状动态贴图；步骤3、对场景对象进行渲染；步骤4、udp/rtsp全景画面传输；步骤5、实现头部姿态、眼动、语音和手势控制视角画面；步骤6、最终设备间同步显示全景实时画面并协同控制。该方法可以实时将设备采集的全景画面传输给移动端AR眼镜并同步显示，即便使用人员脱离全景设备也能够有效地获取安装在车载或者其他位置传出的实时全景画面，并在头部姿态控制的基础上完成全景不同方位的观察，能最大程度获取当前环境形式下的相关数据信息，结合多种智能交互模式(眼动、语音、手势)协同指挥控制。

【技术实现步骤摘要】
全景显示系统在AR眼镜上的实时传输与监控的方法
本专利技术涉及全景显示
，具体地，涉及一种全景显示系统在AR眼镜上的实时传输与监控。
技术介绍
随着工业技术、计算机技术和网络技术等的不断发展，产品逐步向智能化方式转变，使得各领域发生了巨大的变化。全景作为一门新型显示技术，已经在多个应用领域得到使用。全景显示设备安装在汽车上可以观察到汽车的盲点区域，有效地减少交通事故的发生；全景设备在监控上也有着重大的作用，全景设备因具备采集画面视野广的特点，有效地对多个区域实时监控。即便全景显示设备有如此多的优势，但其也有自身的不足之处，一般设备里装载的全景显示系统只能在固定的显示器上显示，不具备可移动性，机动性能较差，并且无法很好的和AR眼镜相结合，即使有相关的尝试，也不能保证系统能够稳定有效地实时传输全景视频画面到AR眼镜上并通过头部姿态对其控制。因此，急需要提供一种可以稳定、有效的将全景实时画面传输到AR眼镜移动端并通过头部姿态估计观察全景画面的各个方位的方法来解决上述技术难题。
技术实现思路
本专利技术的目的是提供一种全景显示系统在AR眼镜上的实时传输与监控的方法，该方法可以实时将设备采集的全景画面传输给移动端AR眼镜并同步显示，即便使用人员脱离全景设备也能够有效地获取安装在车载或者其他位置传出的实时全景画面，并在头部姿态控制的基础上完成全景不同方位的观察，能最大程度获取当前环境形式下的相关数据信息，结合多种智能交互模式(眼动、语音、手势)协同指挥控制。为了实现上述目的，本专利技术提供了一种全景显示系统在AR眼镜上的实时传输与监控的方法，包括：步骤1、安装摄像头；步骤2、进行全景画面实时拼接和unity多形状动态贴图；步骤3、对场景对象进行渲染；步骤4、UDP/RTSP全景画面传输；步骤5、实现头部姿态、眼动、语音和手势控制视角画面；步骤6、最终设备间同步显示全景实时画面并协同控制。优选地，步骤1包括：在设备上安装多路摄像头，并将其布置在设备上对应的位置，利用实时拼接及融合算法完成基本的全景画面显示；其中，摄像头的安装方式设定为弧形式排列或者散列式排列，并且，多路摄像头为4路、8路、16路或32路。优选地，步骤2包括：通过unity3d软件接入步骤1中安装好的实时全景显示画面，在接入全景显示画面时，显示对象能够兼容多个模型作为贴图对象；将这些多模型类型的中心点作为视野的中心点，并给这多个模型的对象赋予全景Shader；其中，多个模型包括正方体、球体、圆柱体以及胶囊体。优选地，步骤3包括：在球谐光照技术的基础上对场景对象进行渲染，将动态视频贴在球体上，用于解决带宽传输及图像渲染的问题。优选地，步骤4包括：初始化位置坐标，通过UDP方式将实时的全景画面传输到AR眼镜端，若传输的视频帧过大，则对其进行压缩处理，用于提高传输速度。优选地，步骤5包括：通过AR眼镜端的陀螺仪实现全方位全景画面端随头部姿态移动，若头部向左，则画面跟随头部向左移动，若头部向右，则画面跟随头部向右移动，用于解决视野盲区。根据上述技术方案，本专利技术利用球谐光照和全景动态视频的贴图技术解决了光照渲染效果以及带宽传输的问题，并利用UDP传输的方式将设备采集的实时动态全景画面显示在AR眼镜中，利用头部姿态对场景进行视角控制，智能交互协同指挥控制，解决了当前环境中实时画面同步显示及通信传输的问题，本专利技术的优势在于通过将不同设备的多路实时画面进行实时拼接和传输，并在此基础上获取AR眼镜的头部姿态，将实时全景画面同步到AR眼镜上全景显示，动态画面随头部姿态的改变而改变。基于这一特点，使用人员只需借助AR眼镜就可以实时监控和观察整个环境的态势，提高工作效率。本专利技术的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术，但并不构成对本专利技术的限制。在附图中：图1是本专利技术中全景显示系统在AR眼镜上的实时传输与监控的方法的流程图；图2是本专利技术中弧形式排列的示意图；图3是本专利技术中散列式排列的示意图；图4是本专利技术中球体模型图；图5是本专利技术中数据的发送接收加速处理的示意图；图6是本专利技术中头部姿态控制的示意图；图7是本专利技术中协同使用流程框图。具体实施方式以下结合附图对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。在本专利技术中，在未作相反说明的情况下，“左、右”等包含在术语中的方位词仅代表该术语在常规使用状态下的方位，或为本领域技术人员理解的俗称，而不应视为对该术语的限制。参见图1，本专利技术提供一种全景显示系统在AR眼镜上的实时传输与监控的方法，包括：步骤1、安装摄像头；步骤2、进行全景画面实时拼接和unity多形状动态贴图；步骤3、对场景对象进行渲染；步骤4、UDP/RTSP全景画面传输；步骤5、实现头部姿态、眼动、语音和手势控制视角画面；步骤6、最终设备间同步显示全景实时画面并协同控制。在本实施方式中，步骤1包括：在设备上安装多路摄像头，并将其布置在设备上对应的位置，利用实时拼接及融合算法完成基本的全景画面显示；其中，摄像头的安装方式设定为弧形式排列或者散列式排列(如图2和图3所示)，并且，多路摄像头为4路、8路、16路或32路。实际安装过程中，摄像头的安装根据实际情况进行，对实时全景视频进行采集，并在终端显示。步骤2包括：通过unity3d软件接入步骤1中安装好的实时全景显示画面，在接入全景显示画面时，显示对象能够兼容多个模型作为贴图对象；将这些多模型类型的中心点作为视野的中心点，并给这多个模型的对象赋予全景Shader；其中，多个模型包括正方体、球体、圆柱体以及胶囊体。如图4中以球体为例(该该球体渲染的顶点总数、三角面总数量分别为4167个，8192个)，多个模型类别均采用高精度模型，这样能够更好地提高全景画面的清晰度。为了让光照效果更加真实，采用常用的球谐光照技术，该技术就是将复杂的光照信号投影到基函数上进行存储，然后在使用的时候再将基函数上的数据加起来重建光照信号，但是对于场景细分颗粒度的整个预处理会消耗大量的时间，并且对于带宽的传输也受到巨大的限制，但是如果将全景动态视频无缝的贴在3d模型上则会大幅度提高时间效率，因此本专利技术在此基础上，将球谐光照和动态视频的贴图相结合，既提高了渲染的效果又提升了时间效率，并且不会占用太多的内存资源。因此，步骤3中包括：在球谐光照技术的基础上对场景对象进行渲染，将动态视频贴在球体上，用于解决带宽传输及图像渲染的问题。步骤4包括：初始化位置坐标，通过UDP方式将实时的全景画面传输到AR眼镜端，若传输的视频帧过大，则对其进行压缩处理，用于提高传输速度。具体的，初始化坐标本文档来自技高网...

【技术保护点】
1.一种全景显示系统在AR眼镜上的实时传输与监控的方法，其特征在于，包括：/n步骤1、安装摄像头；/n步骤2、进行全景画面实时拼接和unity多形状动态贴图；/n步骤3、对场景对象进行渲染；/n步骤4、UDP/RTSP全景画面传输；/n步骤5、实现头部姿态、眼动、语音和手势控制视角画面；/n步骤6、最终设备间同步显示全景实时画面并协同控制。/n

【技术特征摘要】
1.一种全景显示系统在AR眼镜上的实时传输与监控的方法，其特征在于，包括：
步骤1、安装摄像头；
步骤2、进行全景画面实时拼接和unity多形状动态贴图；
步骤3、对场景对象进行渲染；
步骤4、UDP/RTSP全景画面传输；
步骤5、实现头部姿态、眼动、语音和手势控制视角画面；
步骤6、最终设备间同步显示全景实时画面并协同控制。


2.根据权利要求1所述的全景显示系统在AR眼镜上的实时传输与监控的方法，其特征在于，步骤1包括：在设备上安装多路摄像头，并将其布置在设备上对应的位置，利用实时拼接及融合算法完成基本的全景画面显示；其中，摄像头的安装方式设定为弧形式排列或者散列式排列，并且，多路摄像头为4路、8路、16路或32路。


3.根据权利要求1所述的全景显示系统在AR眼镜上的实时传输与监控的方法，其特征在于，步骤2包括：通过unity3d软件接入步骤1中安装好的实时全景显示画面，在接入全景显示画面时，显示对...

【专利技术属性】
技术研发人员：吉涛，向艳，朱标，张骏，孙瑞，张鹏，沈玉真，
申请(专利权)人：中航华东光电有限公司，
类型：发明
国别省市：安徽;34