一种基于生成对抗网络的目标及轨迹增强现实方法和系统技术方案

本发明专利技术提供一种基于生成对抗网络的目标及轨迹增强现实方法，包括：采集包括目标和场景信息的真实场景，检测回环帧，先获取目标完整三维点云，输入到生成对抗网络的第一生成器网络，输出虚拟目标点云，将虚拟目标点云与预先构建的目标骨架模型构建生成目标模型；再输入到生成对抗网络的第二生成器网络，输出虚拟目标；虚拟目标及点云与真实目标及点云经过映射叠加处理，生成叠加场景，输出增强现实的目标及轨迹；所述装置包括采集模块、定位追踪模块、虚实融合模块和显示模块。本发明专利技术基于回环帧和生成对抗网络实现目标和轨迹增强现实，提高了确定目标识别及运动轨迹的灵活性，为目标探测与识别、可行区域检测、路径规划等提供精准信息。

A method and system of augmented reality for target and trajectory based on the generated countermeasure network

【技术实现步骤摘要】
一种基于生成对抗网络的目标及轨迹增强现实方法和系统
本专利技术涉及人工智能、目标探测与识别和增强现实等领域，尤其是涉及了一种基于生成对抗网络的目标及轨迹增强现实方法和系统。
技术介绍
增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，可以运用到装备的装配、保障等智能制造活动的各个环节中，在采集的现实图景中实时叠加进去虚拟的成分(模型、知识、数据等)，以实现知识和信息的增强。目前大多方法是通过设备，如头盔、眼镜、摄像头等将用户视角的真实世界图景采集、输入到增强现实系统中与增强现实系统产生的虚拟景象等进行合成，现有增强现实技术主要通过服务器与客户端之间的信息交互来实现增强现实应用，其还存在如下三个问题：一是服务器的AR虚拟信息由开发者/服务商利用第三方工具或者原生代码预先配置而得，技术难度高，对普通用户而言具有较高的应用门槛；二是服务器/客户端对现实信息的识别处理能力有限，其处理算法存在识别精度和稳定性的问题，识别效果有待进一步提高；三是将现实场景与虚拟物体进行融合显示，需要准确地对场景建立三维模型，以便在此基础上准确地显本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，主要包括：/n(一)利用数据采集装置获取真实世界，即真实世界的目标信息和场景信息；/n(二)基于回环帧，提取目标信息；/n(三)构建生成对抗网络，生成虚拟目标及虚拟目标点云信息，其流程如下：/n步骤1，由原始点云数据、RGB信息和深度信息，经过处理生成完整三维点云；/n步骤2，将所述目标的完整三维点云输入到生成对抗网络的第一生成器网络，输出虚拟目标点云；/n步骤3，将所述虚拟目标点云与预先构建的目标骨架模型，在建模软件中生成目标模型；所述建模软件包括MAYA、3Dmax等三维建模和动画软件中的一种或几种；/n步骤4，将所述目标模型输...

【技术特征摘要】
1.一种基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，主要包括：
(一)利用数据采集装置获取真实世界，即真实世界的目标信息和场景信息；
(二)基于回环帧，提取目标信息；
(三)构建生成对抗网络，生成虚拟目标及虚拟目标点云信息，其流程如下：
步骤1，由原始点云数据、RGB信息和深度信息，经过处理生成完整三维点云；
步骤2，将所述目标的完整三维点云输入到生成对抗网络的第一生成器网络，输出虚拟目标点云；
步骤3，将所述虚拟目标点云与预先构建的目标骨架模型，在建模软件中生成目标模型；所述建模软件包括MAYA、3Dmax等三维建模和动画软件中的一种或几种；
步骤4，将所述目标模型输入到生成对抗网络的第二生成器网络，输出虚拟目标。


2.一种基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，将数据采集装置得到的真实目标及真实点云信息与虚拟目标及虚拟点云信息经过映射叠加处理，生成叠加场景，输出增强现实的目标及轨迹。


3.基于权利要求1所述的基于增强现实技术的目标及轨迹处理方法，其特征在于，所述经过处理生成完整三维点云，其步骤如下：
步骤1，点云数据预处理，基于双边滤波对原始点云进行降噪处理，同时对场景中的目标进行提取，将待配准目标从全局场景中分离；
步骤2，获取目标完整点云轮廓：通过基于点云的深度信息，利用NARF关键点提取算法对点云进行边缘检测，获得表面稳定而邻域变化大的边缘点，得到点云外轮廓，外接长方体、圆柱体、球体，以外轮廓为基础，包容95％总点云数的同类型轮廓，确定点云内轮廓；
步骤3，关键点提取：基于RGB信息对完整点云轮廓中的点进行描述，通过点云RGB描述算子检测RGB关键点，对所述点云数据建立kd-tree以检测目标关键点，首先将点云的所有候选点按照方差进行排序，然后取方差最大的前10％的点构成候选关键点集合，对候选关键点集合中的点，在以阈值R为半径的区域进行搜索，保留区域中方差最大的点为关键点，直至提取出目标所有关键点；
步骤4，对目标点云进行粗配准和精配准，直至获取完整目标点云信息；用标签对同一目标进行标记，添加时间戳，以获取时间同步的被标记的多个目标的数据序列。


4.基于权利要求1所述的基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，所述(一)利用数据采集装置获取真实世界，具体包括：
获取基于连续帧的视频信息：利用激光雷达传感器生成原始点云数据、位置数据和姿态数据，由RGB-D相机获取深度信息和颜色信息；
所述场景，包括以下任意一种：山川、峡谷、河流、平原、湖泊、沙漠、盆地和草地；
所述目标，包括以下任意一种或多种：指定的静止的或/和运动的物体；
基于所述连续帧的视频信息，获取所述目标的运动轨迹。


5.基于权利要求1所述的基于生成对抗网络的目标及轨迹增强现实方法，其特征在于，所述(二)基于回环帧，提取目标信息，具体包括：所述目标在连续帧时刻可能会出现不连续情况，如A目标在第1帧出现、在第2帧消失、在第3帧出现的情况，因此检测回环帧，在连续帧序列中计算帧与帧之间的相似性，保留相似度大于阈值的帧，移除相似度小于阈值的帧，其步骤如下：
步骤1，以连续帧中的当前帧为基础，在第1帧至当前帧时刻获取完整视频信息，包括原始三维点云、颜色特征以及态姿位置，对于同一目标，保留其所有帧，组成关键帧参考集合；
步骤2，选择关键帧参考集合的第一帧设为关键帧，计算关键帧参考集合除第一帧以外的其余帧包含目标的周围环境特征信息的相似性，若相似性大于预设值，则该帧构成关键帧集合，否则不放入候选关键帧集合；
然后从候选关键帧集合中选择：当目标短时间旋转角度超过20°时，或当目标静止时每10秒产生一个关键帧，将生成一个关键帧；同一目标的位移和旋转角度满足预设值，则将当前帧作为关键帧，存入关键帧集合，运动预设值为0.1-0.15之间；
步骤3，从候选关键帧集合中选择任...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东;44