电子设备状态跟踪方法、装置、电子设备及控制系统制造方法及图纸

本发明专利技术实施例提供一种电子设备状态跟踪方法、装置、电子设备及控制系统，该方法包括：在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中，确定与状态跟踪丢失的当前帧相匹配的目标关键帧；根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向；基于所确定的所述镜头位置和所述镜头朝向进行所述电子设备的视觉状态跟踪。该方法实现跟踪丢失后，可快速恢复跟踪状态。

State Tracking Method, Device, Electronic Equipment and Control System of Electronic Equipment

【技术实现步骤摘要】
电子设备状态跟踪方法、装置、电子设备及控制系统
本专利技术涉及计算机技术，尤其涉及一种电子设备状态跟踪方法、装置、电子设备及控制系统。
技术介绍
在同时定位与地图构建(SimultaneousLocalizationandMapping，简称SLAM)系统中，需要支持跟踪技术。跟踪主要指对用户视场与视点的跟踪。另外，跟踪还可能指对用户动作的跟踪。SLAM系统在运行过程中，由于一些异常可能会出现无法正常跟踪的问题，即出现跟踪丢失。当出现跟踪丢失之后，需要快速地恢复正常跟踪。而目前的SLAM系统在出现跟踪丢失之后，需要较长的处理时间才能继续跟踪。
技术实现思路
本专利技术实施例提供一种电子设备状态跟踪技术方案和增强现实控制技术方案。本专利技术实施例第一方面提供一种电子设备状态跟踪方法，包括：在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中，确定与状态跟踪丢失的当前帧相匹配的目标关键帧；根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向；基于所确定的所述镜头位置和所述镜头朝向进行所述电子设备的视觉状态跟踪。结合本专利技术任一实施例，可选地，所述在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中确定与状态跟踪丢失的当前帧相匹配的目标关键帧，包括：将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配；根据匹配的相似度在所述关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧。结合本专利技术任一实施例，可选地，所述根据匹配的相似度在所述关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧，包括：将所述关键帧集合中相似度最高的关键帧作为所述目标关键帧；或者，将所述关键帧集合中相似度超过设定阈值的关键帧作为所述目标关键帧。结合本专利技术任一实施例，可选地，所述将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配，包括：在所述地图的关键帧集合中确定缩略图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图；根据所述当前帧的缩略图上的像素点与所述关键帧的缩略图上的像素点的相似程度，进行相似度匹配。结合本专利技术任一实施例，可选地，所述将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配，包括：在所述地图的关键帧集合中确定原图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的原图；根据所述当前帧的原图上的像素点与所述关键帧的原图上的像素点的相似程度，进行相似度匹配。结合本专利技术任一实施例，可选地，所述将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配，包括：在所述地图的关键帧集合中确定缩略图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图；确定所述多个关键帧的原图；根据所述当前帧的原图上的像素点与所述关键帧的原图上的像素点的相似程度，进行相似度匹配。结合本专利技术任一实施例，可选地，将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配之前，还包括：根据拍摄参数在所述关键帧集合中确定所述至少一个关键帧，所述拍摄参数包括以下至少之一：镜头朝向、镜头位置、拍摄时间；和/或，所述至少一个关键帧的图像包括：所述至少一个关键帧的缩略图和/或原图。结合本专利技术任一实施例，可选地，所述根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向，包括：根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；根据所述当前帧对应的初始镜头位置以及初始镜头朝向，将所述目标关键帧的缩略图投影到所述当前帧的缩略图上；若投影之后所述目标关键帧的缩略图的像素点与所述当前帧的缩略图的像素点的匹配度达到预设值，则将投影时的镜头位置和镜头朝向作为所述当前帧对应的镜头位置以及镜头朝向。结合本专利技术任一实施例，可选地，所述根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向，包括：根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；根据所述当前帧的原图以及所述目标关键帧的原图，对所述当前帧以及所述目标关键帧进行像素点匹配，获取匹配的像素点集合；根据所述初始镜头位置、所述初始镜头朝向以及所述匹配的像素点集合，将所述目标关键帧投影到所述当前帧上；根据投影结果确定所述电子设备的镜头位置和镜头朝向。结合本专利技术任一实施例，可选地，所述根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向，包括：根据所述目标关键帧对应的镜头位置以及镜头朝向，确定所述当前帧对应的初始镜头位置以及初始镜头朝向；根据所述当前帧对应的初始镜头位置以及初始镜头朝向，将所述目标关键帧的缩略图投影到所述当前帧的缩略图上；若投影之后所述目标关键帧的缩略图的像素点与所述当前帧的缩略图的像素点的匹配度达到预设值，则将投影时的镜头位置和镜头朝向作为所述当前帧对应的镜头位置以及镜头朝向；根据所述当前帧的原图以及所述目标关键帧的原图，对所述当前帧以及所述目标关键帧进行像素点匹配，获取匹配的像素点集合；根据所述当前帧对应的镜头位置、镜头朝向以及所述匹配的像素点集合，将所述目标关键帧投影到所述当前帧上；根据投影结果确定所述电子设备的镜头位置和镜头朝向。结合本专利技术任一实施例，可选地，还包括：确定所述电子设备中惯性测量单元IMU的参数信息；根据所述电子设备的镜头位置和镜头朝向以及所述参数信息，重新确定所述电子设备的IMU的状态；根据重新确定的所述电子设备的IMU的状态进行所述电子设备的IMU状态跟踪。结合本专利技术任一实施例，可选地，所述IMU的参数信息包括以下至少之一：所述电子设备的速度、所述IMU的角速度偏差以及所述IMU的加速度偏差。结合本专利技术任一实施例，可选地，确定所述IMU的角速度偏差，包括：确定所述电子设备镜头采集的视频流中第一视频子段中每帧图像对应的IMU的位置和朝向；根据第一帧对应的IMU的朝向和第二帧对应的IMU的朝向，确定第一角度变化量；根据所述第一帧的图像和所述第二帧的图像对应的时间间隔内所述IMU的角速度进行积分得到第二角度变化量；根据所述第一角度变化量和所述第二角度变化量获取所述第一帧对应的IMU的角速度偏差；其中，所述第二帧为所述第一帧的前一帧。结合本专利技术任一实施例，可选地，确定所述IMU的加速度偏差，包括：根据第一帧对应的IMU的位置和第二帧对应的IMU的位置，确定第一位移变化量；根据预设重力信息，对所述第一帧图像和所述第二帧图像对应的时间间隔内所述IMU的加速度进行积分得到第二位移变化量；根据所述第一位移变化量、所述第二位移变化量、所述第一角度变化量和所述第二角度变化量获取所述第一帧对应的速度信息和所述IMU的加速度偏差。结合本专利技术任一实施例，可选地，还包括：对所述IMU的参数信息进行验证；若验证通过，则根据确定出的所述IMU的状态对所述IMU进行相应调整。结合本专利技术任一实施例，可选地，还包括：若验证不通过，确定所述电子设备镜头采集的视频流中第二视频子段，并基于所述第二视频子段重新确定所述IMU的参数信息，其中，所述第二视频子段与所述第一视频子段部分重叠或完全不同。结合本专利技术任一实施例，可选地，所述对本文档来自技高网...

【技术保护点】
1.一种电子设备状态跟踪方法，其特征在于，包括：在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中，确定与状态跟踪丢失的当前帧相匹配的目标关键帧；根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向；基于所确定的所述镜头位置和所述镜头朝向进行所述电子设备的视觉状态跟踪。

【技术特征摘要】
1.一种电子设备状态跟踪方法，其特征在于，包括：在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中，确定与状态跟踪丢失的当前帧相匹配的目标关键帧；根据所述目标关键帧和所述当前帧确定电子设备的镜头位置和镜头朝向；基于所确定的所述镜头位置和所述镜头朝向进行所述电子设备的视觉状态跟踪。2.根据权利要求1所述的方法，其特征在于，所述在同时定位与地图构建SLAM系统针对电子设备所在的环境所生成的地图的关键帧集合中确定与状态跟踪丢失的当前帧相匹配的目标关键帧，包括：将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配；根据匹配的相似度在所述关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧。3.根据权利要求2所述的方法，其特征在于，所述根据匹配的相似度在所述关键帧集合中确定与跟踪丢失的当前帧相匹配的目标关键帧，包括：将所述关键帧集合中相似度最高的关键帧作为所述目标关键帧；或者，将所述关键帧集合中相似度超过设定阈值的关键帧作为所述目标关键帧。4.根据权利要求2或3所述的方法，其特征在于，所述将所述当前帧的图像与所述关键帧集合中的至少一个关键帧的图像进行相似度匹配，包括：在所述地图的关键帧集合中确定缩略图拍摄参数与所述当前帧的拍摄参数的差异满足容差范围的多个关键帧的缩略图；根据所述当前帧的缩略图上的像素点与所述关键帧的缩略图上的像素点的相似程度，进行相似度匹配。5.一种增强现实AR控制方法，其特征在于，包括：AR引擎获取同时定位与地图构建SLAM系统的输出结果，所述输出结果...

【专利技术属性】
技术研发人员：鲍虎军，章国锋，王楠，陈丹鹏，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江,33