移动摄像机的数字视网膜的运动特征的提取与编码方法技术

一种移动摄像机的数字视网膜的运动特征的提取与编码方法，在数字视网膜特征流中加入移动摄像机的运动位姿信息，从而能够在云端准确推算移动摄像机三维空间地理位置。在摄像机端，通过多传感器(IMU、激光雷达、高度计、GPS/BDS等)和摄像机的测量数据的融合得到运动位姿，使其能在GPS/BDS信号缺失、环境复杂多变的情况下继续推算相机的运动位姿，并将最终得到的运动位姿通过特征编码上传到云端，实现基于摄像机地理位置信息的快速视频检索。相对运动信息并编码，上传到云端；根据已知位置信息推算视频图像的三维地理位姿，并实现快速视频检索和三维重建，实现高精度地图的更新。

Extraction and Coding of Digital Retinal Motion Features from Mobile Camera

【技术实现步骤摘要】
移动摄像机的数字视网膜的运动特征的提取与编码方法
本专利技术属于数字视网膜标准中特征编码领域，涉及移动摄像机的数字视网膜的运动特征的提取与编码方法，该方法是通过多传感器融合视频定位和云端视频快速三维检索技术实现视频的快速检索。
技术介绍
随着移动摄像应用场景越来越多，比如车载摄像，行人手持摄像等，云端的视频数据量呈现爆炸性成长，基于GPS(GlobalPositioningSystem)和BDS(北斗)为基础的地理信息视频快速检索面临挑战。在高楼林立的城市环境中，GPS/BDS带来几十米到几百米的定位误差；在室内环境中，GPS/BDS丧失精确定位功能，不能提供3D地理定位信息。所以，需要发展出一种在室内、外环境中能够提供满足三维视频检索的精确地理位置定位技术，特别在楼宇内还能够提供楼层精度的三维地理信息。为解决上述问题，学术界和工业界分别发展出许多超越GPS/BDS的定位技术，包括无线定位、惯性导航定位、视频定位等。无线定位基于预先架设的辅助定位设备，包括Wi-Fi、蓝牙等。惯性导航定位不需要预先架设定位辅助设备，只需要在摄像机上增加额外的IMU(InertialMeasurementUnit)设备，适合在未知环境中实现导航定位，确定是定位误差会随着时间累计增加。同样，视频定位不需要增加额外的辅助定位设备，其定位精度易受光照条件和动态环境的影响。总而言之，多传感器融合定位技术能够有效提高定位的精确度、鲁棒性、稳定性和可扩展性。在现有的数字视网膜技术中，包含了视频特征编码和AVS视频编码，并且采用GPS/BDS定位作为视频图像的地理位置信息。如上所述，GPS/BDS的定位技术在一些复杂环境中不能够提供精确的地理定位信息。然而移动摄像机的视觉定位技术可以在GPS/BDS技术失效的情况下继续提供准确的地理位置信息，特别是三维空间信息，包括高度信息，从而极大地提高地理位置定位的准确率。在实际的应用环境中，视频图像会出现特征少、或缺失的情况。在这种情况下，无法采用云端接收的视频特征值估计摄像机的运动。同时，由于云端接收的压缩视频图像存在失真，无法采用直接法估计摄像机的运动。实际的经验告诉，精确的地理位置信息需要多传感器融合估计技术，实现多传感器融合的摄像机运动估计只能在摄像机端实现、然后编码上传到云端，在云端获得准确的地理位置信息实现视频图像的快速检索、或三维重建。总而言之，针对全环境快速视频检索日益增长的需求，需要发展一种综合技术，在未知的环境中(无预先铺设定位辅助设备)，仅在移动摄像机上增加辅助模块，能够解决估计移动摄像机三维空间地理位置的问题，实现基于三维地理位置信息的快速视频检索和三维视频重建。
技术实现思路
本专利技术的目的在于公开一种移动摄像机的数字视网膜的运动特征的提取与编码方法。该提取与编码方法是通过如下方式实施的，在数字视网膜特征流中加入移动摄像机的运动位姿信息，从而能够在云端准确推算移动摄像机三维空间地理位置。在摄像机端，通过多传感器(IMU、激光雷达、高度计、GPS/BDS等)和摄像机的测量数据的融合得到运动位姿，使其能在GPS/BDS信号缺失、环境复杂多变的情况下继续推算相机的运动位姿，并将最终得到的运动位姿通过特征编码上传到云端，实现基于摄像机地理位置信息的快速视频检索，本专利技术提供的技术方案是：通过视觉里程计估计移动摄像机所拍摄图像之间的运动信息(图像之间的旋转矩阵和位移向量)，并融合绑定在摄像机上多传感器(GPS/BDS、IMU、激光雷达、高度计等)得到的运动信息，通过对运动信息进行处理，得到每一帧(或关键帧)视频图像的相对运动位姿，然后将相对运动位姿与对应的图像特征一起编码上传到云端，在云端基于运动位姿编码信息推算所需视频图像的地理位置信息。下面以特征法视频定位技术和IMU传感器融合为例说明运动位姿估计过程，包括如下步骤：1)视觉里程计系统初始化：使用特征点法初始化相机位姿并构建局部地图，得到3D-2D匹配点，若周围环境特征点数量偏少，则使用直接法求解相机位姿，得到初始帧之间的2D-2D匹配点；2)IMU预处理：IMU预积分，构建图像关键帧之间的位姿约束方程；3)激光雷达测量数据，对3维点云图进行特征匹配，得到3D-3D点对；4)视觉传感器、惯性传感器、激光雷达联合初始化：对IMU、视觉传感器和激光雷达进行数据对齐，融合数据；5)优化相机位姿：通过重投影误差方程和IMU预积分约束方程以及激光雷达构建的3D-3D匹配误差方程，用最小二乘法优化相机位姿。若相机运动到特征缺失地方时，则使用直接法得到的光度误差方程替代源重投影误差方程；6)将相机绝对位姿转换为相对位姿；7)对相对位姿进行编码，上传云端；8)云端解码，并修正。上述步骤1)所述的视觉里程计系统初始化，其具体过程如下：1-1)特征点提取：提取关键点和计算描述子，并匹配特征点。1-2)特征点计算相机位姿：通过特征点法得到的匹配点，通过求解本质矩阵得到相机位姿。1-3)直接法计算相机位姿：若相机运动到特征缺失的地方，则采用直接法构建两帧之间的光度误差方程，通过后面提出的非线性优化方法求解出位姿。上述步骤2)所述的IMU预积分，其具体过程如下：2-1)IMU测量得到数据，得到加速度a和角速度ω。2-2)IMU构建帧与帧之间的约束方程：通过积分公式，对加速度和角速度进行积分，得到帧与帧之间的约束方程：上述步骤4)所述的视觉传感器、惯性传感器、激光雷达联合初始化：对IMU、视觉传感器和激光雷达进行数据对齐，融合数据步骤是：4-1)陀螺仪偏置标定、加速度计偏置标定和尺度重力加速度优化：通过联立N-1个相机做旋转矩阵的最小二乘法，然后通过高斯牛顿法得到IMU的零偏，并假设重力加速度G是一个不变值，优化重力加速度的方向；4-2)摄像机、IMU和激光雷达进行数据对齐：对上述过程仅提取关键帧，仅在关键帧上关联点云、图像和IMU数据，实现数据对齐。上述步骤5)所述的最小二乘法优化相机位姿，其具体过程如下：5-1)构建摄像机、IMU、激光雷达共同误差方程。通过BA共同优化两个传感器的误差，从而实现单目视觉传感器和惯性传感器的数据融合。误差方程如下：其中θ表示待优化变量，i，j分别表示上一帧和当前帧。分别表示旋转矩阵、位移向量、速度向量以及两个IMU偏置。∑kEproj(k，j)表示视觉传感器构建的重投影误差，EIMU(i，j)表示IMU构建的约束误差。EICP(i，j)表示通过激光雷达构建的3D-3D匹配误差；5-2)联合求解优化位姿，通过最小二乘法，求得误差方程相对于位姿的导数，然后以高斯牛顿法求解相机位姿。本专利技术的移动摄像机的数字视网膜的运动特征的提取与编码方法采用多传感器融合估计移动摄像机帧(或关键帧)之间的相对运动信息并编码，作为数字视网膜特征码一部分，上传到云端；在云端，根据已知位置信息，推算视频图像的三维地理位姿，并实现快速视频检索和三维重建；在云端，结合上传的视频图像，实现基于推算出的视频图像地理信息，实现高精度地图的更新。由于采取了上述技术方案，本专利技术具有如下优点：1、全环境，能够提供至少米级精度的定位。步骤1中采用特征点法求解位姿，现有SLAM算法通过特征点法得到的相机位置误差在米级以内，因此可以预见本方案最终能够提供至少米级精度的本文档来自技高网...

【技术保护点】
1.一种移动摄像机的数字视网膜的运动特征的提取与编码方法，通过视觉里程计估计移动摄像机所拍摄图像之间的运动信息，并融合绑定在摄像机上多传感器(GPS/BDS、IMU、激光雷达、高度计等)得到的运动信息，通过对运动信息进行处理，得到每一帧(或关键帧)视频图像的相对运动位姿，然后将运动位姿与对应的图像特征一起编码上传到云端，在云端基于运动位姿编码信息推算所需视频图像的地理位置信息，包括如下步骤：1)视觉里程计系统初始化：使用特征点法初始化相机位姿并构建局部地图，得到3D‑2D匹配点，若周围环境特征点数量偏少，则使用直接法求解相机位姿，得到初始帧之间的2D‑2D匹配点；2)IMU预处理：IMU预积分，构建图像关键帧之间的位姿约束方程；3)激光雷达测量数据，对3维点云图进行特征匹配，得到3D‑3D点对；4)视觉传感器、惯性传感器、激光雷达联合初始化：对IMU、视觉传感器和激光雷达进行数据对齐，融合数据；5)优化相机位姿：通过重投影误差方程和IMU预积分约束方程以及激光雷达构建的3D‑3D匹配误差方程，用最小二乘法优化相机位姿。若相机运动到特征缺失地方时，则使用直接法得到的光度误差方程替代源重投影误差方程；6)将相机绝对位姿转换为相对位姿；7)对相对位姿进行编码，上传云端；8)云端解码，并修正。...

【技术特征摘要】
2019.01.29 CN 20191008660831.一种移动摄像机的数字视网膜的运动特征的提取与编码方法，通过视觉里程计估计移动摄像机所拍摄图像之间的运动信息，并融合绑定在摄像机上多传感器(GPS/BDS、IMU、激光雷达、高度计等)得到的运动信息，通过对运动信息进行处理，得到每一帧(或关键帧)视频图像的相对运动位姿，然后将运动位姿与对应的图像特征一起编码上传到云端，在云端基于运动位姿编码信息推算所需视频图像的地理位置信息，包括如下步骤：1)视觉里程计系统初始化：使用特征点法初始化相机位姿并构建局部地图，得到3D-2D匹配点，若周围环境特征点数量偏少，则使用直接法求解相机位姿，得到初始帧之间的2D-2D匹配点；2)IMU预处理：IMU预积分，构建图像关键帧之间的位姿约束方程；3)激光雷达测量数据，对3维点云图进行特征匹配，得到3D-3D点对；4)视觉传感器、惯性传感器、激光雷达联合初始化：对IMU、视觉传感器和激光雷达进行数据对齐，融合数据；5)优化相机位姿：通过重投影误差方程和IMU预积分约束方程以及激光雷达构建的3D-3D匹配误差方程，用最小二乘法优化相机位姿。若相机运动到特征缺失地方时，则使用直接法得到的光度误差方程替代源重投影误差方程；6)将相机绝对位姿转换为相对位姿；7)对相对位姿进行编码，上传云端；8)云端解码，并修正。2.根据权利要求1所述的提取与编码方法，其特征在于：上述步骤1)所述的视觉里程计系统初始化，其具体过程如下：1-1)特征点提取：提取关键点和计算描述子，并匹配特征点；1-2)特征点计算相机位姿：通过特征点法得到的匹配点，通过求解本质矩阵得到相机位姿；1-3)直接法计算相机位姿...

【专利技术属性】
技术研发人员：李宏，李承远，蔡行，张兰清，刘丽，
申请(专利权)人：浙江省北大信息技术高等研究院，
类型：发明
国别省市：浙江,33