一种图像生成方法及移动设备技术

本申请提供一种图像生成方法及移动设备，该方法包括：控制移动设备的相机连续采集多帧图像；通过移动设备的IMU传感器获取多帧图像中每帧图像的对应的IMU测量信息；以及，根据IMU测量信息，对每帧图像进行拼接，以生成拼接图像。图像生成方法用于移动设备，通过移动设备的相机采集多帧图像，同时，利用移动设备的IMU传感器获取IMU测量信息，根据IMU测量信息进行图像拼接，其中IMU测量信息用于去除拼接时存在的特征点的误匹配，从而使的图像拼接得到的拼接图像更准确，减少了拼接图像失真的情况。况。况。

【技术实现步骤摘要】
一种图像生成方法及移动设备


[0001]本申请涉及图像处理
，具体而言，涉及一种图像生成方法及移动设备。

技术介绍

[0002]拍摄全景图是一个常见的应用需求，由于镜头的FOV(field of view)视场角有限，全景图通常是由多张图拼接而成的大图，现有的全景拼接技术是完全基于图像的，一般由如下四步完成：1.检测并提取图像的特征点和特征点的描述子2.匹配两个图像之间的描述子3.使用RANSAC算法解方程组计算两张图像之间的单应矩阵4.使用单应矩阵来对图像进行拼接。
[0003]其中，特征点匹配的工作可采用SIFT算法，该算法对尺度变化，旋转以及光照变化都有很好的适应性，但SIFT计算量大，花费的时间长，不具有实时性。特征点匹配的工作也可采用SURF匹配算法，尽管提高了匹配效率，可是在用在移动机器人视觉定位与导航中，实时性还是远远达不到。目前，特征点匹配的工作大多采用ORB(Oriented FAST and RotatedBRIEF)特征匹配算法，ORB特征匹配算法在特征点提取匹配上具有快速性，在提取稀疏的特征点时具备初步的实时性。但是ORB匹配算法在提取得到特征点并建立初始匹配时，会有大量的误匹配点，从而导致视觉里程计的位姿估计不准确，鲁棒性差等问题。因此剔除误匹配而保留优质的匹配在以上涉及的领域中是很重要的部分，目前在剔除误匹配传统做法是先利用ORB算法得到粗略的匹配点，然后利用RANSAC算法进行剔除误匹配点，但是RANSAC也不能保证完全去除误匹配，所以解出的单应矩阵是有误差的，导致根据有误差的单应矩阵进行图像拼接得到的全景图像存在失真。因此，可以看到，在现实中，为了让误差能保持的比较小，一般会要求用户在拍摄全景的模式时尽量相机平行移动，给用户操作带来了极大的不便。

技术实现思路

[0004]本申请实施例的目的在于提供一种图像生成方法及移动设备，用以解决RANSAC不能保证完全去除误匹配，导致根据有误差的单应矩阵进行图像拼接得到的全景图像存在失真的问题。
[0005]本申请实施例提供的一种图像生成方法，用于移动设备，该方法包括：
[0006]控制移动设备的相机连续采集多帧图像；
[0007]通过移动设备的IMU传感器获取多帧图像中每帧图像的对应的IMU测量信息；以及
[0008]根据IMU测量信息，对每帧图像进行拼接，以生成拼接图像。
[0009]上述技术方案中，图像生成方法用于移动设备，通过移动设备的相机采集多帧图像，同时，利用移动设备的IMU传感器获取IMU测量信息，根据IMU测量信息进行图像拼接，其中IMU测量信息用于去除拼接时存在的特征点的误匹配，从而使的图像拼接得到的拼接图像更准确，减少了拼接图像失真的情况。
[0010]在一些可选的实施方式中，根据IMU测量信息，对每帧图像进行拼接，其中任意两
帧图像的拼接方法，包括：
[0011]获取该两帧图像的初始匹配对；
[0012]根据初始匹配对，获取该两帧图像的真实匹配对；
[0013]根据真实匹配对，对该两帧图像进行拼接。
[0014]其中，获取该两帧图像的初始匹配对，包括：
[0015]根据拍摄两帧图像时的IMU测量信息以及相机相对于IMU的姿态偏移，计算得到拍摄两帧图像时相机的旋转矩阵和平移向量；
[0016]对两帧图像进行ORB特征检测，得到两幅图像的特征点以及基于特征点的描述子；
[0017]根据描述子进行特征点的匹配，获得初始匹配对；
[0018]其中，根据初始匹配对，获取该两帧图像的真实匹配对，包括：
[0019]根据旋转矩阵和平移向量，剔除初始匹配对中不满足对极约束的匹配对，得到真实匹配对。
[0020]上述技术方案中，在移动设备中，由于物理装配的原因，相机中心和IMU传感器中心不重合存在偏差，因此，需要根据拍摄两帧图像时的IMU测量信息以及相机相对于IMU的姿态偏移，计算得到拍摄两帧图像时相机的旋转矩阵和平移向量。再利用旋转矩阵和平移向量，计算初始匹配对中匹配对是否满足对极约束，以剔除初始匹配对中不满足对极约束的匹配对，得到真实匹配对。根据真实匹配对，对两帧图像进行拼接，从而使的图像拼接得到的拼接图像更准确，减少了拼接图像失真的情况。
[0021]在一些可选的实施方式中，其中，相机相对于IMU的姿态偏移由相机相对于IMU的旋转矩阵描述。
[0022]在一些可选的实施方式中，根据IMU测量信息以及IMU和相机的姿态偏移，计算得到拍摄两帧图像时相机的旋转矩阵和平移向量，包括：
[0023]根据IMU测量信息，得到IMU的旋转矩阵和平移向量；以及
[0024]叠加IMU的旋转矩阵以及相机相对于IMU的旋转矩阵，获得相机的旋转矩阵；将IMU的平移向量作为相机的平移向量。
[0025]上述技术方案中，对IMU测量信息，利用IMU两帧间离散的积分公式，得到IMU的四元数q(表示旋转)和位置p，该公式为：
[0026][0027][0028][0029]其中，v表示速度。上角标w表示的世界坐标系下。下角标bi表示bi帧。δt表示的是两次IMU测量时的时间间隔。表示的是i时刻观测的加速度计值并且当前时刻的观测值代替了整个连续小区间的值，表示的是对应的角速度值并且当前时刻的观测值代替了整个连续小区间的值。
[0030]再根据四元数q和位置p，得到旋转矩阵R和平移向量t，其中，平移向量t为位置p的
平移。根据四元数q，计算旋转矩阵R的公式如下：
[0031]q＝q0+q1i+q2j+q3k＝[s,v][0032][0033]其中，s称为四元数的实部，v称为四元数的虚部。
[0034]在一些可选的实施方式中，根据描述子进行特征点的匹配，获得初始匹配对，包括：
[0035]通过计算两帧图像中各特征点对应描述子的最近汉明距离，来进行两帧图像中特征点的匹配，得到初始匹配对。
[0036]在一些可选的实施方式中，根据真实匹配对，对两帧图像进行拼接，包括：
[0037]根据真实匹配对，利用最小二乘法求解单应矩阵；
[0038]利用单应矩阵拼接两帧图像。
[0039]上述技术方案中，由于真实匹配对中去除了可能的误匹配，因此，可以利用最小二乘法求解出准确的单应矩阵，利用该单应矩阵进行图像拼接，得到的拼接图像更准确，减少了拼接图像失真的情况。
[0040]在一些可选的实施方式中，对极约束为：
[0041][0042]其中，R为旋转矩阵，t为平移向量，p1,p2为一个匹配对，K为相机内参。
[0043]本申请实施例提供的一种移动设备，包括：
[0044]相机，用于连续采集多帧图像；
[0045]IMU传感器，用于获取多帧图像中每帧图像的对应的IMU测量信息；
[0046]图像拼接模块，用于根据IMU测量信息，对每帧图像进行拼接，以生成拼接图像。
[0047]上述技术方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，用于移动设备，所述方法包括：控制移动设备的相机连续采集多帧图像；通过移动设备的IMU传感器获取所述多帧图像中每帧图像的对应的IMU测量信息；以及根据所述IMU测量信息，对所述每帧图像进行拼接，以生成拼接图像。2.如权利要求1所述的方法，其特征在于，所述根据所述IMU测量信息，对所述每帧图像进行拼接，其中任意两帧图像的拼接方法，包括：获取所述两帧图像的初始匹配对；根据所述初始匹配对，获取所述两帧图像的真实匹配对；根据所述真实匹配对，对所述两帧图像进行拼接。3.如权利要求2所述的方法，其特征在于，所述获取所述两帧图像的初始匹配对，包括：根据拍摄两帧图像时的IMU测量信息以及所述相机相对于IMU的姿态偏移，计算得到拍摄两帧图像时相机的旋转矩阵和平移向量；对两帧图像进行ORB特征检测，得到两幅图像的特征点以及基于特征点的描述子；根据描述子进行特征点的匹配，获得所述初始匹配对。4.如权利要求3所述的方法，其特征在于，所述根据所述初始匹配对，获取所述两帧图像的真实匹配对，包括：根据所述旋转矩阵和平移向量，剔除初始匹配对中不满足对极约束的匹配对，得到所述真实匹配对。5.如权利要求3所述的方法，其特征在于，其中，所述相机相对于IMU的姿态偏移由所述相机相对于IMU的旋转矩阵描述。6.如权利要求5所述的方法，其特征在于，所述根据IMU测量信息以及IMU和相机的姿态偏移，计算得到拍摄两帧图像时相机的旋转矩阵和平移向量，包括：根据IMU测量信息，得到IMU的旋转矩阵和平移向量；以及叠加IMU的旋转矩阵以及相机相对于IMU的旋转矩阵，获得相机的旋转矩阵；将IMU的平移向量作为相机的平移向量。7.如权利要求3所述的方法，其特征在于，所述根据描述子进...

【专利技术属性】
技术研发人员：刘建伟，
申请(专利权)人：爱芯元智半导体上海有限公司，
类型：发明
国别省市：