特征提取的方法、装置、电子设备和计算机存储介质制造方法及图纸

本发明专利技术提供了一种特征提取的方法、装置、电子设备和计算机存储介质，该方法包括：获取待处理图像；对待处理图像进行特征提取，得到待处理图像的特征提取图谱和特征提取图谱中像素点的特征描述符；根据特征提取图谱和特征描述符确定待处理图像的图像特征，以根据图像特征确定视觉惯性里程计的位姿信息；该图像特征包括：轮廓特征点的位置信息和/或轮廓特征点的特征描述符。在本发明专利技术中，能够获取待处理图像中大量均匀分布的轮廓特征点，避免了传统提取方法中提取的特征点集中在某一小块区域而丧失部分维度，在环境变化剧烈时也能够获得鲁棒的图像特征，稳定性好，缓解了现有的特征提取算法提取得到的图像特征稳定性差且准确性不好的技术问题。

【技术实现步骤摘要】
特征提取的方法、装置、电子设备和计算机存储介质
本专利技术涉及图像处理的
，尤其是涉及一种特征提取的方法、装置、电子设备和计算机存储介质。
技术介绍
在目前的视觉同步定位与地图构建系统中，研究员通常采用视觉里程计，利用前后帧图像之间的匹配估计相机运动，并利用重投影误差来优化相机位姿。在这一过程中，需要通过特征提取算法提取前后帧图像的特征点，然后通过前后帧图像特征点的匹配，估计相机运动。在目前的视觉同步定位与地图构建系统中，特征提取算法都是采用了传统的orb算法或sift算法。由于前后帧图像之间的匹配完全依赖于特征点的对应，假如特征点在图像的不同区域产生了大的响应值(比如，在前一帧图像中提取的特征点在前一帧图像的手机区域，而在当前帧图像中提取的特征点在当前帧图像的鼠标区域)，这样即便特征提取准确，也无法通过特征点对前后帧图像进行配准。这两种算法使用“响应值最大”作为判断特征点位置的标准，提取的图像特征的稳定性差；另外，在实际的处理过程中，尤其是室外环境的光照变化范围通过较大，这将大大影响前后帧图像的特征提取以及前后帧图像的匹配，尤其是在昏暗灯光(如夜晚、雪景等)的情况下，将会使得orb算法或sift算法在前后帧图像的绝大部分区域获得相近的响应值(响应值用于表征其对应的点为特征点概率的大小)，这样使用“响应值最大”作为判断特征点位置的标准时，导致提取得到的特征点的数量急剧减少，也即提取的图像特征的准确性差，无法进行鲁棒的特征匹配，进而估计得到相机运动准确性差。而由于相机运动是由前后帧图像的相对位姿确定的，当前帧位姿估计都依赖于前一帧的位姿，因此，假如在某个位置的运动估计产生了误差，该错误信息将在视觉同步定位与地图构建系统中一直传递，并不断累计，最终可能导致估计的相机运动发生轨迹漂移。综上，现有的特征提取算法提取得到的图像特征稳定性差且准确性不好。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种特征提取的方法、装置、电子设备和计算机存储介质，以缓解现有的特征提取算法提取得到的图像特征稳定性差且准确性不好的技术问题。第一方面，本专利技术实施例提供了一种特征提取的方法，所述方法包括：获取视觉惯性里程计在目标区域内移动时，对所述目标区域进行拍摄得到的待处理图像；对所述待处理图像进行特征提取，得到所述待处理图像的特征提取图谱和所述特征提取图谱中像素点的特征描述符；所述特征提取图谱中第一像素点的像素值表示其在所述待处理图像中所对应的像素点为所述待处理图像中目标对象的轮廓特征点的概率，所述特征描述符表示其所对应的第一像素点的图像块信息；根据所述特征提取图谱和所述特征提取图谱中像素点的特征描述符，确定所述待处理图像的图像特征，以根据所述图像特征确定所述视觉惯性里程计的位姿信息；所述图像特征包括：所述轮廓特征点的位置信息和/或所述轮廓特征点的特征描述符。进一步地，所述图像特征包括：所述轮廓特征点的位置信息；根据所述特征提取图谱和所述特征提取图谱中像素点的特征描述符，确定所述待处理图像的图像特征包括：在所述特征提取图谱中确定第一目标像素点；所述第一目标像素点为所述第一像素点中像素值大于预设像素阈值的像素点；对所述第一目标像素点按照其像素值进行排序，得到像素点排序序列；对所述像素点排序序列中的像素点进行非极大值抑制操作，得到目标像素点；将所述目标像素点在所述特征提取图谱中的位置信息作为所述轮廓特征点的位置信息。进一步地，所述图像特征还包括：所述轮廓特征点的特征描述符；在得到所述轮廓特征点的位置信息之后，所述方法还包括：在所述特征提取图谱中像素点的特征描述符中，将所述轮廓特征点的位置信息所对应的像素点的特征描述符作为所述轮廓特征点的特征描述符。进一步地，所述待处理图像包括：第一待处理图像和第二待处理图像，所述第一待处理图像为所述第二待处理图像的前一图像帧；根据所述图像特征确定所述视觉惯性里程计的位姿信息包括：根据所述第一待处理图像的图像特征和所述第二待处理图像的图像特征进行特征匹配，得到特征匹配点对；所述特征匹配点对中包含所述第一待处理图像与所述第二待处理图像中相匹配的轮廓特征点；确定所述目标区域内与第一特征点相对应的三维特征点；所述第一特征点为所述特征匹配点对中包含在所述第一待处理图像中的轮廓特征点；采用相机姿态估计算法对第二特征点和所述三维特征点的位置信息进行计算，并根据计算结果确定所述视觉惯性里程计的位姿信息；所述第二特征点为所述特征匹配点对中包含在所述第二待处理图像中的轮廓特征点。进一步地，根据所述第一待处理图像的图像特征和所述第二待处理图像的图像特征进行特征匹配，得到特征匹配点对包括：对第二特征描述符和第三特征描述符进行内积计算，得到内积计算矩阵，其中，所述第二特征描述符为所述第一待处理图像的图像特征中的特征描述符，所述第三特征描述符为所述第二待处理图像的图像特征中的特征描述符；根据所述内积计算矩阵确定所述特征匹配点对。进一步地，根据所述内积计算矩阵确定所述特征匹配点对包括：在所述内积计算矩阵中确定第i行的最小值和第j列的最小值，分别得到第一最小值和第二最小值，其中，i依次取1至I，所述I表示所述内积计算矩阵中的总行数，j依次取1至J，所述J表示所述内积计算矩阵中的总列数；判断所述第一最小值在所述内积计算矩阵所对应的元素和所述第二最小值在所述内积计算矩阵中所对应的元素是否为同一元素；如果是，则判断所述第一最小值是否不大于预设阈值，或者，判断所述第二最小值是否不大于所述预设阈值；如果是，则在所述第二特征描述符中，确定内积计算得到所述第一最小值或所述第二最小值的特征描述符，得到第一目标特征描述符；以及在所述第三特征描述符中，确定内积计算得到所述第一最小值或所述第二最小值的特征描述符，得到第二目标特征描述符；将所述第一目标特征描述符所对应的轮廓特征点和所述第二目标特征描述符所对应的轮廓特征点确定为所述特征匹配点对中的一组特征匹配点。进一步地，所述方法还包括：如果所述第一最小值在所述内积计算矩阵所对应的元素和所述第二最小值在所述内积计算矩阵中所对应的元素不是同一元素，则确定所述第一目标特征描述符所对应的轮廓特征点和所述第二目标特征描述符所对应的轮廓特征点不是所述特征匹配点对。进一步地，所述方法还包括：如果所述第一最小值大于所述预设阈值，或者，所述第二最小值大于所述预设阈值，则确定所述第一目标特征描述符所对应的轮廓特征点和所述第二目标特征描述符所对应的轮廓特征点不是所述特征匹配点对。进一步地，所述特征描述符为浮点数。进一步地，对所述待处理图像进行特征提取，得到所述待处理图像的特征提取图谱和所述特征提取图谱中像素点的特征描述符包括：利用特征提取网络对所述待处理图像进行特征提取，得到所述待处理图像的特征提取图谱和所述特征提取图谱中像素点的特征描述符。进一步地，所述方法还包括：获取训练样本图像；采用预先训练得到的特征点检测网络对所述训练样本图像进行标注，得到所述训练样本图像中目标对象的轮廓特征点的位置信息；通过预设变换矩阵对所述训练样本图像进行变换，得到变换后的训练样本图像；通过所述训练样本图像、所述变换后的训练样本图像、所述轮廓特征点的位置信息和所述预设变换矩阵对原始特征提取网络进行训练，得到所述特征提取网络。进一步地，所本文档来自技高网...

【技术保护点】
1.一种特征提取的方法，其特征在于，所述方法包括：获取视觉惯性里程计在目标区域内移动时，对所述目标区域进行拍摄得到的待处理图像；对所述待处理图像进行特征提取，得到所述待处理图像的特征提取图谱和所述特征提取图谱中像素点的特征描述符；所述特征提取图谱中第一像素点的像素值表示其在所述待处理图像中所对应的像素点为所述待处理图像中目标对象的轮廓特征点的概率，所述特征描述符表示其所对应的第一像素点的图像块信息；根据所述特征提取图谱和所述特征提取图谱中像素点的特征描述符，确定所述待处理图像的图像特征，以根据所述图像特征确定所述视觉惯性里程计的位姿信息；所述图像特征包括：所述轮廓特征点的位置信息和/或所述轮廓特征点的特征描述符。

【技术特征摘要】
1.一种特征提取的方法，其特征在于，所述方法包括：获取视觉惯性里程计在目标区域内移动时，对所述目标区域进行拍摄得到的待处理图像；对所述待处理图像进行特征提取，得到所述待处理图像的特征提取图谱和所述特征提取图谱中像素点的特征描述符；所述特征提取图谱中第一像素点的像素值表示其在所述待处理图像中所对应的像素点为所述待处理图像中目标对象的轮廓特征点的概率，所述特征描述符表示其所对应的第一像素点的图像块信息；根据所述特征提取图谱和所述特征提取图谱中像素点的特征描述符，确定所述待处理图像的图像特征，以根据所述图像特征确定所述视觉惯性里程计的位姿信息；所述图像特征包括：所述轮廓特征点的位置信息和/或所述轮廓特征点的特征描述符。2.根据权利要求1所述的方法，其特征在于，所述图像特征包括：所述轮廓特征点的位置信息；根据所述特征提取图谱和所述特征提取图谱中像素点的特征描述符，确定所述待处理图像的图像特征包括：在所述特征提取图谱中确定第一目标像素点；所述第一目标像素点为所述第一像素点中像素值大于预设像素阈值的像素点；对所述第一目标像素点按照其像素值进行排序，得到像素点排序序列；对所述像素点排序序列中的像素点进行非极大值抑制操作，得到目标像素点；将所述目标像素点在所述特征提取图谱中的位置信息作为所述轮廓特征点的位置信息。3.根据权利要求2所述的方法，其特征在于，所述图像特征还包括：所述轮廓特征点的特征描述符；在得到所述轮廓特征点的位置信息之后，所述方法还包括：在所述特征提取图谱中像素点的特征描述符中，将所述轮廓特征点的位置信息所对应的像素点的特征描述符作为所述轮廓特征点的特征描述符。4.根据权利要求1所述的方法，其特征在于，所述待处理图像包括：第一待处理图像和第二待处理图像，所述第一待处理图像为所述第二待处理图像的前一图像帧；根据所述图像特征确定所述视觉惯性里程计的位姿信息包括：根据所述第一待处理图像的图像特征和所述第二待处理图像的图像特征进行特征匹配，得到特征匹配点对；所述特征匹配点对中包含所述第一待处理图像与所述第二待处理图像中相匹配的轮廓特征点；确定所述目标区域内与第一特征点相对应的三维特征点；所述第一特征点为所述特征匹配点对中包含在所述第一待处理图像中的轮廓特征点；采用相机姿态估计算法对第二特征点和所述三维特征点的位置信息进行计算，并根据计算结果确定所述视觉惯性里程计的位姿信息；所述第二特征点为所述特征匹配点对中包含在所述第二待处理图像中的轮廓特征点。5.根据权利要求4所述的方法，其特征在于，根据所述第一待处理图像的图像特征和所述第二待处理图像的图像特征进行特征匹配，得到特征匹配点对包括：对第二特征描述符和第三特征描述符进行内积计算，得到内积计算矩阵，其中，所述第二特征描述符为所述第一待处理图像的图像特征中的特征描述符，所述第三特征描述符为所述第二待处理图像的图像特征中的特征描述符；根据所述内积计算矩阵确定所述特征匹配点对。6.根据权利要求5所述的方法，其特征在于，根据所述内积计算矩阵确定所述特征匹配点对包括：在所述内积计算矩阵中确定第i行的最小值和第j列的最小值，分别得到第一最小值和第二最小值，其中，i依次取1至I，所述I表示所述内积计算矩阵中的总行数，j依次取1至J，所述J表示所述内积计算矩阵中的总列数；判断所述第一最小值在所述内积计算矩阵所对应的元素和所述第二最小值在所述内积计算矩阵中所对应的元素是否为同一元素；如果是，则判断所述第一最小值是否不大于预设阈值，或者，判断所述第二最小值是否不大于所...

【专利技术属性】
技术研发人员：史桀绮，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11