图像处理和三维对象建模方法与设备、图像处理装置及介质制造方法及图纸

本发明专利技术公开了图像处理和三维对象建模方法与设备、图像处理装置及介质。该图像处理方法包括：利用拍摄的至少一幅全景图像的几何关系，估计相机的位置、以及该全景图像上的匹配特征点的三维点坐标；对于每个全景图像，通过用于提取图像轮廓的深度学习模型，提取该全景图像的在三维空间中的平面轮廓；以及将拍摄每幅全景图像时的全景相机的位置的尺度和每幅全景图像的三维空间中的平面轮廓的尺度进行归一化。通过利用全景相机拍摄的高分辨率的全景图像，能够提高三维对象的模型的分辨率，通过深度学习模型提取图像的平面轮廓，能够提高对象建模所需的准备数据的精度，由此能够有效提高所生成的三维对象模型的分辨率和准确度。

【技术实现步骤摘要】
图像处理和三维对象建模方法与设备、图像处理装置及介质
本专利技术涉及图像处理和三维对象建模领域，尤其涉及图像处理和三维对象建模方法与设备、图像处理装置及介质。
技术介绍
在三维对象建模领域，如何使得生成的三维模型具有高分辨率和高准确度是业界极力追求的目标。目前主要有两种方式进行三维对象建模。一种是采用普通图像采集设备从不同的角度来拍摄多个图像，然后将从不同角度拍摄的多个图像组合/拼接起来，构成三维对象的三维模型。但是，这种方式在拍摄多个图像时，拍摄角度和位置一般需要是固定的，这种拍摄方式有很大的缺陷，往往无法拍摄不能移动的大的三维对象，尤其是要对多个这样的各自位置固定、空间密闭的、而且很难全方位多角度拍摄的三维对象(例如室内房屋或室外复杂空间)进行建模时；而且，这种方式需要复杂的图像拼接，总之，很难得到高准确度的三维目标。另一种方式是直接使用三维扫描设备获取三维对象的三维点云，然后进行三维点云的拼接，生成三维模型。但是，这种三维扫描设备的图像采集设备精度不高，导致捕获的图像分辨率不高，致使生成的三维模型的分辨率不够高。<本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述图像处理方法包括：/n相机位置估计步骤，其中，利用针对待处理的至少一个三维对象中每个三维对象拍摄的至少两幅全景图像的几何关系，得到在拍摄每幅全景图像时的全景相机的位置、以及每幅全景图像上的匹配特征点的三维点坐标，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅全景图像；/n单图像平面轮廓生成步骤，其中，对于所述每个三维对象的至少两幅全景图像，通过用于提取图像轮廓的深度学习模型，提取所述全景图像的在三维空间中的平面轮廓；以及/n尺度归一化步骤，其中，将所得到的在拍摄所述每个三维对象的至少一幅全景图像时的全景相机的位置的尺度和所述每个三...

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述图像处理方法包括：
相机位置估计步骤，其中，利用针对待处理的至少一个三维对象中每个三维对象拍摄的至少两幅全景图像的几何关系，得到在拍摄每幅全景图像时的全景相机的位置、以及每幅全景图像上的匹配特征点的三维点坐标，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅全景图像；
单图像平面轮廓生成步骤，其中，对于所述每个三维对象的至少两幅全景图像，通过用于提取图像轮廓的深度学习模型，提取所述全景图像的在三维空间中的平面轮廓；以及
尺度归一化步骤，其中，将所得到的在拍摄所述每个三维对象的至少一幅全景图像时的全景相机的位置的尺度和所述每个三维对象的至少一幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓。


2.如权利要求1所述的图像处理方法，其特征在于，通过下述方式来训练所述深度学习模型：
通过人工标注作为训练图像的多个全景图像上的被关注类型的三维对象的轮廓特征，生成被关注类型的三维对象的轮廓特征训练数据集；
利用被关注类型的三维对象的轮廓特征训练数据集来训练所述深度学习模型，由此得到经过训练的深度学习模型，
其中，所述深度学习模型的输出包含被关注类型的三维对象的轮廓特征类别。


3.如权利要求2所述的图像处理方法，其特征在于，单图像平面轮廓生成步骤包括：
将所述每个三维对象的至少两幅全景图像输入到经过训练的所述深度学习模型中，得到所述全景图像中每个像素点对应的轮廓特征的类别；
提取出所述每个三维对象的至少两幅全景图像中，轮廓特征属于特定类别的像素点中的处于边缘的边缘像素点作为特定类别边缘像素点；
假定所述每个三维对象的至少两幅全景图像上的所有特定类别边缘像素点具有同一高度hc，作为特定类别轮廓假定高度，并将所述每个三维对象的至少两幅全景图像上的所述特定类别边缘像素点投影到三维平面上，得到与每幅全景图像对应的特定类别三维点，然后基于与每幅全景图像对应的所述特定类别三维点，形成各全景图像的在三维空间中的平面轮廓；
其中，所述特定类别是所述全景图像中三维对象的顶部。


4.如权利要求1所述的图像处理方法，其特征在于，相机位置估计步骤包括：
利用拍摄的至少两幅全景图像的几何关系，进行所述全景图像之间的特征点匹配，并记录所述全景图像中互相匹配的特征点作为匹配特征点；以及
通过对于每幅全景图像，减小所述全景图像上的匹配特征点的重投影误差，来得到拍摄每幅全景图像时的相机位置、以及每幅全景图像上的匹配特征点的三维点坐标。


5.如权利要求1所述的图像处理方法，其特征在于，尺度归一化步骤包括：
将在相机位置估计步骤得到的所述每个三维对象的至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为特定类别轮廓估计高度hc’；以及
利用特定类别轮廓假定高度hc与特定类别轮廓估计高度hc’的比值，从所述所述每个三维对象的至少一幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓，
其中，特定类别轮廓假定高度hc是任意假定的一个高度；
其中，所述特定类别是所述全景图像中三维对象的顶部。


6.一种三维对象建模方法，其特征在于，所述三维对象建模方法包括：
图像处理步骤，其中，使用如权利要求1～5中的任何一项所述的图像处理方法，对至少一幅全景图像进行图像处理，以得到经过归一化的各全景图像的在三维空间中的平面轮廓；以及
多对象拼接步骤，其中，基于所述经过归一化的各全景图像的在三维空间中的平面轮廓，拼接得到多对象平面轮廓。


7.如权利要求6所述的三维对象建模方法，其特征在于，所述三维对象建模方法还包括：
单对象平面轮廓生成步骤，其中，基于所述图像处理步骤中得到的经过归一化的各全景图像的平面轮廓，得到各单个三维对象的在三维空间中的平面轮廓。


8.如权利要求7所述的三维对象建模方法，其特征在于，单对象平面轮廓生成步骤包括：
对于所述至少两幅全景图像，通过以下方式、逐个地确定其中是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则确定这两幅全景图像属于同一个三维对象；以及
如果确定多幅全景图像属于同一个三维对象，则对于由所述多幅全景图像得到的同一个三维对象的各平面轮廓，取各平面轮廓的并集，作为所述三维对象的平面轮廓。


9.如权利要求8所述的三维对象建模方法，其特征在于，在所述多对象拼接步骤，还能够基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。


10.如权利要求6～9中的任何一项所述的三维对象建模方法，其特征在于，所述三维对象建模方法还包括：
3D模型生成步骤，其中，在多对象拼接步骤之后，将拼接得到的在三维空间中的多对象平面轮廓转化为多对象3D模型。


11.一种图像处理设备，其特征在于，所述图像处理设备包括：
相机位置估计装置，被配置用于利用针对待处理的至少一个三维对象的每个三维对象拍摄的至少两幅全景图像的几何关系，得到在拍摄每幅全景图像时...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京城市网邻信息技术有限公司，
类型：发明
国别省市：北京;11