图像处理方法、图像处理装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了图像处理方法、图像处理装置、电子设备及存储介质，涉及图数据处理技术领域。所述方法包括：获取对于至少一个三维对象中每个三维子对象拍摄的至少一幅全景图像对应的视频流以及时间戳；根据视频流中视频帧之间的几何关系，获取视频流中每个视频帧的位置；将每个视频帧的位置中与时间戳相对应的位置，作为拍摄每个三维子对象的至少一幅全景图像时的全景相机的位置，其中，每幅全景图像是对于一个三维子对象拍摄的；基于全景相机的位置将每个三维子对象的至少一幅全景图像在三维空间中的平面轮廓进行拼接，得到至少一个三维对象的多对象平面轮廓。本发明专利技术实施例可以高效地对采集到的数据进行处理为对象建模提供准备数据。

【技术实现步骤摘要】
图像处理方法、图像处理装置、电子设备及存储介质
本专利技术涉及数据处理领域，尤其涉及图像处理方法、图像处理装置、电子设备及存储介质。
技术介绍
在对象建模领域，如何使得生成的对象模型具有高分辨率和/或高准确度是业界极力追求的目标。对象建模可以实现用户足不出户(例如通过网络)即可浏览三维对象的2D和/或3D结构，并且，对象的3D建模可实现如同身临其境的效果，这在虚拟现实领域是一项非常重要的应用。在对象建模领域，尤其是2D和3D建模领域，国内外的技术方案主要分为两大类：手动制作和自动化建模。对于手动制作的方法，需要依赖大量的人工操作，对于对象的三维结构进行标识，并手动进行多个对象模型之间的拼接。手动制作一套三维对象的3D模型需要较长时间，因此大量的三维对象数据需要众多的人员来手动制作，人员成本过高，很难实际应用。对于自动化3D建模的方法，目前大多数采用专业的3D扫描设备，可以直接获取单个对象的三维点云，然后进行三维点云的拼接，生成3D模型。但是，这种专业的3D扫描设备的图像采集设备精度不高，导致捕获的图像分辨率不高，本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取对于至少一个三维对象中每个三维子对象拍摄的至少一幅全景图像对应的视频流以及时间戳；/n根据所述视频流中视频帧之间的几何关系，获取所述视频流中每个视频帧的位置；/n将所述每个视频帧的位置中与所述时间戳相对应的位置，作为拍摄所述每个三维子对象的至少一幅全景图像时的全景相机的位置，其中，每幅全景图像是对于一个三维子对象拍摄的；/n基于所述全景相机的位置将所述每个三维子对象的至少一幅全景图像在三维空间中的平面轮廓进行拼接，得到所述至少一个三维对象的多对象平面轮廓。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取对于至少一个三维对象中每个三维子对象拍摄的至少一幅全景图像对应的视频流以及时间戳；
根据所述视频流中视频帧之间的几何关系，获取所述视频流中每个视频帧的位置；
将所述每个视频帧的位置中与所述时间戳相对应的位置，作为拍摄所述每个三维子对象的至少一幅全景图像时的全景相机的位置，其中，每幅全景图像是对于一个三维子对象拍摄的；
基于所述全景相机的位置将所述每个三维子对象的至少一幅全景图像在三维空间中的平面轮廓进行拼接，得到所述至少一个三维对象的多对象平面轮廓。


2.根据权利要求1所述的方法，其特征在于，所述获取对于至少一个三维对象中每个三维子对象拍摄的至少一幅全景图像对应的视频流以及时间戳，包括：
对待处理的至少一个三维对象中每个三维子对象进行拍摄，获取所述每个三维子对象至少一幅全景图像以及所述全景图像相对应的视频流，其中，所述全景图像是在对所述每个三维子对象的视频流的拍摄过程中拍摄的；
记录拍摄所述每个三维子对象的至少一幅全景图像的时间戳。


3.根据权利要求1所述的方法，其特征在于，所述基于所述全景相机的位置将所述每个三维子对象的至少一幅全景图像在三维空间中的平面轮廓进行拼接，得到所述至少一个三维对象的多对象平面轮廓，包括：
针对每个三维子对象的至少一幅全景图像，提取所述每个三维子对象的至少一幅全景图像在三维空间中的平面轮廓；
基于所述全景相机的位置，将所述每个三维子对象的至少一幅全景图像在三维空间中的平面轮廓进行归一化，得到经过归一化的每个三维子对象的平面轮廓；
基于所述全景相机的位置，将所述归一化的每个三维子对象的平面轮廓进行拼接，得到所述至少一个三维对象的多对象平面轮廓。


4.如权利要求3所述的方法，其特征在于，所述针对每个三维子对象的至少一幅全景图像，提取所述每个三维子对象的至少一幅全景图像在三维空间中的平面轮廓，包括：
利用针对为所述待处理的至少一个三维对象中的每个三维子对象拍摄的至少两幅全景图像的几何关系，获取每幅全景图像上的匹配特征点的三维点坐标；
对于所述每个三维子对象的至少两幅全景图像的每幅全景图像，基于所述全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点所围成的轮廓，生成所述全景图像的在所述三维空间中的平面轮廓，
其中，所述特定类别至少包括所述全景图像中的三维物体的顶部、底部、支撑部。


5.如权利要求4所述的方法，其特征在于，所述对于所述每个三维子对象的至少两幅全景图像的每幅全景图像，基于所述全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点所围成的轮廓，生成所述全景图像的在所述三维空间中的平面轮廓，包括：
基于所述每个三维子对象的至少两幅全景图像上的像素点之间的特征相似度，确定所述每个三维子对象的至少两幅全景图像上的、轮廓特征属于所述特定类别的像素点中的所述边缘像素点；
其中，两个像素点的特征相似度为所述两个像素点的特征之差的绝对值，每个所述像素点的特征包括灰度、颜色。


6.如权利要求3所述的方法，其特征在于，所述针对每个三维子对象的至少一幅全景图像，提取所述每个三维子对象的至少一幅全景图像在三维空间中的平面轮廓，包括：
利用针对为所述待处理的至少一个三维对象中的每个三维子对象拍摄的至少两幅全景图像的几何关系，获取每幅全景图像上的匹配特征点的三维点坐标；
对于所述每个三维子对象的至少两幅全景图像的每幅全景图像，通过用于提取图像轮廓的深度学习模型，提取所述全景图像的在所述三维空间中的平面轮廓。


7.如权利要求6所述的方法，其特征在于，通过下述方式来训练所述深度学习模型：
通过人工标注作为训练图像的多个全景图像上的被关注类型的三维对象的轮廓特征，生成所述被关注类型的三维对象的轮廓特征训练数据集；
利用所述被关注类型的三维对象的所述轮廓特征训练数据集来训练所述深度学习模型，由此得到经过训练的深度学习模型，
其中，所述深度学习模型的输出包含所述被关注类型的三维对象的轮廓特征的类别。


8.如权利要求7所述的方法，其特征在于，所述对于所述每个三维子对象的至少两幅全景图像的每幅全景图像，通过用于提取图像轮廓的深度学习模型，提取所述全景图像的在所述三维空间中的平面轮廓，包括：
将所述每个三维子对象的至少两幅全景图像输入到经过训练的所述深度学习模型中，得到所述每个三维子对象的至少两幅全景图像中每个像素点对应的轮廓特征的类别；
提取出所述每个三维子对象的至少两幅全景图像的每幅全景图像中，轮廓特征的类别属于特定类别的像素点中的处于边缘的边缘像素点作为特定类别边缘像素点；
假定所述每个三维子对象的至少两幅全景图像的每幅全景图像上的所有特定类别边缘像素点具有同一高度hc，作为特定类别的轮廓的假定轮廓高度，并将所述每幅全景图像上的所述特定类别边缘像素点投影到三维平面上，得到与所述每幅全景图像对应的特定类别三维点，然后基于与所述每幅全景图像对应的所述特定类别三维点，形成各全景图像的在所述三维空间中的平面轮廓；
其中，所述特定类别包括所述全景图像中三维对象的顶部。


9.如权利要求4或6所述的方法，其特征在于，所述利用针对为所述待处理的至少一个三维对象中的每个三维子对象拍摄的至少两幅全景图像的几何关系，获取每幅全景图像上的匹配特征点的三维点坐标，包括：
利用针对为所述待处理的至少一个三维对象的每个三维子对象拍摄的至少两幅全景图像的几何关系，进行所述每个三维子对象的至少两幅全景图像之间的特征点匹配，并记录所述每个三维子对象的至少两幅全景图像中互相匹配的特征点作为匹配特征点；以及
通过对于所述每个三维子对象的至少两幅全景图像的每幅全景图像，减小所述每幅全景图像上的匹配特征点的重投影误差，所述每幅全景图像上的匹配特征点的三维点坐标。


10.如权利要求9所述的方法，其特征在于，所述基于所述全景相机的位置，将所述每个三维子对象的至少一幅全景图像在三维空间中的平面轮廓进行归一化，得到经过归一化的每个三维子对象的平面轮廓，包括：
将在获取的所述每个三维子对象的至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为特定类别的轮廓...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京城市网邻信息技术有限公司，
类型：发明
国别省市：北京;11