一种街景数据的三维注释的方法及其系统技术方案

本发明专利技术公开了一种街景数据的三维注释的方法，包括以下步骤：获取街景的场景点的场景图像，由一个或多个计算设备接收要与街道全景摄影图像的所选部分相关联的内容；将所述全景摄影图像分解为多帧街景图片，并投影到球形坐标系上；将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；由一个或多个计算设备存储，具有位置的内容形成注释；所述一个或多个计算设备生成所述注释，本发明专利技术使用户能够在观看二维图像的同时创建与三维对象相对应的注释；这通过将选择对象投影到从多个二维图像创建的三维模型上来实现；在观看对应于三维模型的一部分的第一图像的同时，用户输入选择对象。

A Method and System for Three-dimensional Annotation of Street View Data

The invention discloses a method for three-dimensional annotation of street scene data, which includes the following steps: acquiring scene images of street scene points, receiving contents associated with selected parts of street panoramic photographic images by one or more computing devices; decomposing the panoramic photographic images into multi-frame Street images and projecting them to spherical coordinate systems; and introducing the multi-frame street scene images into the spherical coordinate system. Line superimposition and the establishment of a video flow channel between the multi-frame streetscape pictures; storage by one or more computing devices, content with location forms annotations; the one or more computing devices generate the annotations, the invention enables users to create annotations corresponding to three-dimensional objects while viewing two-dimensional images; this is achieved by projecting selected objects to multiple two-dimensional maps. It is implemented as a three-dimensional model created; while viewing the first image corresponding to a part of the three-dimensional model, the user inputs the selected object.

【技术实现步骤摘要】
一种街景数据的三维注释的方法及其系统
本专利技术属于街景数据的三维注释
，具体涉及一种街景数据的三维注释的方法及其系统。
技术介绍
存在存储和显示图像的计算机系统。这些图像可以包括诸如建筑物的三维物体的照片；可以对显示的图像进行地理编码以对应于地图上的位置；另外，注释可用于提供关于图像的信息；作为示例，注释可以包括标识与图像中所示的特定建筑物相关联的商业的文本。为此，我们提出一种街景数据的三维注释的方法及其系统来解决现有技术中存在的问题。
技术实现思路
本专利技术的目的在于提供一种街景数据的三维注释的方法及其系统，以解决上述
技术介绍
中提出现有技术中的问题。为实现上述目的，本专利技术采用了如下技术方案：一种街景数据的三维注释的方法，包括以下步骤：S10、获取街景的场景点的场景图像，由一个或多个计算设备接收要与街道全景摄影图像的所选部分相关联的内容；S20、将所述全景摄影图像分解为多帧街景图片，并投影到球形坐标系上；S30、将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；S40、由一个或多个计算设备存储，具有位置的内容形成注释；所述一个或多个计算设备生成所述注释。优选的：还包括由所述一个或多个计算设备生成用于在地图上显示的注释。优选的：在步骤S20中，进一步的还包括：S201、识别图像特征；S202、匹配识别特征；S203、在三维空间中计算特征点；S204、基于计算的特征点估算立面和平面；S205、估算街道平面。优选的：在步骤S40中，进一步的还包括：S401、选择边界注释框；S402、在三维模型上建立边界框；S403、在投影的位置存储注释；S404、在不同的图像中显示注释。优选的：所述三维模型包括一个或多个街道平面和一个或多个立面平面。本专利技术还提供一种街景数据的三维注释的系统，包括获取全景视频流的视频单元和所述视频单元相连接的视频流处理单元，所述视频流处理单元对所述全景视频流进行如下处理：将所述全景视频流分解为多帧街景图片，并投影到球形坐标系上；将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；在所述球形坐标系上，按照所述视频流通道连续播放所述多帧街景图片优选的：统进一步包括进行图片显示的显示设备，所述显示设备和所述视频流处理单元相连接。优选的：所述视频单元包括至少一个摄像头。本专利技术的技术效果和优点：本专利技术提出的一种街景数据的三维注释的方法及其系统，与现有技术相比，本专利技术使用户能够在观看二维图像的同时创建与三维对象相对应的注释；在一个实施例中，这通过将选择对象(例如，边界框)投影到从多个二维图像创建的三维模型上来实现；在观看对应于三维模型的一部分的第一图像的同时，用户输入选择对象；确定与三维模型上的投影对应的位置，并且用户在观看第一图像时输入的内容与该位置相关联；内容与位置信息一起存储以形成注释。附图说明图1为本专利技术的一个实施例街景数据的三维注释的方法流程图；图2为本专利技术的一个实施例街景数据的三维注释步骤S20的方法流程图；图3为本专利技术的一个实施例街景数据的三维注释步骤S40的方法流程图；图4为本专利技术的一个实施例街景数据的三维注释系统模块示意图：具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例本专利技术提供了如图1-4所示的：一种街景数据的三维注释的方法，包括以下步骤：S10、获取街景的场景点的场景图像，由一个或多个计算设备接收要与街道全景摄影图像的所选部分相关联的内容；S20、将所述全景摄影图像分解为多帧街景图片，并投影到球形坐标系上；S30、将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；S40、由一个或多个计算设备存储，具有位置的内容形成注释；所述一个或多个计算设备生成所述注释。本专利技术实施例中，具体的：还包括由所述一个或多个计算设备生成用于在地图上显示的注释。本专利技术实施例中，具体的：在步骤S20中，进一步的还包括：S201、识别图像特征；S202、匹配识别特征；S203、在三维空间中计算特征点；S204、基于计算的特征点估算立面和平面；S205、估算街道平面。在步骤201中，识别图像的特征。在一个实施例中，从图像中提取特征以用于后续比较。在一个实施例中，使用的图像是沿着行进路线从附近位置到彼此拍摄的街道级全景图像。在步骤202中，匹配相邻图像中的特征。在一个实施例中，匹配特征可以包括构建溢出树。。在步骤S203中，计算特征的位置，例如，作为三维空间中的点。在一个实施例中，通过使用在步骤202中确定的匹配特征对来计算立体三角测量来确定点。在步骤S204中，基于在步骤S203中计算的点云来估计立面平面。在一个实施例中，步骤S204可以包括使用自适应优化算法或最佳拟合算法。在一个实施例中，步骤S204包括扫描例如与街道对齐的平面。在步骤S205中，基于街道的位置估计街道平面。在步骤S204中估计的这些街道平面与立面平面一起用于形成与多个二维图像中所示的对象相对应的三维模型。本专利技术实施例中，具体的：在步骤S40中，进一步的还包括：S401、选择边界注释框；S402、在三维模型上建立边界框；S403、在投影的位置存储注释；S404、在不同的图像中显示注释。本专利技术实施例中，具体的：所述三维模型包括一个或多个街道平面和一个或多个立面平面。在步骤S401中，用户选择用于创建注释的边界框(例如，选择对象)。边界框可用于选择从街道级别拍摄的图像的一部分。在一个实施例中，用户可以通过使用输入设备(例如，鼠标)绘制图像中的边界框的周界来选择边界框。在步骤S402中，将边界框(选择对象)投影到三维模型上。在一个实施例中，可以通过将光线从摄像机视点通过边界框延伸到三维模型并确定光线与三维模型之间的交叉来执行投影。在步骤S403中，将与步骤S402中执行的投影相对应的位置与用户输入的内容(例如，注释)一起存储。作为示例，在步骤S403中，注释可以存储在数据库中。在实施例中，用户输入的内容可以包括文本，HTML，XML，图像，视频或其他多媒体内容。在步骤S404中，在步骤S403中存储的注释与对应于步骤S402的投影的位置的第二图像一起或在其上显示。作为示例，第二图像可以是街道级全景图像。在一个实施例中，注释可以与地图一起显示或在地图之上显示。本专利技术还提供一种街景数据的三维注释的系统，包括获取全景视频流的视频单元10，所述视频单元10用于获取全景视频流，其和所述视频单元10相连接的视频流处理单元20，所述视频流处理单元20对所述全景视频流进行如下处理：将所述全景视频流分解为多帧街景图片，并投影到球形坐标系上；将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；在所述球形坐标系上，按照所述视频流通道连续播放所述多帧街景图片本专利技术实施例中，具体的：统进一步包括进行图片显示的显示设备30，所述显示设备30和所述视频流处理单元20相连接，可以理解的是，通过所述显示设备30，即可本文档来自技高网...

【技术保护点】
1.一种街景数据的三维注释的方法，其特征在于，包括以下步骤：S10、获取街景的场景点的场景图像，由一个或多个计算设备接收要与街道全景摄影图像的所选部分相关联的内容；S20、将所述全景摄影图像分解为多帧街景图片，并投影到球形坐标系上；S30、将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；S40、由一个或多个计算设备存储，具有位置的内容形成注释；所述一个或多个计算设备生成所述注释。

【技术特征摘要】
1.一种街景数据的三维注释的方法，其特征在于，包括以下步骤：S10、获取街景的场景点的场景图像，由一个或多个计算设备接收要与街道全景摄影图像的所选部分相关联的内容；S20、将所述全景摄影图像分解为多帧街景图片，并投影到球形坐标系上；S30、将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；S40、由一个或多个计算设备存储，具有位置的内容形成注释；所述一个或多个计算设备生成所述注释。2.根据权利要求1所述的一种街景数据的三维注释的方法，其特征在于：还包括由所述一个或多个计算设备生成用于在地图上显示的注释。3.根据权利要求1所述的一种街景数据的三维注释的方法，其特征在于：在步骤S20中，进一步的还包括：S201、识别图像特征；S202、匹配识别特征；S203、在三维空间中计算特征点；S204、基于计算的特征点估算立面和平面；S205、估算街道平面。4.根据权利要求1所述的一种街景数据的三维注释的方法，其特征在于：在步骤S40中，进一步的还包...

【专利技术属性】
技术研发人员：崔岩，刘强，
申请(专利权)人：中德珠海人工智能研究院有限公司，珠海市四维时代网络科技有限公司，
类型：发明
国别省市：广东,44