用于节点向量化的方法和系统技术方案

本发明专利技术涉及一种用于在多个360度图像内向量化节点的方法。所述方法包括在所述多个360度图像中的第一360度图像中识别一组感兴趣的点；在所述多个360度图像中的第二360度图像中识别对应的一组感兴趣的点；以及使用两组感兴趣的点的三角测量计算所述感兴趣的点的三维坐标。还公开了系统和软件。

Methods and systems for node Vectorization

【技术实现步骤摘要】
【国外来华专利技术】用于节点向量化的方法和系统
本专利技术涉及图像处理领域，更确切地，但并非排他地，本专利技术涉及处理360度图像。
技术介绍
360°相机是相当新的商品。360°相机可以使个人能够沿相机路径捕获场景并在他的手机、电脑或虚拟现实(VirtualReality,VR)头盔上显示对应的360°视频。期望的是通过使用节点来增强这些360°图像或视频以生成三维网格或识别感兴趣的点。一些增强现实技术(例如探戈台(Tangoplatform)或霍罗伦斯(Hololens))能够在使用二维相机捕获物理场景期间创建节点。这些技术使用发射波信号(通常是红外射线)并接收它们的反射的特定硬件装置来收集场景中全部点或部分点(即，角落)的距离和/或颜色。这些技术从这些节点创建三维网格。不幸的是，该三维网格经常有缺陷，因为当在室外或强光下使用时，该技术有显著限制。还有将一组节点与物理场景的照片组合的技术。示例性的，马特珀特(Matterport)研发了他们自己所有的相机。该相机具有光学镜头和多个传感器(红外信号和陀螺仪)，从而能够通过围绕场景的一个位置上的吊舱的纵轴旋转来捕获连续的(非360°)照片、距离和颜色测量值。在场景中相隔每一米重复该操作，马特珀特软件构建了整个场景中每个地方和对应的体素的拼合的360°照片。用户可以为体素附加内容，但是这取决于体素的精度，而当光太强时，体素的精度对传感器来说又是一个问题，并且无法在室外使用。此外，由于图像是每米间隔的，当显示场景时会增加图像间的模糊变形。图像使用陀螺仪数据来稳定。r>本专利技术的目的是提供一种节点向量化方法和系统，其能克服现有技术的缺点，或者至少提供一种有用的选择。
技术实现思路
根据本专利技术的第一方面，提供一种用于在多个360度图像内向量化节点的方法，包括：a)在多个360度图像中的第一360度图像中识别一组感兴趣的点；b)在多个360度图像中的第二360度图像中识别对应的一组感兴趣的点；以及c)使用两组感兴趣的点的三角测量来计算所述感兴趣的点的三维坐标。本专利技术的其他方面描述在权利要求中。附图说明现在通过参考以下附图以示例的方式来描述本专利技术的实施例，在附图中：图1示出了图示根据本专利技术的实施例的系统的框图；图2示出了图示根据本专利技术的实施例的方法的流程图；图3示出了图示根据本专利技术的实施例的方法的流程图；图4示出了图示根据本专利技术的实施例的多个360度图像中的感兴趣的点识别的图；图5示出了图示根据本专利技术的实施例的360度图像样本中的潜在的感兴趣的点的识别的图；图6示出了图示根据本专利技术的实施例的对感兴趣的点的三角测量以生成节点的图。具体实施方式本专利技术提供一种用于360度图像的节点向量化方法和系统。专利技术人发现可以处理连续的360度图像以识别感兴趣的点，而无需使用传感器捕获的距离数据。在图1中，示出了根据本专利技术的实施例的系统100。示出了一个或多个处理器101。一个或多个处理器101被配置为识别在360度图像内的一组感兴趣的点并使用两组或更多组感兴趣的点之间的三角测量计算感兴趣的点的三维坐标。处理器(一个或多个)101可以被配置为使用图像处理方法来识别感兴趣的点。该图像处理方法可以利用一个或多个视觉特征来识别感兴趣的点，例如，该方法可以检测被具有高局部对比度的像素包围的点。示出了一个或多个存储器102。该存储器102被配置为存储多个360度图像和感兴趣的点。参考图2，将描述根据本专利技术实施例的用于在多个360度图像内向量化节点的方法。可以使用360度相机从真实世界场景中捕获360度图像。可以理解，360度相机可以包括一系列通用的球面镜和图像传感器，图像传感器配置为从场景中捕获稍后会被拼合在一起以生成场景的360度图像的一系列图像。在替代实施例中，360度相机可以包括单个透镜和图像传感器，图像传感器配置为在不同方向捕获多个图像并将捕获的图像拼合在一起以形成360度图像。在另一个实施例中，360度相机可以包括两个鱼眼透镜，这两个鱼眼透镜捕获两个180度图像，这两个180度图像被拼合在一起以形成360度图像。可以理解，在使用术语360度图像或180度图像时，该图像可以不用捕获围绕相机水平面的全部360或180度视图，并且可以不捕获围绕相机竖直平面的全部360或180度视图。例如，在一个实施例中，360度图像可以捕获围绕相机的一个球面，除球面底部部分外。在步骤201中，识别(例如，通过处理器(一个或多个)101)多个360度图像中的第一360度图像中的一组感兴趣的点。可以使用与360度图像相关的图像处理方法识别组内每个感兴趣的点。该图像处理方法可以使用一个或多个视觉特征来识别感兴趣的点。视觉特征可以与感兴趣的点附近的一组像素相关。在一个实施例中，图像处理方法使用360度图像内的一组像素中的高对比度来识别感兴趣的点(例如，如关于图5所述)。在步骤202中，识别(例如，也通过处理器(一个或多个)100)多个360度图像中的第二360度图像中的对应的一组感兴趣的点。第一360度图像和第二360度图像在识别对应的一组感兴趣的点之前可以是竖直对齐的。该对应的组中感兴趣的点中的每一个可以通过使用它们与从第一360度图像中识别的感兴趣的点的在视觉特征和二维坐标中的相似性来识别。360度图像可以是有顺序的，以及可以是从沿着真实世界位置中的路径移动的360度相机捕获的，使得360度图像在彼此不同的位置处捕获。这些360度图像之间的相对距离或者它们的位置可以被计算，并且可以与每个360度图像关联存储。在步骤203中，可以(例如，由处理器(一个或多个)101)使用三角测量(例如，如关于图6所述)计算感兴趣的点的三维坐标。在一个实施例中，感兴趣的点和它们相关的三维坐标可以用来生成三维网格。参考图3，将描述根据本专利技术实施例的用于在多个360度图像中向量化节点的方法300。在本专利技术的一个实施例中，分析一位置的连续的360°图像以获得这些图像中的许多强感兴趣的点，然后显示稳定化的图像和感兴趣的点。在本实施例中，可以使用在其透镜间具有微小视差的相机从而能够得到拼合的360度图像，即总是可以很好的捕获距离相机70厘米处的真实场景的任意区域，每个360°拼合图像的像素是清楚的并准确地代表场景。本专利技术可以包括以下四个步骤：1)在步骤301中使用360°相机捕获——低视差，优选4K最小值——通常使用三星盖尔360(SamsungGear360)、另一个360度相机、或专有360度相机；2)在步骤302中的场景参数化(第一图像中的竖直线确定，基于视频捕获的步幅的图像频率的选择)——可以由于内部质量服务定义，可以滑动或自动执行；3)在步骤303中的内部程序执行方法以识别感兴趣的点以及确定它们的三维坐标——如下所述，以及4)在步骤304中显示稳定的图像和感兴本文档来自技高网...

【技术保护点】
1.一种用于在多个360度图像内向量化节点的方法，包括：/na)在所述多个360度图像中的第一360度图像中识别一组感兴趣的点；/nb)在所述多个360度图像中的第二360度图像中识别对应的一组感兴趣的点；以及/nc)使用两组感兴趣的点的三角测量来计算所述感兴趣的点的三维坐标。/n

【技术特征摘要】
【国外来华专利技术】20170707 US 62/529,6231.一种用于在多个360度图像内向量化节点的方法，包括：
a)在所述多个360度图像中的第一360度图像中识别一组感兴趣的点；
b)在所述多个360度图像中的第二360度图像中识别对应的一组感兴趣的点；以及
c)使用两组感兴趣的点的三角测量来计算所述感兴趣的点的三维坐标。


2.根据权利要求1所述的方法，其中，基于超过阈值的至少一个视觉特征来在所述第一360度图像内识别所述一组感兴趣的点。


3.根据权利要求2所述的方法，其中，所述视觉特征是对比度。


4.根据权利要求2或3中任一项所述的方法，其中，所述视觉特征与所述360度图像中每个感兴趣的点附近的一组像素相关。


5.根据前述权利要求中任一项所述的方法，其中，在识别所述对应的一组感兴趣的点之前，所述第二360度图像与所述第一360度图像竖直对齐。


6.根据前述权利要求中任一项所述的方法，还包括生成用于所述一组感兴趣的点的特征的步骤。


7.根据权利要求6所述的方法，其中，利用所述用于所述一组感兴趣的点的所述特征识别所述对应的一组感兴趣的点。


8.根据前述权利要求中任一项所述的方法，其中，所述多个360度图像为一系列360度图像。


9.根据权利要求8所述的方法，其中，使用360度相机捕获所述一系列360度图像。


10.根据权利要求9所述的方法，其中，...

【专利技术属性】
技术研发人员：杰拉德·菲利伯特·克里丁，卡米尔·科塔格努德，马蒂厄·克劳德·莱昂·加里格斯，莱昂内尔·罗伯特·丹尼尔·克拉西尔，
申请(专利权)人：TIME二市场公司，
类型：发明
国别省市：瑞士;CH