生成三维点云的方法、装置、计算机系统和移动设备制造方法及图纸

公开了一种生成三维点云的方法、装置、计算机系统和移动设备。该方法包括：通过多种传感器获取多种图像数据源；根据该多种图像数据源进行融合处理，得到三维点云。本发明专利技术实施例的生成三维点云的方法、装置、计算机系统和移动设备，能够有效地生成三维点云。

Method, device, computer system and mobile device for generating three-dimensional point cloud

A method, an apparatus, a computer system, and a mobile device for generating a three-dimensional point cloud are disclosed. The method comprises the following steps: obtaining a plurality of image data sources through a plurality of sensors; and fusing a plurality of image data sources to obtain a three-dimensional point cloud. A method, a device, a computer system and a mobile device for generating a three-dimensional point cloud of an embodiment of the present invention are capable of efficiently generating a three-dimensional point cloud.

【技术实现步骤摘要】
【国外来华专利技术】生成三维点云的方法、装置、计算机系统和移动设备版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本专利技术涉及信息
，并且更具体地，涉及一种生成三维点云的方法、装置、计算机系统和移动设备。
技术介绍
三维点云在三维建模、自动驾驶、机器人实时定位与地图构建(simultaneouslocalizationandmapping，SLAM)等方面都有广泛的应用。目前的三维点云的生成方案，一般是由一种传感器(例如相机)采集图像数据源，再进行融合处理得到三维点云。这些方案处理速度较低，或者生成的三维点云的质量较低。因此，如何有效地生成三维点云，成为亟待解决的一个技术问题。
技术实现思路
本专利技术实施例提供了一种生成三维点云的方法、装置、计算机系统和移动设备，能够有效地生成三维点云。第一方面，提供了一种生成三维点云的方法，包括：通过多种传感器获取多种图像数据源；根据该多种图像数据源进行融合处理，得到三维点云。第二方面，提供了一种计算机系统，该计算机系统包括：存储器，用于存储计算机可执行指令；处理器，用于访问该存储器，并执行该计算机可执行指令，以进行如下操作：通过多种传感器获取多种图像数据源；根据该多种图像数据源进行融合处理，得到三维点云。第三方面，提供了一种生成三维点云的装置，包括：获取模块，用于通过多种传感器获取多种图像数据源；处理模块，用于根据该多种图像数据源进行融合处理，得到三维点云。第四方面，提供了一种移动设备，包括：多种传感器，用于获取多种图像数据源；处理器，用于根据该多种图像数据源进行融合处理，得到三维点云。第五方面，提供了一种移动设备，其特征在于，包括：多种传感器，用于获取多种图像数据源；以及上述第二方面的计算机系统。第六方面，提供了一种移动设备，其特征在于，包括：多种传感器，用于获取多种图像数据源；以及上述第三方面的生成三维点云的装置。第七方面，提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述第一方面的方法。本专利技术实施例的技术方案，利用多种图像数据源生成三维点云，相对于利用单一图像数据源的方案，本专利技术实施例的技术方案的数据量更丰富，而且多种图像数据源在融合处理时可以相互参考，因此能够提高生成三维点云的效率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例的移动设备的示意性架构图。图2是本专利技术一个实施例的生成三维点云的方法的示意性流程图。图3是本专利技术另一个实施例的生成三维点云的方法的示意性流程图。图4是本专利技术又一个实施例的生成三维点云的方法的示意性流程图。图5是本专利技术实施例的计算机系统的示意性框图。图6是本专利技术实施例的生成三维点云的装置的示意性框图。图7是本专利技术一个实施例的移动设备的示意性框图。图8是本专利技术另一个实施例的移动设备的示意性框图。图9是本专利技术又一个实施例的移动设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本专利技术实施例，而非限制本专利技术实施例的范围。还应理解，在本专利技术的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本专利技术实施例的实施过程构成任何限定。本专利技术实施例的技术方案可以有效地生成三维点云，可以应用于各种具有处理功能的设备，例如，计算机系统或者具有处理功能的移动设备。该移动设备可以是无人机、无人驾驶船或机器人等，但本专利技术对此并不限定。图1是本专利技术实施例的移动设备100的示意性架构图。如图1所示，移动设备100可以包括动力系统110、控制器120、传感系统130和处理器140。动力系统110用于为该移动设备100提供动力。以无人机为例，无人机的动力系统可以包括电子调速器(简称为电调)、螺旋桨以及与螺旋桨相对应的电机。电机连接在电子调速器与螺旋桨之间，电机和螺旋桨设置在对应的机臂上；电子调速器用于接收控制器产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速。电机用于驱动螺旋桨旋转，从而为无人机的飞行提供动力。传感系统130可以用于测量移动设备100的姿态信息，即移动设备100在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统130例如可以包括陀螺仪、电子罗盘、惯性测量单元(InertialMeasurementUnit，IMU)、视觉传感器、全球定位系统(GlobalPositioningSystem，GPS)、气压计、空速计等传感器中的至少一种。在本专利技术实施例中，传感系统130还包括用于采集数据的多种传感器，例如，用于获取多种图像数据源的多种传感器，例如，深度相机、双目相机、单目相机以及位置角度传感器等。其中，该位置角度传感器可用于获取相应的相机的位置和姿态。控制器120用于控制移动设备100的移动。控制器120可以按照预先设置的程序指令对移动设备100进行控制。例如，控制器120可以根据传感系统130测量的移动设备100的姿态信息控制移动设备100的移动。控制器120也可以根据来自遥控器的控制信号对移动设备100进行控制。处理器140可以处理传感系统130采集的数据。例如，处理器140可以处理多种传感器获取的多种图像数据源，以得到三维点云。应理解，上述对于移动设备100的各组成部件的划分和命名仅仅是示例性的，并不应理解为对本专利技术的实施例的限制。还应理解，移动设备100还可以包括图1中未示出的其他部件，本专利技术对此并不限定。还应理解，处理多种图像数据源的处理器还可以由另外的单独的设备实现，也就是说，其可以设置于移动设备中，也可以设置于移动设备之外。图2示出了本专利技术实施例的生成三维点云的方法200的示意性流程图。该方法200可以由计算机系统或者移动设备执行，例如，图1中的移动设备100。如图2所示，该方法200包括：210，通过多种传感器获取多种图像数据源；220，根据该多种图像数据源进行融合处理，得到三维点云。在本专利技术实施例中，利用多种图像数据源生成三维点云，相对于利用单一图像数据源的方案，本专利技术实施例的技术方案的数据量更丰富，而且多种图像数据源在融合处理时可以相互参考，因此能够提高生成三维点云的效率。可选地，该多种传感器可以包括深度相机、双目相机、单目相机以及位置角度传感器中的至少两种。其中，深度相机、双目相机和单目相机可以得到深度数据源，位置角度传感器可以得到相机位置和姿态数据源。可选地，深度相机可以包括结构光深度相机(例如kinect)和飞行时间(timeofflight，ToF)相机。红外激本文档来自技高网...

【技术保护点】
一种生成三维点云的方法，其特征在于，包括：通过多种传感器获取多种图像数据源；根据所述多种图像数据源进行融合处理，得到三维点云。

【技术特征摘要】
【国外来华专利技术】1.一种生成三维点云的方法，其特征在于，包括：通过多种传感器获取多种图像数据源；根据所述多种图像数据源进行融合处理，得到三维点云。2.根据权利要求1所述的方法，其特征在于，所述多种传感器包括深度相机、双目相机、单目相机以及位置角度传感器中的至少两种。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述多种图像数据源进行融合处理，包括：对所述多种图像数据源中的多种深度数据源进行融合处理，得到所述三维点云。4.根据权利要求3所述的方法，其特征在于，所述对所述多种图像数据源中的多种深度数据源进行融合处理，包括：根据所述多种深度数据源，进行点匹配和筛选操作。5.根据权利要求1或2所述的方法，其特征在于，所述根据所述多种图像数据源进行融合处理，包括：根据所述多种图像数据源中的第一图像数据源，确定对所述多种图像数据源中的第二图像数据源进行处理的初始参数；根据所述初始参数处理所述第二图像数据源。6.根据权利要求5所述的方法，其特征在于，所述第一图像数据源为深度相机获取的图像数据源，所述第二图像数据源为双目相机获取的图像数据源；所述根据所述多种图像数据源中的第一图像数据源，确定对所述多种图像数据源中的第二图像数据源进行处理的初始参数，包括：根据所述深度相机获取的图像数据源，确定对所述双目相机获取的图像数据源进行处理的初始特征点对应关系。7.根据权利要求6所述的方法，其特征在于，所述根据所述深度相机获取的图像数据源，确定对所述双目相机获取的图像数据源进行处理的初始特征点对应关系，包括：根据所述深度相机获取的图像数据源，确定特征点的深度；根据所述特征点的深度确定所述特征点对于所述双目相机的视差；根据所述特征点对于所述双目相机的视差，确定所述初始特征点对应关系。8.根据权利要求6或7所述的方法，其特征在于，所述根据所述初始参数处理所述第二图像数据源，包括：根据所述初始特征点对应关系，确定所述双目相机同时获取的两张图像的特征点的对应关系；根据所述两张图像的特征点的对应关系，确定视差信息；根据所述视差信息，确定深度信息；根据所述深度信息，生成所述三维点云。9.根据权利要求5所述的方法，其特征在于，所述第一图像数据源为相机位置和姿态数据源，所述第二图像数据源为深度数据源；所述根据所述多种图像数据源中的第一图像数据源，确定对所述多种图像数据源中的第二图像数据源进行处理的初始参数，包括：根据所述相机位置和姿态数据源，确定对所述深度数据源进行融合处理的初始相机位置和姿态。10.根据权利要求9所述的方法，其特征在于，所述根据所述初始参数处理所述第二图像数据源，包括：根据所述初始相机位置和姿态，确定所述深度数据源中的深度数据对应的相机位置和姿态；根据确定的相机位置和姿态，对所述深度数据源中的深度数据进行融合，得到所述三维点云。11.根据权利要求5所述的方法，其特征在于，所述第一图像数据源为相机位置和姿态数据源，所述第二图像数据源为单目相机获取的图像数据源；所述根据所述多种图像数据源中的第一图像数据源，确定对所述多种图像数据源中的第二图像数据源进行处理的初始参数，包括：根据所述相机位置和姿态数据源，确定对所述单目相机获取的图像数据源进行点云建模的初始相机位置和姿态。12.根据权利要求11所述的方法，其特征在于，所述根据所述初始参数处理所述第二图像数据源，包括：根据所述初始相机位置和姿态，利用所述单目相机获取的图像数据源建立点云模型。13.一种计算机系统，其特征在于，包括：存储器，用于存储计算机可执行指令；处理器，用于访问所述存储器，并执行所述计算机可执行指令，以进行根据权利要求1至12中任一项所述的方法中的操作。14.一种生成三维点云的装置，其特征在于，包括：获取模块，用于通过多种传感器获取多种图像数据源；处理模块，用于根据所述多种图像数据源进行融合处理，得到三维点云。15.根据权利要求14所述的装置，其特征在于，所述多种传感器包括深度相机、双目相机、单目相机以及位置角度传感器中的至少两种。16.根据权利要求14或15所述的装置，其特征在于，所述处理模块具体用于，对所述多种图像数据源中的多种深度数据源进行融合处理，得到所述三维点云。17.根据权利要求16所述的装置，其特征在于，所述处理模块具体用于，根据所述多种深度数据源，进行点匹配和筛选操作。18.根据权利要求14或15所述的装置，其特征在于，所述处理模块具体用于，根据所述多种图像数据源中的第一图像数据源，确定对所述多种图像数据源中的第二图像数据源进行处理的初始参数；根据所述初始参数处理所述第二图像数据源。19.根据权利要求18所述的装置，其特征在于，所述第一图像数据源为深度相机获取的图像数据源，所述第二图像数据源为双目相机获取的图像数据源；所述处理模块具体用于，根据所述深度相机获取的图像数据源，确定对所述双目相机获取的图像数据源进行处理的初始特征点对应关系。20.根据权利要求19所述的...

【专利技术属性】
技术研发人员：姚尧，赵开勇，郑石真，潘慈辉，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44