利用递归神经网络的三维点云跟踪装置及方法制造方法及图纸

本发明专利技术提出一种利用递归神经网络的三维点云跟踪装置及方法。所述三维点云跟踪装置及方法，可以是对整个环境的三维点云进行跟踪，并且通过使用递归神经网络模型来对整个环境进行建模，因此，所述三维点云跟踪装置及方法可是用来重建整个环境在目前时刻下的三维点云外，还可用来预测整个环境在后续时刻下的三维点云。

【技术实现步骤摘要】
利用递归神经网络的三维点云跟踪装置及方法
本专利技术涉及一种点云(pointcloud)跟踪装置及方法，尤其涉及一种利用递归神经网络(RecurrentNeuralNetwork，RNN)的三维(three-dimensional，3D)点云跟踪装置及方法。。
技术介绍
「点云」是指通过三维雷射扫描器所取得到的资料形式。现今中，三维雷射扫描器又可称作为「光达(LiDAR)」，它是主要利用感测反射的雷射光束而来快速获得到大量密布于扫描物体表面上的多个点，并且因为这些点皆可包含有三维坐标，所以光达便能建立起有关此扫描物体的三维点云，以用来描述此扫描物体的表面形状。因此，近年来光达则通常被用于自驾车系统或道路感测系统中，以作为避障或跟踪车辆的用途。然而，当此扫描物体因被遮蔽或在光达视野死角时，现有技术即无法能够建立起有关此扫描物体的三维点云，从而也就失去了以上用途。有鉴于此，本领域亟需一种能够用来重建并预测三维点云的方式。
技术实现思路
本专利技术的目的在于提供一种利用递归神经网络的三维点云跟踪装置及方法，并且为了因应具有多移动目标的复杂环境，所以本专利技术是以整个环境的三维点云来作为跟踪对象。也就是说，本专利技术是用来重建并预测整个环境的三维点云。为达上述目的，本专利技术实施例提供一种利用递归神经网络的三维点云跟踪装置。所述三维点云跟踪装置包括输入/输出界面、存储器以及处理器。输入/输出界面用来接收环境在不同时刻下的不同观测三维点云，且这些观测三维点云由至少一光达所扫描取得。存储器用来储存有关环境的至少一记忆三维点云。处理器则分别与输入/输出界面及存储器电性连接，用来接收这些观测三维点云及记忆三维点云，并且当收到环境在第一时刻下的观测三维点云时，处理器利用至少一递归神经网络模型，来对观测三维点云及记忆三维点云进行环境重建运算，以得到环境在此第一时刻下的重建三维点云，并且再利用递归神经网络模型，来对记忆三维点云及空白三维点云进行环境预测运算，以得到环境在第二时刻下的预测三维点云。其中，所述第二时刻晚于第一时刻。本专利技术实施例另提供一种利用递归神经网络的三维点云跟踪方法，执行于前述三维点云跟踪装置中。所述三维点云跟踪方法包括如下步骤。令输入/输出界面接收环境在不同时刻下的不同观测三维点云，其中这些观测三维点云由至少一光达所扫描取得。令存储器储存有关环境的至少一记忆三维点云。令处理器接收这些观测三维点云及记忆三维点云，并且当收到环境在第一时刻下的观测三维点云时，令处理器利用至少一递归神经网络模型，来对观测三维点云及记忆三维点云进行环境重建运算，以得到环境在此第一时刻下的重建三维点云，并且令处理器再利用递归神经网络模型，来对记忆三维点云及空白三维点云进行环境预测运算，以得到环境在第二时刻下的预测三维点云。其中，所述第二时刻晚于第一时刻。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。附图说明图1是本专利技术实施例所提供的利用递归神经网络的三维点云跟踪装置的功能方块示意图。图2是图1的三维点云跟踪装置中的处理器的运作示意图。图3A是图2的递归神经网络模型中进行环境重建运算的运作示意图。图3B是图3A的环境重建运算中更新第一或第二记忆三维点云的一较佳实施例下的运作示意图。图3C是图2的递归神经网络模型中进行环境预测运算的运作示意图。图4是本专利技术实施例所提供的利用递归神经网络的三维点云跟踪方法的流程示意图。图5A是图4的三维点云跟踪方法中利用递归神经网络模型进行环境重建运算的流程示意图。图5B是图4的三维点云跟踪方法中利用递归神经网络模型进行环境预测运算的流程示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。请参阅图1，图1是本专利技术实施例所提供的利用递归神经网络的三维点云跟踪装置的功能方块示意图。三维点云跟踪装置1包括输入/输出界面11、处理器13以及存储器15。值得一提的是，上述各元件可以是通过纯硬件电路来实现，或者是通过硬件电路搭配固件或软件来实现，但本专利技术皆不以此为限制。除此之外，上述各元件可以是整合或是分开设置，且本专利技术亦不以此为限制。总而言之，本专利技术并不限制三维点云跟踪装置1的具体实现方式。在本实施例中，输入/输出界面11是用来接收环境(未绘示)在不同时刻下的不同观测三维点云S，且这些观测三维点云S由至少一光达(未绘示)所扫描取得。由于光达的扫描原理已为本
中具有通常知识者所习知，因此有关上述观测三维点云S的细部内容于此就不再多加赘述。另外，存储器15是用来储存有关环境的至少一记忆三维点云M。有关于记忆三维点云M的具体内容，将会于下文中借由其他实施例而作详尽说明，故于此就先不再多加赘述。处理器13则分别与输入/输出界面11及存储器15电性连接，并用来接收这些观测三维点云S及记忆三维点云M。请一并参阅图2，图2将用以来解释图1中的处理器13的具体运作方式。如图2所示，当收到环境在某第一时刻(例如，时刻t)下的观测三维点云S(t)时，处理器13则利用至少一递归神经网络模型17，来对观测三维点云S(t)及记忆三维点云M进行环境重建运算，以得到环境在此第一时刻下的重建三维点云R(t)，并且再利用递归神经网络模型17，来对记忆三维点云M及一个空白三维点云(未绘示)进行环境预测运算，以得到环境在第二时刻(例如，时刻t+1)下的预测三维点云P(t+1)。对此，应当理解的是，所述第二时刻晚于第一时刻。然而，为了方便以下说明，本实施例的第一及第二时刻则是仅先采用时刻t及时刻t+1的例子来进行说明，但其并非用以限制本专利技术。同样地，为了方便以下说明，图2中的递归神经网络模型17则也是仅先采用数量为1的例子来进行说明，但其亦非用以限制本专利技术。也就是说，图2中所分别进行环境重建运算或环境预测运算的递归神经网络模型17，可以是指同一个递归神经网络模型17，或者是指不同的递归神经网络模型17，但本专利技术皆不以此为限制。另外，有关图2的递归神经网络模型17中进行环境重建运算，或进行环境预测运算的具体运作方式，将会于下文中借由其他实施例而作详尽说明，故于此就先不再多加赘述。需要说明的是，虽然图2只用了再一次的递归神经网络模型17而来获得到环境在时刻t+1下的预测三维点云P(t+1)，但本专利技术却不以此为限制。也就是说，只要在处理时间及计算能力充足的条件下，本专利技术是都将能够依照预测的下一时刻远近(亦即，第二与第一时刻之间的时距)而来自行决定是否使用递回数次的递归神经网络模型17，从而来取得到环境在其他第二时刻(例如，时刻t+2)下的预测三维点云。总而言之，根据以上内容的教示，本
中具有通常知识者应可以理解到，因为本专利技术特别是以整个环境的三维点云来作为跟踪对象，所以当此环境在目前时刻(例如，第一时刻t)下却有着因某移动物体被遮蔽而未能获得到此环境的部分区域三维点云时，本专利技术是将能够利用过去所储存的此环境的记忆三维点云而来估测出此移动物体的三维点云信息，从而对于目前未能获知的上述部分区域三维点云进行补充。也就是说，正确地重建起此环境在本文档来自技高网...

【技术保护点】
1.一种利用递归神经网络的三维点云跟踪装置，其特征在于，该三维点云跟踪装置包括：一输入/输出界面，用来接收一环境在不同时刻下的不同观测三维点云，其中该些观测三维点云由至少一光达所扫描取得；一存储器，用来储存有关该环境的至少一记忆三维点云；以及一处理器，分别与该输入/输出界面及该存储器电性连接，用来接收该些观测三维点云及该至少一记忆三维点云，并且当收到该环境在一第一时刻下的该观测三维点云时，该处理器利用至少一递归神经网络模型，来对该观测三维点云及该至少一记忆三维点云进行环境重建运算，以得到该环境在该第一时刻下的一重建三维点云，并且再利用该递归神经网络模型，来对该至少一记忆三维点云及一空白三维点云进行环境预测运算，以得到该环境在一第二时刻下的一预测三维点云，其中该第二时刻晚于该第一时刻。

【技术特征摘要】
2017.12.07 TW 1061430261.一种利用递归神经网络的三维点云跟踪装置，其特征在于，该三维点云跟踪装置包括：一输入/输出界面，用来接收一环境在不同时刻下的不同观测三维点云，其中该些观测三维点云由至少一光达所扫描取得；一存储器，用来储存有关该环境的至少一记忆三维点云；以及一处理器，分别与该输入/输出界面及该存储器电性连接，用来接收该些观测三维点云及该至少一记忆三维点云，并且当收到该环境在一第一时刻下的该观测三维点云时，该处理器利用至少一递归神经网络模型，来对该观测三维点云及该至少一记忆三维点云进行环境重建运算，以得到该环境在该第一时刻下的一重建三维点云，并且再利用该递归神经网络模型，来对该至少一记忆三维点云及一空白三维点云进行环境预测运算，以得到该环境在一第二时刻下的一预测三维点云，其中该第二时刻晚于该第一时刻。2.如权利要求1所述的三维点云跟踪装置，其特征在于，该至少一记忆三维点云包括一第一记忆三维点云及一第二记忆三维点云，并且在利用该递归神经网络模型，来对该观测三维点云及该至少一记忆三维点云进行该环境重建运算，以得到该环境在该第一时刻下的该重建三维点云的步骤中，包括：对该观测三维点云进行一第一稀疏卷积运算，以得到一第一运算三维点云；将该第一运算三维点云与该第一记忆三维点云进行一第二稀疏卷积运算，以得到一第二运算三维点云，并且以该第二运算三维点云更新该第一记忆三维点云；以及将该第二运算三维点云与该第二记忆三维点云进行一第三稀疏卷积运算，以得到该环境在该第一时刻下的该重建三维点云，并且以该重建三维点云更新该第二记忆三维点云。3.如权利要求2所述的三维点云跟踪装置，其特征在于，在利用该递归神经网络模型，来对该至少一记忆三维点云及该空白三维点云进行环境预测运算，以得到该环境在该第二时刻下的该预测三维点云的步骤中，包括：将该空白三维点云与该第一记忆三维点云进行一第四稀疏卷积运算，以得到一第三运算三维点云；以及将该第三运算三维点云与该第二记忆三维点云进行一第五稀疏卷积运算，以得到该环境在该第二时刻下的该预测三维点云。4.如权利要求3所述的三维点云跟踪装置，其特征在于，该处理器更用以定义至少一权重自定函数、至少一第一稀疏卷积核及至少一第二稀疏卷积核，并且在以该第二运算三维点云更新该第一记忆三维点云的步骤中，还包括：利用该权重自定函数，来由该第一记忆三维点云、该第二运算三维点云、该第一稀疏卷积核及该第二稀疏卷积核中，决定一权重向量，并且将该第一记忆三维点云更新为该第一记忆三维点云、该第二运算三维点云及该权重向量代入一权重方程式后的结果。5.如权利要求4所述的三维点云跟踪装置，其特征在于，在以该重建三维点云更新该第二记忆三维点云的步骤中，还包括：利用该权重自定函数，来由该第二记忆三维点云、该重建三维点云、该第一稀疏卷积核及该第二稀疏卷积核中，决定该权重向量，并且将该第二记忆三维点云更新为该第二记忆三维点云、该重建三维点云及该权重向量代入该权重方程式后的结果。6.如权利要求5所述的三维点云跟踪装置，其特征在于，该权重自定函数、该第一稀疏卷积核及该第二稀疏卷积核是经由该三维点云跟踪装置在进行完一训练模式后所定义，且该权重向量的分量介于0至1之间。7.如权利要求6所述的三维点云跟踪装置，其特征在于，该权重方程式为p*C1+(1-p)*C2，其中p为该权重向量，且C1及C2分别为该第一记忆三维点云及该第二运算三维点云，或该第二记忆三维点云及该...

【专利技术属性】
技术研发人员：王志维，蔡岳廷，
申请(专利权)人：财团法人资讯工业策进会，
类型：发明
国别省市：中国台湾,71