基于移动行李的三维建模方法、设备及存储介质技术

本申请涉及目标检测技术领域，公开了一种基于移动行李的三维建模方法、设备及存储介质，方法包括：在目标行李移动的过程中采集多张深度图片，并从中确定初始深度图片以及待聚合深度图片，以提取初始点云以及待聚合点云；根据初始点云确定对齐坐标系，根据初始点云提取初始体素集；计算目标行李对应待聚合深度图片的水平位移以及法向量，以将待聚合点云转换为对齐坐标系下的转换点云，根据转换点云提取待聚合体素集；利用初始体素集以及各个待聚合体素集构建三维网格模型。本申请利用了行李在平面上单向运动的特性，将其作为约束条件应用到深度相机的位姿计算中，减少了深度相机和运动物体相对位姿估计的误差，解决了移动行李的三维建模的问题。三维建模的问题。三维建模的问题。

【技术实现步骤摘要】
基于移动行李的三维建模方法、设备及存储介质


[0001]本申请涉及目标检测
，尤其涉及一种基于移动行李的三维建模方法、设备及存储介质。

技术介绍

[0002]在行李托运过程中，通常需要对行李的状态进行跟踪检测，以便可以将软硬不同的行李进行分区托运，以及实时稽查行李是否发生破损，进而保证行李的安全运达。
[0003]目前，检测行李是否发生破损的方式通常是采用三维建模技术，通过对实时稽查行李进行三维建模，从而可以利用建成后的三维模型判断行李是否发生破损。
[0004]然而，现有的三维建模通常要求行李静止不动，通过移动深度相机来采集行李的深度图片，并通过计算相机位姿实现点云聚合，进而实现三维建模。在行李托运场景下，传统的三维建模已无法满足对移动行李进行三维建模的需求。

技术实现思路

[0005]本申请的主要目的在于提供一种基于移动行李的三维建模方法、设备及存储介质，旨在实现对移动行李进行快速的三维建模。
[0006]第一方面，本申请提供一种基于移动行李的三维建模方法，包括：
[0007]在目标行李移动的过程中，采集所述目标行李在多个角度的多张深度图片；
[0008]确定采集时间最早的所述深度图片为初始深度图片，并确定采集时间在所述初始深度图片的采集时间之后的所述深度图片为待聚合深度图片；
[0009]从所述初始深度图片中获取所述目标行李对应的点云作为初始点云，并从所述待聚合深度图片中获取所述目标行李对应的点云作为待聚合点云；
[0010]确定所述初始点云对应的世界坐标系作为对齐坐标系，并获取所述初始点云的体素作为初始体素集；
[0011]根据所述待聚合深度图片以及所述初始深度图片计算所述目标行李的水平位移，并根据所述待聚合深度图片计算所述目标行李所处平面的法向量；
[0012]利用所述水平位移以及所述法向量将所述待聚合点云转换为对应所述对齐坐标系的转换点云，并获取所述转换点云的体素作为待聚合体素集；
[0013]根据所述初始体素集以及各个所述待聚合体素集构建三维网格模型，并对所述三维网格模型进行贴图处理，得到所述目标行李对应的目标三维模型。
[0014]第二方面，本申请还提供一种终端设备，所述终端设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上所述的基于移动行李的三维建模方法的步骤。
[0015]第三方面，本申请还提供一种存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上所述的基于移动行李的三维建模方法的步骤。
[0016]本申请提供一种基于移动行李的三维建模方法、设备及存储介质，本申请中，在目标行李移动的过程中采集多个角度的多张深度图片，对深度图片进行聚合处理的过程中，计算目标行李的水平位移以及法向量，以在对深度图片转换坐标系时结合水平位移以及法向量实现点云重叠，从而构建目标三维模型。通过本申请所提供的技术方案，结合深度图片之间目标行李的水平位移以及法向量，将其作为约束条件应用到深度相机的位姿计算中，减少了深度相机和目标物体相对位姿估计的误差，实现了多张深度图片之间的精准聚合；另外，本申请在目标行李移动的过程中，一边采集深度图片，一边利用采集到的深度图片进行聚合，三维模型构建时间短，实现了对移动行李的快速三维建模。
附图说明
[0017]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本申请实施例提供的一种基于移动行李的三维建模方法的步骤流程示意图；
[0019]图2为本申请实施例提供的基于移动行李的三维建模方法的一应用场景示意图；
[0020]图3为本申请实施例提供的一种终端设备的结构示意性框图。
[0021]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0022]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0023]附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。
[0024]本申请实施例提供一种基于移动行李的三维建模方法、设备及存储介质。
[0025]下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
[0026]请参照图1，图1为本申请实施例提供的一种基于移动行李的三维建模方法的步骤流程示意图。
[0027]如图1所示，该基于移动行李的三维建模方法包括步骤S10至步骤S16。
[0028]步骤S10、在目标行李移动的过程中，采集所述目标行李在多个角度的多张深度图片。
[0029]可以理解，深度图片(Depth Images)为由深度相机采集到的图片，也被称为距离影像(Range Images)。
[0030]本申请应用于行李的三维建模系统，当目标行李放上传送带时，传送带带动目标
行李往预设方向移动，在目标行李移动的过程中，设置于传送带上方的多个深度相机不断的采集目标行李的多个角度的多张深度图片。
[0031]在一些实施方式中，所述多个角度包括第一角度、第二角度以及第三角度；
[0032]与所述第一角度对应的所述深度图片至少包括所述目标行李的第一侧面以及第二侧面的图片信息；
[0033]与所述第二角度对应的所述深度图片至少包括所述目标行李的与所述第一侧面相对的第三侧面，以及与所述第二侧面相对的第四侧面的图片信息；
[0034]与所述第三角度对应的所述深度图片至少包括所述目标行李的上表面的图片信息，其中，所述上表面与所述第一侧面、所述第二侧面、所述第三侧面以及所述第四侧面连接。
[0035]可以理解，第一角度，第二角度以及第三角度对应的图像采集区域不同。
[0036]如图2所示，本申请所提供的基于移动行李的三维建模方法应用于行李传输系统，由行李传输系统的终端设备内的处理器执行。
[0037]具体地，行李传输系统包括终端设备20、传送装置21、图像采集装置22。
[0038]传送装置包括传送带210、驱动机构211、第一护栏212以及第二护栏213。其中，第一护栏212以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于移动行李的三维建模方法，其特征在于，所述方法包括：在目标行李移动的过程中，采集所述目标行李在多个角度的多张深度图片；确定采集时间最早的所述深度图片为初始深度图片，并确定采集时间在所述初始深度图片的采集时间之后的所述深度图片为待聚合深度图片；从所述初始深度图片中获取所述目标行李对应的点云作为初始点云，并从所述待聚合深度图片中获取所述目标行李对应的点云作为待聚合点云；确定所述初始点云对应的世界坐标系作为对齐坐标系，并获取所述初始点云的体素作为初始体素集；根据所述待聚合深度图片以及所述初始深度图片计算所述目标行李的水平位移，并根据所述待聚合深度图片计算所述目标行李所处平面的法向量；利用所述水平位移以及所述法向量将所述待聚合点云转换为对应所述对齐坐标系的转换点云，并获取所述转换点云的体素作为待聚合体素集；根据所述初始体素集以及各个所述待聚合体素集构建三维网格模型，并对所述三维网格模型进行贴图处理，得到所述目标行李对应的目标三维模型。2.根据权利要求1所述的方法，其特征在于，所述从所述初始深度图片中获取所述目标行李对应的点云作为初始点云，包括：根据所述初始深度图片对应的采集角度确定目标水平区域范围以及目标深度范围；获取所述初始深度图片的点云作为第一点云；从所述第一点云中提取投影区域处于所述目标水平区域范围内的点云，得到第二点云；从所述第二点云中提取深度数值处于所述目标深度范围内的点云，得到所述目标行李对应的初始点云。3.根据权利要求1所述的方法，其特征在于，所述从所述初始深度图片中获取所述目标行李对应的点云作为初始点云，包括：根据所述初始深度图片对应的采集角度获取比对深度图片，其中，所述比对深度图片为摄像角度对应所述采集角度，且图片元素不包含所述目标行李的空载深度图片；获取所述初始深度图片的点云作为第一点云，并获取所述比对深度图片的点云作为比对点云；去除所述第一点云中与所述比对点云匹配的点云，得到所述目标行李对应的初始点云。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述根据所述待聚合深度图片以及所述初始深度图片计算所述目标行李的水平位移，包括：获取所述目标行李的水平移动速度，并获取所述待聚合点云与所述初始点云的采集时间间隔；根据所述水平移动速度与所述采集时间间隔的乘积，得到所述目标行李的水平位移。5.根据权利要求4所述的方法，其特征在于，所述利用所述水平位移以及所述法向量将所述待聚合点云转换为对应所述对齐坐标系的转换点云，包括：确定所述初始点云中点的数量为第一数量，并确定所述待聚合点云中点的数量为第二数量；
从所述第一数量以及所述第二数量中筛选最小值作为匹配数量，并根据所述匹配数量从所述初始点...

【专利技术属性】
技术研发人员：区士超，刘晓涛，
申请(专利权)人：超节点创新科技深圳有限公司，
类型：发明
国别省市：