基于点云处理的安全检查方法、装置及机器人制造方法及图纸

本发明专利技术适用于点云数据处理的技术领域，提供了一种基于点云处理的安全检查方法、装置及机器人，方法包括：获取真彩图像数据和深度图像数据；检测真彩图像数据中是否存在车牌；在真彩图像数据中存在车牌的情况下，获取车牌的检测框；根据车牌的检测框对应区域的深度图像数据的像素点进行转换处理，得到车牌的点云数据；计算点云数据的法向量；计算机器人距离车牌的中轴线的距离；判断机器人相对于车牌的方位；计算机器人与车牌的中轴线的夹角；移动至车牌的中轴线上；沿着车牌的中轴线移动通过车辆底部，在经过车辆底部时，采集车底图像，以通过所述车底图像进行安全检查。过所述车底图像进行安全检查。过所述车底图像进行安全检查。

【技术实现步骤摘要】
基于点云处理的安全检查方法、装置及机器人


[0001]本专利技术属于点云数据处理的
，尤其涉及一种基于点云处理的安全检查方法、装置及机器人。

技术介绍

[0002]随着经济的发展，汽车的存有量越发增多，汽车高度及结构等等因素导致车底不易查看，使得不法分子在车底藏匿危禁品，为保障安全及避免危禁品入境，在港口、海关等重要关卡需对进出的车辆进行车底安全检查。
[0003]当前，港口、海关等重要关卡主要还是依靠人工依次进行人眼检查，检查效率低且难以保证安检员的人身安全。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种基于点云处理的安全检查方法、装置、机器人及计算机可读存储介质，以解决传统技术在进行车底检查时主要依靠人工依次进行人眼检查，检查效率低且难以保证安检员的人身安全的技术问题。
[0005]本专利技术实施例的第一方面提供了一种基于点云处理的安全检查方法，应用于机器人，包括：
[0006]第一获取步骤：获取真彩图像数据和深度图像数据；
[0007]检测步骤：检测所述真彩图像数据中是否存在车牌；
[0008]第二获取步骤：在所述真彩图像数据中存在车牌的情况下，获取所述车牌的检测框；
[0009]转换步骤：根据所述车牌的检测框对应区域的深度图像数据的像素点进行转换处理，得到所述车牌的点云数据；
[0010]第一计算步骤：计算所述点云数据的法向量；
[0011]第二计算步骤：计算所述机器人距离所述车牌的中轴线的距离；
[0012]判断步骤：判断所述机器人相对于所述车牌的方位；
[0013]第三计算步骤：计算所述机器人与所述车牌的中轴线的夹角；
[0014]移动步骤：根据所述机器人距离所述车牌的中轴线的距离、所述机器人相对于所述车牌的方位以及所述机器人以及所述车牌的中轴线的夹角，移动至所述车牌的中轴线上；
[0015]采集步骤：沿着所述车牌的中轴线移动通过车辆底部，在经过所述车辆底部时，采集车底图像，以通过所述车底图像进行安全检查。
[0016]本专利技术实施例的第二方面提供了一种基于点云处理的安全检查装置，应用于机器人，包括：
[0017]第一获取模块，用于获取真彩图像数据和深度图像数据；
[0018]检测模块，用于检测所述真彩图像数据中是否存在车牌；
[0019]第二获取模块，用于在所述真彩图像数据中存在车牌的情况下，获取所述车牌的检测框；
[0020]转换模块，用于根据所述车牌的检测框对应区域的深度图像数据的像素点进行转换处理，得到所述车牌的点云数据；
[0021]第一计算模块，用于计算所述点云数据的法向量；
[0022]第二计算模块，用于计算所述机器人距离所述车牌的中轴线的距离；
[0023]判断模块，用于判断所述机器人相对于所述车牌的方位；
[0024]第三计算模块，用于计算所述机器人与所述车牌的中轴线的夹角；
[0025]移动模块，用于根据所述机器人距离所述车牌的中轴线的距离、所述机器人相对于所述车牌的方位以及所述机器人以及所述车牌的中轴线的夹角，移动至所述车牌的中轴线上；
[0026]采集模块，用于沿着所述车牌的中轴线移动通过车辆底部，在经过所述车辆底部时，采集车底图像，以通过所述车底图像进行安全检查。
[0027]本专利技术实施例的第三方面提供了一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于点云处理的安全检查方法的步骤。
[0028]本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的基于点云处理的安全检查方法的步骤。
[0029]本专利技术实施例与现有技术相比存在的有益效果是：本专利技术通过识别车牌，根据车牌的点云数据对机器人进行精准控制，控制机器人沿着车牌的中轴线移动通过车辆底部，在经过所述车辆底部时，采集车底图像，为车底安全检查提供更多依据，协助港口、海关进行车底安全检查，提升检查效率，保证安检员的人身安全。
附图说明
[0030]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0031]图1示出了本专利技术提供的一种基于点云处理的安全检查方法的流程示意图；
[0032]图2示出了本专利技术提供的一种基于点云处理的安全检查装置的结构示意图；
[0033]图3示出了本专利技术提供的一种机器人的结构示意图。
具体实施方式
[0034]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。
[0035]首先，本专利技术提供了一种基于点云处理的安全检查方法，应用于机器人。
[0036]在一种可能的实施方式中，机器人设置有摄像头、线阵相机和补光灯。其中，线阵相机和补光灯安装在机器人的顶部，用于在机器人进入到车底之后，采集车底图像，为车底安全检查提供更多依据，协助港口、海关进行车底安全检查。
[0037]请参见图1，图1示出了本专利技术提供的一种基于点云处理的安全检查方法的流程示意图。如图1所示，该基于点云处理的安全检查方法可以包括如下步骤：
[0038]第一获取步骤：获取真彩图像数据和深度图像数据。
[0039]其中，真彩图像数据又称RGB图像数据，可以通过普通的摄像头进行拍摄获取。深度图像数据可以通过深度相机获取，深度相机使用特殊的技术(如结构光、飞行时间或双目视觉)来测量场景中物体到传感器的距离，并生成对应的深度图像。
[0040]其中，真彩图像数据和深度图像数据可以通过同一个相机同时获取，也可以通过不同的相机分别获取。
[0041]在一种可能的实施方式中，在所述第一获取步骤之后，还包括：
[0042]对齐步骤：对所述真彩图像数据和所述深度图像数据进行对齐。
[0043]如果通过同一个相机同时获取真彩图像数据和深度图像数据，可以采用内参对齐的方式对所述真彩图像数据和所述深度图像数据进行对齐。具体而言，将真彩图像和深度图像利用内参在相机坐标系中对齐，内参包括相机的焦距、光心(图像中心)、畸变参数等。
[0044]如果通过不同的相机分别获取真彩图像数据和深度图像数据，可以将真彩图像和深度图像在世界坐标系中对齐。首先将深度图像中的像素点转换为世界坐标系中的三维点，利用深度值和外参信息。然后，使用真彩图像中的像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云处理的安全检查方法，其特征在于，应用于机器人，包括：第一获取步骤：获取真彩图像数据和深度图像数据；检测步骤：检测所述真彩图像数据中是否存在车牌；第二获取步骤：在所述真彩图像数据中存在车牌的情况下，获取所述车牌的检测框；转换步骤：根据所述车牌的检测框对应区域的深度图像数据的像素点进行转换处理，得到所述车牌的点云数据；第一计算步骤：计算所述点云数据的法向量；第二计算步骤：计算所述机器人距离所述车牌的中轴线的距离；判断步骤：判断所述机器人相对于所述车牌的方位；第三计算步骤：计算所述机器人与所述车牌的中轴线的夹角；移动步骤：根据所述机器人距离所述车牌的中轴线的距离、所述机器人相对于所述车牌的方位以及所述机器人以及所述车牌的中轴线的夹角，移动至所述车牌的中轴线上；采集步骤：沿着所述车牌的中轴线移动通过车辆底部，在经过所述车辆底部时，采集车底图像，以通过所述车底图像进行安全检查。2.根据权利要求1所述的基于点云处理的安全检查方法，其特征在于，在所述第一获取步骤之后，还包括：对齐步骤：对所述真彩图像数据和所述深度图像数据进行对齐。3.根据权利要求1所述的基于点云处理的安全检查方法，其特征在于，所述转换步骤，包括：转换子步骤：遍历所述车牌的检测框对应区域的深度图像数据的像素点，对深度图像数据的像素点按照公式1进行转换处理，得到所述车牌的点云数据：其中，cx、cy、fx、fy表示所述真彩图像数据的内部参数，depth表示所述深度图像数据，i、j分别表示像素点的列坐标和行坐标；统计子步骤：统计所述点云数据中的点数量，在所述点数量小于预设数量的情况下，结束流程。4.根据权利要求3所述的基于点云处理的安全检查方法，其特征在于，所述第一计算步骤，包括：第一计算子步骤：通过公式2计算所述点云数据的法向量(α,β,γ)
T
：其中，pointCloud表示点云数据集合，C表示协方差矩阵，P
center
表示车牌中心点，n表示点云数据的数量，P
i
表示第i个点云数据的三位点信息，λ为最小特征值。
5.根据权利要求4所述的基于点云处理的安全检查方法，其特征在于，所述第二计算步骤，包括：第二计算子步骤：通过公式3计算所述机器人距离所述车牌的中轴线的距离d：其中，表示车牌中心点P
center
的z轴坐...

【专利技术属性】
技术研发人员：陶伟森，许金金，陈明，
申请(专利权)人：盛视科技股份有限公司，
类型：发明
国别省市：