一种基于深度相机俯视识别和定位车厢的视觉系统技术方案

本发明专利技术涉及车厢视觉识别，具体涉及一种基于深度相机俯视识别和定位车厢的视觉系统，包括深度相机、视觉系统和上层系统，视觉系统加载车辆特征库，并在接收到上层系统发送的识别指令后通知深度相机启动读取数据流，深度相机向视觉系统返回数据流，视觉系统基于关键帧构建点云数据并结合加载的车辆特征库进行基于特征的视觉识别，同时将视觉识别结果上传至上层系统；本发明专利技术提供的技术方案能够有效克服现有技术所存在的目前尚无针对车厢定位及几何参数测量方面技术方案的缺陷。参数测量方面技术方案的缺陷。参数测量方面技术方案的缺陷。

【技术实现步骤摘要】
一种基于深度相机俯视识别和定位车厢的视觉系统


[0001]本专利技术涉及车厢视觉识别，具体涉及一种基于深度相机俯视识别和定位车厢的视觉系统。

技术介绍

[0002]在现实中，对车辆目标识别有着较为广泛的用途，如无人驾驶、道路车流统计等。在货运自动化领域，车辆目标识别则更具有关键性作用。但是，目前尚无针对车厢定位及几何参数测量方面的专门技术方案。随着货物从仓库出库到自动装车业务的需求突显，车厢定位和几何参数测量成了必须突破的支撑技术。

技术实现思路

[0003](一)解决的技术问题
[0004]针对现有技术所存在的上述缺点，本专利技术提供了一种基于深度相机俯视识别和定位车厢的视觉系统，能够有效克服现有技术所存在的目前尚无针对车厢定位及几何参数测量方面技术方案的缺陷。
[0005](二)技术方案
[0006]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0007]一种基于深度相机俯视识别和定位车厢的视觉系统，包括深度相机、视觉系统和上层系统，所述视觉系统加载车辆特征库，并在接收到上层系统发送的识别指令后通知深度相机启动读取数据流，所述深度相机向视觉系统返回数据流，所述视觉系统基于关键帧构建点云数据并结合加载的车辆特征库进行基于特征的视觉识别，同时将视觉识别结果上传至上层系统。
[0008]优选地，所述视觉系统结合加载的车辆特征库进行基于特征的视觉识别，包括：
[0009]视觉系统通过扫描点云数据中横坐标、纵坐标组成的二维数组，获得相关边角数据，并根据边角数据辨别车头、车厢；
[0010]视觉系统通过在车辆特征库中最大车厢高度与最小车厢高度之间划分递增区间，统计点云数据中的景深在各递增区间内的分布情况确定车厢高度；
[0011]视觉系统通过采样选取间断点检测车厢矩形范围内的高度差确定车厢围边，并基于车辆特征库中有围边封闭型运输车辆的车厢高度确定车厢是否封闭。
[0012]优选地，所述车辆特征库针对的运输车辆类型包括公共运输车辆、无围边平板型运输车辆、有围边平板型运输车辆、无围边阶梯型运输车辆和有围边封闭型运输车辆。
[0013]优选地，所述点云数据包括横坐标、纵坐标、景深和感光强度，所述景深为深度相机在XY平面上关键帧中像素点距离深度相机镜头的垂直距离，需要处理成以地面为基准的物象高度数据。
[0014]优选地，所述感光强度为关键帧中实际可用像素点数占总像素点数的比值，当所述感光强度小于60％时，所述视觉系统判定错误，并不再对该关键帧进行后续视觉识别。
[0015]优选地，所述视觉系统基于关键帧构建点云数据之前，对数据流进行包括数据质量评估、提取关键帧在内的数据预处理。
[0016]优选地，所述视觉系统安装于工控机上，所述深度相机与视觉系统之间通过千兆网线进行点对点通信，所述视觉系统通过工业以太网总线将视觉识别结果上传至上层系统。
[0017]优选地，所述视觉系统仅在接收到上层系统发送的识别指令后才通知深度相机启动读取数据流，并实时拉取一段时间内的深度数据流。
[0018](三)有益效果
[0019]与现有技术相比，本专利技术所提供的一种基于深度相机俯视识别和定位车厢的视觉系统，具有以下有益效果：
[0020]1)以一个基本的高速以太网作为传输总线，深度相机作为数据来源，高性能工控机作为控制中心部件，易于安装和部署；
[0021]2)系统从启动、接收识别命令到返回识别结果，对上层系统全流程透明，数据交换协议及交互过程简单，易于代码实现；
[0022]3)只要工控机的千兆网口数量足够，同时CPU的性能够强，工控机就可以同时接入多路深度相机，并满足上层系统的识别需求；
[0023]4)视觉系统基于关键帧构建点云数据，并结合加载的车辆特征库进行基于特征的视觉识别，能够有效提升对于车厢识别检测的准确性。
附图说明
[0024]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本专利技术的系统示意图；
[0026]图2为本专利技术的流程示意图；
[0027]图3为本专利技术中无围边平板型运输车辆的俯视图及侧视图；
[0028]图4为本专利技术中有围边平板型运输车辆的俯视图及侧视图；
[0029]图5为本专利技术中无围边阶梯型运输车辆的俯视图及侧视图；
[0030]图6为本专利技术中有围边封闭型运输车辆的俯视图及侧视图；
[0031]图7为本专利技术中确定车厢几何参数的示意图；
[0032]图8为本专利技术中确定车厢相关边角数据的示意图；
[0033]图9为本专利技术中采样选取间断点检测车厢矩形范围内高度差的示意图。
具体实施方式
[0034]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]一种基于深度相机俯视识别和定位车厢的视觉系统，如图1、2所示，包括深度相机、视觉系统和上层系统，视觉系统加载车辆特征库，并在接收到上层系统发送的识别指令后通知深度相机启动读取数据流，深度相机向视觉系统返回数据流(在30s内以10
‑
15Hz的频率返回数据流)，视觉系统基于关键帧构建点云数据并结合加载的车辆特征库进行基于特征的视觉识别，同时将视觉识别结果上传至上层系统。
[0036]视觉系统安装于工控机上，深度相机与视觉系统之间通过千兆网线进行点对点通信(保证视觉系统在实时拉取深度数据流时不受外部干扰)，视觉系统通过工业以太网总线将视觉识别结果上传至上层系统。
[0037]本申请技术方案中，深度相机与视觉系统之间的通信，一般基于相机厂家提供的API(通常是C/C++语言形式的.lib和.h文件，也可能提供Windows平台的.DLL和/或Linux平台的.a文件)。
[0038]视觉系统与上层系统之间的数据交换采用常用的JSON格式串，也可采用二进制短报文形式，短报文易于通信双方的打包、解包，但是不如JSON格式串易于人工解读。
[0039]在实际中，深度相机内部控制单元在从高精度光敏传感器读取数据时，会加大功率负载，长时间持续读取数据会造成相机内部过热，触发相机内部保护机制，甚至导致相机内部元器件异常或损坏。因此，视觉系统仅在接收到上层系统发送的识别指令后才通知深度相机启动读取数据流，并实时拉取一段时间(约30s)内的深度数据流。
[0040]如图3至图6所示，车辆特征库针对的运输车辆类型包括公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相机俯视识别和定位车厢的视觉系统，其特征在于：包括深度相机、视觉系统和上层系统，所述视觉系统加载车辆特征库，并在接收到上层系统发送的识别指令后通知深度相机启动读取数据流，所述深度相机向视觉系统返回数据流，所述视觉系统基于关键帧构建点云数据并结合加载的车辆特征库进行基于特征的视觉识别，同时将视觉识别结果上传至上层系统。2.根据权利要求1所述的基于深度相机俯视识别和定位车厢的视觉系统，其特征在于：所述视觉系统结合加载的车辆特征库进行基于特征的视觉识别，包括：视觉系统通过扫描点云数据中横坐标、纵坐标组成的二维数组，获得相关边角数据，并根据边角数据辨别车头、车厢；视觉系统通过在车辆特征库中最大车厢高度与最小车厢高度之间划分递增区间，统计点云数据中的景深在各递增区间内的分布情况确定车厢高度；视觉系统通过采样选取间断点检测车厢矩形范围内的高度差确定车厢围边，并基于车辆特征库中有围边封闭型运输车辆的车厢高度确定车厢是否封闭。3.根据权利要求2所述的基于深度相机俯视识别和定位车厢的视觉系统，其特征在于：所述车辆特征库针对的运输车辆类型包括公共运输车辆、无围边平板型运输车辆、有围边平板型运输车辆、无围边阶梯型运输车辆和有围边封闭型运输车辆。4.根据权利要求2所...

【专利技术属性】
技术研发人员：姜跃君，徐伟，
申请(专利权)人：意欧斯物流科技上海有限公司，
类型：发明
国别省市：