一种基于深度学习与测距的模块化定位系统技术方案

一种基于深度学习与测距的模块化定位系统，其特征在于，该系统包括：图像采集模块、目标检测模块、深度计算模块与连接模块组成；其特征在于：图像采集模块分别连接目标检测模块、深度计算模块；所述目标检测模块、深度计算模块分别连接连接模块。本发明专利技术的优点：本发明专利技术仅使用了一个单独的图像传感器，通过这一个传感器读取的数据，分别读入目标检测模块与深度计算模块中，可以完成两项工作，各个模块使用独立的端口通信且各个端口互不影响，便于缩小智能化设备的体积，简化系统的处理，有利于模块化，能够更好地应用于小体积设备。

A Modular Positioning System Based on Deep Learning and Ranging

【技术实现步骤摘要】
一种基于深度学习与测距的模块化定位系统
本专利技术属于计算机视觉的目标检测领域与距离测量领域，具体涉及一种基于深度学习与距离测量的模块化定位系统。
技术介绍
在无人驾驶汽车的行驶过程中，需要检测车辆前方的物体以及与其的距离。为了获取车辆前方的物体信息，传统的作法是采用独立的目标检测系统与独立的距离测量系统。目前有多种目标检测系统，分别使用不同的目标检测方法。如基于区域的卷积神经网络(Region-basedConvolutionalNetwork,R-CNN)，其通过将图像分割为有关部分与无关部分来缩小目标检测的范围，以提高目标检测的速度和准确性；但该方法需要判断有关区域与无关区域，计算比较耗时，不能满足实时检测的需求。针对该问题，Redmon等在2016年提出了一种YOLO算法(RedmonJ,DivvalaS,GirshickR,etal.Youonlylookonce:Unified,real-timeobjectdetection[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016:779-788.)，该算法仅经过一次卷积神经网络运算，即可检测出目标，因此可实现快速的目标检测。常用的距离测量系统主要有：基于超声波的距离测量系统、基于红外的距离测量系统、基于激光雷达的距离测量系统、基于结构光技术的距离测量系统和基于图像传感器的距离测量系统；例如名称为“基于超声波距离检测的无人机避障系统及其控制方法”(公开号为CN104820429B)的专利，通过超声波检测的方式，对无人机前方的障碍物进行检测，并进行避障。上述目标检测系统和距离测量系统各自独立使用，一个系统完成一项任务。如果要同时完成目标检测和距离测量，需要同时使用至少两个系统，将各自检测和测量的结果进行融合，这会导致整个系统体积较大，不便于小型化和系统集成。
技术实现思路
本专利技术提供了一种基于深度学习与测距的模块化定位系统。该系统基于深度学习的目标检测方法与摄像头的测距方法，能够同时完成物体识别与距离测量。本专利技术提出的一种基于深度学习与测距的模块化定位系统，其特征在于，该系统包括：图像采集模块、目标检测模块、深度计算模块与连接模块组成；其特征在于：图像采集模块分别连接目标检测模块、深度计算模块；所述目标检测模块、深度计算模块分别连接连接模块；其中图像采集模块为一种图像传感器，该模块用于获取环境中的图像数据，并开放图像数据读取端口，目标检测模块和深度计算模块可由此端口读取图像数据流。其中目标检测模块为一种深度学习目标识别方法，该模块用于从图像采集模块端口读取图像采集模块采集的图像数据，从中检测出目标物体的位置信息以及物体名称或种类信息，并开放信息读取端口，连接模块可由此信息读取端口读取目标物体的位置信息以及物体名称或种类信息。其中深度计算模块为一种深度计算方法或仪器，该模块用于从图像采集模块的端口读取图像采集模块采集的图像数据，根据图像数据计算深度数据，并开放信息读取端口，连接模块可由此信息读取端口读取图像的深度数据。其中连接模块为计算机或嵌入式设备或其他能进行计算处理的装置，用于读取目标检测模块与深度计算模块端口内的数据，并根据其数据计算得出检测的目标的物体信息以及与其的距离信息，并将其反馈给使用者。进一步的，所述图像采集模块用于采集图像序列I1，I2，…，Ik，并开放图像序列I1，I2，…，Ik读取端口，其中k为图像采集模块采集到的图像的幅数；目标检测模块用于读取图像采集模块采集的图像序列I1，I2，…，Ik，然后对图像采集模块采集到的图像序列I1，I2，…，Ik进行处理，从图像采集模块采集到的图像序列中确定被识别目标物体在图像中的位置信息以及物体名称或种类信息，生成物体信息序列D1，D2，…，Dk并开放物体信息序列D1，D2，…，Dk读取端口；深度计算模块用于读取图像采集模块采集的图像序列I1，I2，…，Ik，然后对图像采集模块采集到的图像序列I1，I2，…，Ik进行处理，生成深度图像序列A1，A2，…，Ak，并开放深度图像序列A1，A2，…，Ak读取端口；连接模块用于读取目标检测模块生成的物体信息序列D1，D2，…，Dk与深度计算模块生成的深度图像序列A1，A2，…，Ak，将物体信息序列D1，D2，…，Dk与深度图像序列A1，A2，…，Ak所对应的同一时刻的信息相结合，根据物体信息中得到的物体在图像中的位置信息以及物体名称或种类信息，在同一时刻的深度图像中获取其真实世界位置坐标信息，从而生成含有真实世界位置坐标信息的物体综合信息序列B1，B2，…，Bm，并将其反馈给使用者。本专利技术相对于现有技术的优点：本专利技术提供的模块化定位系统，仅使用了一个单独的图像传感器，通过这一个传感器读取的数据，分别读入到目标检测模块与深度计算模块中，可以完成两项工作，且这两种工作模块互相独立运作，各个模块使用独立的端口通信且各个端口互不影响，便于缩小智能化设备的体积，简化系统的处理，有利于模块化，能够更好地应用于小体积设备，例如智能家居等设备中，既提高了目标识别的精确度，又能够对目标的位置做出判断，从而为智能仪器的简化与模块化提供了更有利的条件。附图说明图1是本专利技术基于深度学习与测距的模块化定位系统的流程图；在图中，1为图像采集模块，2为目标检测模块，3为深度计算模块，4为连接模块。具体实施方式下面结合附图和实例对本专利技术作进一步详细的说明。如图1所示，本专利技术设计的基于深度学习与测距的模块化定位系统，由图像采集模块1、目标检测模块2、深度计算模块3、连接模块4组成。图像采集模块1可以是CCD，CMOS等图像传感器，该模块用于获取环境中的图像数据或视频流数据，采集图像序列I1，I2，…，Ik，其中k为图像采集模块采集到的图像的幅数，并开放图像序列I1，I2，…，Ik读取端口。目标检测模块2是一种深度学习目标识别方法，例如YOLOv3，SSD，fasterR-CNN等，该模块用于读取图像采集模块采集的图像序列I1，I2，…，Ik，然后对图像采集模块采集到的图像序列I1，I2，…，Ik进行处理，从图像采集模块采集到的图像序列中确定被识别目标物体在图像中的位置信息以及物体名称或种类信息，生成物体信息序列D1，D2，…，Dk并开放物体信息序列D1，D2，…，Dk读取端口；深度计算模块3是一种深度计算方法或仪器，例如BM、SGBM、深度摄像头以及基于深度学习的PSMNet等，该模块用于读取图像采集模块采集的图像序列I1，I2，…，Ik，然后对图像采集模块采集到的图像序列I1，I2，…，Ik进行处理，生成深度图像序列A1，A2，…，Ak，并开放深度图像序列A1，A2，…，Ak读取端口；连接模块4可以是计算机或嵌入式设备或其他能进行计算处理的装置，该模块用于读取目标检测模块生成的物体信息序列D1，D2，…，Dk与深度计算模块生成的深度图像序列A1，A2，…，Ak，将物体信息序列D1，D2，…，Dk与深度图像序列A1，A2，…，Ak所对应的同一时刻的信息相结合，根据物体信息中得到的物体在图像中的位置信息以及物体名称或种类信息，在同一时刻的深度图像中获取其真实世界位置坐标信息，从本文档来自技高网...

【技术保护点】
1.一种基于深度学习与测距的模块化定位系统，其特征在于，该系统包括：图像采集模块、目标检测模块、深度计算模块与连接模块组成；其特征在于：图像采集模块分别连接目标检测模块、深度计算模块；所述目标检测模块、深度计算模块分别连接连接模块；其中图像采集模块为一种图像传感器，用于获取环境中的图像数据，并开放图像数据读取端口，目标检测模块和深度计算模块可由此端口读取图像数据流；其中目标检测模块为一种深度学习目标识别方法，用于从图像采集模块端口读取图像采集模块采集的图像数据，从中检测出目标物体的位置信息以及物体名称或种类信息，并开放信息读取端口，连接模块可由此端口读取目标物体的位置信息以及物体名称或种类信息；其中深度计算模块为一种深度计算方法或仪器，用于从图像采集模块的端口读取图像采集模块采集的图像数据，根据图像数据计算深度数据，并开放信息读取端口，连接模块可由此端口读取图像的深度数据；其中连接模块为计算机或嵌入式设备或其他能进行计算处理的装置，用于读取目标检测模块与深度计算模块端口内的数据，并根据其数据计算得出检测的目标的物体信息以及与其的距离信息，并将其反馈给使用者。

【技术特征摘要】
1.一种基于深度学习与测距的模块化定位系统，其特征在于，该系统包括：图像采集模块、目标检测模块、深度计算模块与连接模块组成；其特征在于：图像采集模块分别连接目标检测模块、深度计算模块；所述目标检测模块、深度计算模块分别连接连接模块；其中图像采集模块为一种图像传感器，用于获取环境中的图像数据，并开放图像数据读取端口，目标检测模块和深度计算模块可由此端口读取图像数据流；其中目标检测模块为一种深度学习目标识别方法，用于从图像采集模块端口读取图像采集模块采集的图像数据，从中检测出目标物体的位置信息以及物体名称或种类信息，并开放信息读取端口，连接模块可由此端口读取目标物体的位置信息以及物体名称或种类信息；其中深度计算模块为一种深度计算方法或仪器，用于从图像采集模块的端口读取图像采集模块采集的图像数据，根据图像数据计算深度数据，并开放信息读取端口，连接模块可由此端口读取图像的深度数据；其中连接模块为计算机或嵌入式设备或其他能进行计算处理的装置，用于读取目标检测模块与深度计算模块端口内的数据，并根据其数据计算得出检测的目标的物体信息以及与其的距离信息，并将其反馈给使用者。2.根据权利要求1所述的基于深度学习与测距的模块化定位系统，其特征在于，图像采集模块用于采...

【专利技术属性】
技术研发人员：曾洁亮，杨词慧，钟英睿，徐群晖，李思源，夏威，左人杰，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：江西,36