基于云服务器的直梯内目标检测方法技术

本发明专利技术涉及一种基于云服务器的直梯内目标检测方法，包括以下步骤：a.通过直梯的轿厢相机按抓图条件获取轿厢内的图像数据；b.将图像数据按节点信息和抓图条件写入消息管理模块，并将图像数据存入云存储器；c.通过消费消息管理模块的消息将图像数据从云存储器中读取出来并提供给云处理器；d.云处理器对图像数据进行批量的图像预处理后由部署在云处理器上的深度学习检测模型进行经过加速的推理运算，最后将检测结果反馈到数据平台。本发明专利技术通过加速图像编解码、尺度变换等预处理，替换并裁剪主干网络降低检测模型计算量，使用TensorRT加速等减少推理时间，最大限度的优化目标检测算法性能，提高单位时间内图像的处理能力。

Detection method of target in vertical ladder based on ECS

The invention relates to a method of target detection in a vertical ladder based on a cloud server, which comprises the following steps: A. obtaining image data in a car according to the capture conditions by a car camera of a vertical ladder; B. writing image data into the message management module according to the node information and the capture conditions, and storing the image data into the cloud memory; C. storing image data from the cloud through messages of the consumption message management module D. the cloud processor processes the image data in batches, then the deep learning detection model deployed on the cloud processor performs the accelerated reasoning operation, and finally feeds the detection results back to the data platform. The invention reduces the calculation amount of detection model by accelerating image encoding and decoding, scale transformation and other preprocessing, replacing and cutting the trunk network, using tensorrt acceleration and the like to reduce reasoning time, optimize the performance of target detection algorithm to the maximum extent, and improve the image processing ability in unit time.

【技术实现步骤摘要】
基于云服务器的直梯内目标检测方法
本专利技术涉及计算机视觉领域，尤其涉及一种基于云服务器的直梯内目标检测方法。
技术介绍
深度学习作为机器学习领域中一个新的研究方向，目前已经在图像识别，语音识别，自然语言处理等相关领域都取得很多成果。通过学习样本数据的规律和表达层次，使得机器能够模仿人的视听和思考，具有分析学习能力，能准确识别图像，声音，文字等数据。例如目标检测任务，首先需要收集样本数据，标注样本信息，经过训练和测试获得一个模型，最终应用阶段需要将训练好的模型部署到客户端机器、服务器或者嵌入式设备上，作为生产环境。一般生产环境都有明确的性能指标，如每秒中申请的处理数量，处理一张图片的耗时，每秒钟的处理能力，除了时间要求，还有空间要求，比如内存等资源有限，需要模型加载到应用程序中，模型的大小会受到限制。云服务器主要是一种简单，安全可靠，高效，且具备一定处理能力的计算服务，主要面向中小企业与用户，提供基于互联网的基础设施服务。将深度学习应用模型部署到云服务器，不像嵌入式设备会受到空间限制。云存储服务器通过集群的应用，分布式文件系统共同对外提高数据存储和业务访问功能，保证数据安全并节约存储空间。Kafka作为一种分布式的消息中间件，可以存储数据对应的消息，当需要的时候可以消费出来，将业务中依赖于其他系统同时属于非核心的部分解耦出来，起到削峰填谷的作用。目前国内主流的一些云服务厂商均提供云上的Kafka服务，为应用系统提供异步的消息队列服务。通过大规模高并发访问的消息缓冲队列，实现应用解耦，突发流量处理，保证用户关键业务可靠运行。本专利技术应用于云服务器，将日常处理数据存储于云存储器，将基于深度学习的目标检测模型部署于云服务器，通过消费kafka消息获得云存储服务器上的待检测图像数据。正常处理一张图像需要经过图像解码、尺度变化、减均值、补边等预处理，再由检测模型做推理。如果图像较大，检测模型网络较深，则图像预处理时间和算法推理时间耗时较多，数据处理慢。面对千万级别的图像数据，需要大量的云服务器才能满足日常检测需求。并且，由于每天产生的待检测图像数据量多且并发量大，需要优化图像的预处理模块和深度学习网络的推理模块，以满足日常的检测服务需求。
技术实现思路
本专利技术的目的在于解决上述问题，提供一种基于云服务器的直梯内目标检测方法，包括以下步骤：a.通过直梯的轿厢相机按抓图条件获取轿厢内的图像数据；b.将所述图像数据按节点信息和所述抓图条件写入消息管理模块，并将所述图像数据存入云存储器；c.通过消费所述消息管理模块的消息将所述图像数据从所述云存储器中读取出来并提供给所述云处理器；d.所述云处理器对所述图像数据进行批量的图像预处理后由部署在所述云处理器上的深度学习检测模型进行经过加速的推理运算，最后将检测结果反馈到数据平台。根据本专利技术的一个方面，在所述步骤(a)中，所述抓图条件包括有无行人乘梯、开关门、轿厢每次起停、运行速度和楼层信息。根据本专利技术的一个方面，在所述步骤(b)中，所述节点信息包括抓图时间节点和抓图地点。根据本专利技术的一个方面，在所述步骤(d)中，所述图像预处理在所述云处理器的CPU端进行，所述推理运算在所述云处理器的GPU端进行。根据本专利技术的一个方面，所述图像预处理过程为：读取一批图像放在线程池，CPU端的8个线程同时做解码、尺度变换处理、减均值矩阵运算、图像数据通道类型转换和补灰边，处理完本批次图像后，写入内存传递给GPU端。根据本专利技术的一个方面，读取图像时采用OpenCV进行读取，解码时通过libjpeg解码库进行解码；所述libjpeg解码库经过离散余弦变换、Huffman编码、NEON精简指令集优化以及编码算法的优化。根据本专利技术的一个方面，所述深度学习检测模型使用yolov3网络进行推理运算，其主干网络为darknet19网络；所述主干网络和所述yolov3网络的检测网络均经过通道裁剪处理；所述主干网络的计算量为19.083BFLOPS，所述检测网络的计算量为5.145BFLOPS。根据本专利技术的一个方面，所述推理运算通过TensorRT加速并对卷积、BN层和激励层进行融合计算；所述TensorRT支持FP16和INT8计算。根据本专利技术的一个方面，所述云处理支持FP16精度。根据本专利技术的一个方面，所述消息管理模块为kafka集群。根据本专利技术的一个方案，云服务器的GPU端可以对图像进行多线程的批量预处理，并使用优化过的libjpeg解码库进行解码，从而大幅度提高图像预处理速度。根据本专利技术的一个方案，图像的推理运算在云服务器的GPU端进行，可减少云处理器数量。并且深度学习检测模型的主干网络由darknet19替换为darknet53，并对主干网络和检测网络均进行通道裁剪，既减少了网络模型的计算量，又保证了检测精度不变。根据本专利技术的一个方案，推理运算通过TensorRT加速，TensorRT支持FP16和INT8计算，配合网络通道裁剪既减少计算量又能保持精度。并且，对卷积、BN层和激励层进行融合计算，达到加速的目的。附图说明图1是示意性表示根据本专利技术的一种实施方式的基于云服务器的直梯内目标检测方法示意图；图2是示意性表示根据本专利技术的一种实施方式的图像预处理和推理运算示意图；图3是示意性表示现有技术的的图像预处理和推理运算示意图。具体实施方式为了更清楚地说明本专利技术实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在针对本专利技术的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本专利技术的限制。下面结合附图和具体实施方式对本专利技术作详细地描述，实施方式不能在此一一赘述，但本专利技术的实施方式并不因此限定于以下实施方式。图1是示意性表示根据本专利技术的一种实施方式的基于云服务器的直梯内目标检测方法示意图。如图1所示，本专利技术的基于云服务器的直梯内目标检测方法，包括以下步骤：a.通过直梯的轿厢相机1按抓图条件从实时流中抓取图片，从而获取轿厢内的图像数据。抓图条件包括有无行人乘梯、开关门、轿厢每次起停、运行速度和楼层信息，这些信息由硬件传感器得出。b.将图像数据2按节点信息和抓图条件写入消息管理模块3，并将图像数据2存入云存储器4。消息管理模块3为kafka集群，进行消息管理，图像数据2写入kafka集群后可通过kafka集群的消息记录图像的本文档来自技高网...

【技术保护点】
1.一种基于云服务器的直梯内目标检测方法，其特征在于，包括以下步骤：/na.通过直梯的轿厢相机(1)按抓图条件获取轿厢内的图像数据(2)；/nb.将所述图像数据(2)按节点信息和所述抓图条件写入消息管理模块(3)，并将所述图像数据(2)存入云存储器(4)；/nc.通过消费所述消息管理模块(3)的消息将所述图像数据(2)从所述云存储器(4)中读取出来并提供给所述云处理器(5)；/nd.所述云处理器(5)对所述图像数据进行批量的图像预处理后由部署在所述云处理器(5)上的深度学习检测模型(6)进行经过加速的推理运算，最后将检测结果反馈到数据平台(7)。/n

【技术特征摘要】
1.一种基于云服务器的直梯内目标检测方法，其特征在于，包括以下步骤：
a.通过直梯的轿厢相机(1)按抓图条件获取轿厢内的图像数据(2)；
b.将所述图像数据(2)按节点信息和所述抓图条件写入消息管理模块(3)，并将所述图像数据(2)存入云存储器(4)；
c.通过消费所述消息管理模块(3)的消息将所述图像数据(2)从所述云存储器(4)中读取出来并提供给所述云处理器(5)；
d.所述云处理器(5)对所述图像数据进行批量的图像预处理后由部署在所述云处理器(5)上的深度学习检测模型(6)进行经过加速的推理运算，最后将检测结果反馈到数据平台(7)。


2.根据权利要求1所述的基于云服务器的直梯内目标检测方法，其特征在于，在所述步骤(a)中，所述抓图条件包括有无行人乘梯、开关门、轿厢每次起停、运行速度和楼层信息。


3.根据权利要求2所述的基于云服务器的直梯内目标检测方法，其特征在于，在所述步骤(b)中，所述节点信息包括抓图时间节点和抓图地点。


4.根据权利要求1所述的基于云服务器的直梯内目标检测方法，其特征在于，在所述步骤(d)中，所述图像预处理在所述云处理器(5)的CPU端进行，所述推理运算在所述云处理器(5)的GPU端进行。


5.根据权利要求4所述的基于云服务器的直梯内目标检测方法，其特征在于，所述图像预处理过程为：读取一批图像放在线程池，CP...

【专利技术属性】
技术研发人员：陈国特，王超，陈清梁，王伟，施行，蔡巍伟，
申请(专利权)人：浙江新再灵科技股份有限公司，
类型：发明
国别省市：浙江;33