本发明专利技术公开了一种低功耗视觉目标检测和识别装置及方法，所述装置包括神经网络处理器单元NPU、低功耗运动目标检测单元、电源管理单元、协处理器单元。协处理器单元根据识别场景中有无目标主动切换低功耗模式和高性能模式。协处理器单元控制第一总线互联单元，将总线数据流在低功耗模式和高性能模式下分别传输至低功耗运动目标检测单元和神经网络处理器单元NPU，进行目标检测和识别。协处理器单元控制电源管理单元，低功耗模式下关闭神经网络处理器单元NPU和显示输出单元电源，高性能模式下关闭低功耗运动目标检测单元电源。本发明专利技术通过控制检测和识别场景无目标情况下的功耗，降低了目标检测和识别的平均功耗。了目标检测和识别的平均功耗。了目标检测和识别的平均功耗。
【技术实现步骤摘要】
一种低功耗视觉目标检测和识别装置及方法
[0001]本专利技术涉及计算机和微电子
，具体涉及一种低功耗视觉目标检测和识别装置及方法。
技术介绍
[0002]视觉目标检测和识别技术旨在定位和识别图像中存在的物体，属于计算机视觉领域的经典任务之一，也是许多计算机视觉任务的前提与基础，在自动驾驶、视频监控等领域具有重要的应用价值。
[0003]视觉目标检测和识别主要基于传统机器视觉算法以及深度学习算法。传统机器视觉算法依赖人工设计视觉特征检测器，每个检测器都是针对具体应用，所述检测器一般拥有较快的运行速度和较低的检测功耗，对硬件要求低，但是往往精度差，泛化能力弱。基于深度学习算法的视觉目标检测和识别以神经网络为基础，特征提取的过程是自学习的，检测和识别精度高，泛化能力比较强。所述神经网络在运算过程中会调用大量权重参数进行多次处理，占用海量缓存。在保证识别性能前提下，对硬件要求高且功耗很高。
[0004]当前市场上视觉目标检测和识别设备中，所使用的检测和识别方法受限于现有硬件而较为单一。如果只使用传统低精度视觉检测和识别方案，检测和识别精度较低(该方法已基本淘汰)；或是使用单纯针对深度学习算法应用的神经网络开发的专用硬件(例如卷积神经网络处理器(NPU))，进行不间断的高功耗的检测和识别运算。
[0005]现有方法在应用场景无待检测目标的情况下，依旧使用高性能高精度的神经网络处理器(NPU)进行视觉检测和识别，造成功耗浪费。不能依据场景情况主动降低自身计算量以降低功耗，灵活性差。
专利技术内容
[0006]本专利技术的目的是为了解决现有单一识别方案中灵活性差的缺陷，提供一种低功耗视觉目标检测和识别装置及方法。基于场景自适应方式的检测和识别单元自动切换以及电源控制，在保证检测和识别精度不变的前提下，降低检测场景无目标时的能量消耗，解决单一识别方案的灵活性差问题。
[0007]本专利技术的第一个目公开了一种低功耗视觉目标检测和识别装置，所述低功耗视觉目标检测和识别装置11包括内部封装的视频流格式转换单元111、第一总线互联单元112、电源管理单元113、神经网络处理器单元NPU114、协处理器单元115、低功耗运动目标检测单元116、显示输出单元117、第二总线互联单元118以及外部内存控制单元119，所述低功耗视觉目标检测和识别装置11还包括与外部设备连接的视频流输入接口15、外部内存接口16、显示输出接口13和目标信息输出接口12；
[0008]其中，所述视频流格式转换单元111将视频流输入接口15输入的视频流数据转换成标准总线数据流，并传输至第一总线互联单元112，标准总线数据流作为神经网络处理器单元NPU114和低功耗运动目标检测单元116的标准数据来源；
[0009]所述第一总线互联单元112与协处理器单元115相连，并通过协处理器单元115控制标准总线数据流流向，在不同识别模式下，分别将标准总线数据传输到连接的神经网络处理器单元NPU114和低功耗运动目标检测单元116，同时传输一路标准总线数据通过外部内存控制单元119写入外部内存；
[0010]所述电源管理单元113由协处理器单元115发送命令控制神经网络处理器单元NPU114，低功耗运动目标检测单元116和显示输出单元117的电源供应；
[0011]神经网络处理器单元NPU114对应用场景进行快速且高精度的目标检测与识别，是为深度学习算法在视觉目标检测和识别应用中开发的专用计算单元，使用较多硬件资源，满功率运行时功耗较高，所述神经网络处理器单元NPU114电源由电源管理单元113控制；
[0012]协处理器单元115用于对神经网络处理器单元NPU114、低功耗运动目标检测单元116和显示输出单元117的电源控制和数据流方向调度，输出检测目标信息到目标信息输出接口12；协处理器单元115辅助神经网络处理器单元NPU114完成全连接层运算和激活函数运算；协处理器单元115辅助低功耗运动目标检测单元116的帧间差分图像二值化阈值计算；所述低功耗运动目标检测单元116基于视频流帧间差分运算实现对画面中出现的运动物体进行检测，低功耗运动目标检测单元116占用较少硬件资源并拥有较低运行功耗，可实现快速对画面中出现的运动物体进行检测，并且低功耗运动目标检测单元116电源由电源管理单元113控制；
[0013]所述显示输出单元117通过第二总线互联单元118以及外部内存控制单元119访问外部内存读取写入的标准视频数据，并接收来自协处理器单元115的检测目标信息，在视频图像数据中绘制检测目标信息后输出至连接的显示输出接口13；
[0014]所述第二总线互联单元118用于控制神经网络处理器单元NPU114、协处理器单元115、低功耗运动目标检测单元116、显示输出单元117到外部内存访问数据流；
[0015]所述外部内存控制单元119用于实现外部内存和内部标准数据流间转换的数据交换，并与外部内存接口16相连。
[0016]进一步地，所述识别模式包括低功耗模式和高性能模式，低功耗模式和高性能模式的区别在于使用不同功耗和不同数量的功能单元。由于低功耗运动目标检测单元116使用的硬件资源少，运行时的功耗很低，在检测场景长时间无目标的情况下使用低功耗运动目标检测单元116能够减少功耗，所以在低功耗模式下，通过协处理器单元115将标准总线数据传输到连接的低功耗运动目标检测单元116；由于神经网络处理器单元NPU114是使用大量硬件资源实现并行化深度学习推理任务，运行时功耗很高，能提供高精度的目标检测和识别信息结果，在识别场景有待识别目标时需要使用神经网络处理器单元NPU114保证识别精度和场景应用。所以在高性能模式下，通过协处理器单元115将标准总线数据传输到连接的神经网络处理器单元NPU114。
[0017]进一步地，所述视觉目标检测和识别装置的功耗控制的主要方式，是通过管理功能单元的电源开关，所述电源管理单元113由协处理器单元115发送命令进行控制，在不同模式下可配置关闭不使用的功能单元的电源以降低功耗。
[0018]进一步地，所述显示输出单元117使用直接内存访问DMA技术。
[0019]本专利技术的第二个目公开了一种低功耗视觉目标检测和识别方法，所述低功耗视觉目标检测和识别方法拥有低功耗模式和高性能模式两种模式，过程如下：
[0020]视频流数据输入视频流输入接口15，经视频流格式转换单元111转换成标准数据流格式；
[0021]进入高性能模式，标准数据流经由第一总线互联单元112进入神经网络处理器单元NPU114进行高精度的目标检测和识别，协处理器单元115通过控制电源管理单元113关闭低功耗运动目标检测单元116电源，并通过目标信息输出接口12输出目标检测和识别信息；
[0022]当神经网络处理器单元NPU114在检测和识别场景中超过设定时间没有待检测目标时，协处理器单元115自动切换至低功耗模式，控制标准数据流由第一总线互联单元112进入低功耗运动目标本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种低功耗视觉目标检测和识别装置，其特征在于，所述低功耗视觉目标检测和识别装置(11)包括内部封装的视频流格式转换单元(111)、第一总线互联单元(112)、电源管理单元(113)、神经网络处理器单元NPU(114)、协处理器单元(115)、低功耗运动目标检测单元(116)、显示输出单元(117)、第二总线互联单元(118)以及外部内存控制单元(119)，所述低功耗视觉目标检测和识别装置(11)还包括与外部设备连接的视频流输入接口(15)、外部内存接口(16)、显示输出接口(13)和目标信息输出接口(12)；其中，所述视频流格式转换单元(111)将视频流输入接口(15)输入的视频流数据转换成标准总线数据流，并传输至第一总线互联单元(112)；所述第一总线互联单元(112)与协处理器单元(115)相连，并通过协处理器单元(115)控制标准总线数据流流向，在不同识别模式下，分别将标准总线数据传输到连接的神经网络处理器单元NPU(114)和低功耗运动目标检测单元(116)，同时传输一路标准总线数据通过外部内存控制单元(119)写入外部内存；所述电源管理单元(113)由协处理器单元(115)发送命令控制神经网络处理器单元NPU(114)，低功耗运动目标检测单元(116)和显示输出单元(117)的电源供应；所述神经网络处理器单元NPU(114)用于对应用场景进行快速且高精度的目标检测与识别；所述协处理器单元(115)用于对神经网络处理器单元NPU(114)、低功耗运动目标检测单元(116)和显示输出单元(117)的电源控制和数据流方向调度，输出检测目标信息到目标信息输出接口(12)；所述低功耗运动目标检测单元(116)基于视频流帧间差分运算实现对画面中出现的运动物体进行检测；所述显示输出单元(117)通过第二总线互联单元(118)以及外部内存控制单元(119)访问外部内存读取写入的标准视频数据，并接收来自协处理器单元(115)的检测目标信息，在视频图像数据中绘制检测目标信息后输出至连接的显示输出接口(13)；所述第二总线互联单元(118)用于控制神经网络处理器单元NPU(114)、协处理器单元(115)、低功耗运动目标检测单元(116)、显示输出单元(117)到外部内存访问数据流；所述外部内存控制单元(119)用于实现外部内存和内部标准数据流间转换的数据交换，并与外部内存接口(16)相连。2.根据权利要求1所述的一种低功耗视觉目标检测和识别装置，其特征在于，所述识别模式包括低功耗模式和高性能模式，在低功耗模式下，通过协处理器单元(115)将标准总线数据传输到连接的低功耗运动目标检测单元(116)，在高性能模式下，通过协处理器单元(115)将标准总线数据传输到连接的神经网络处理器单元NPU(114)。3.根据权利...
【专利技术属性】
技术研发人员：刘永桂，汤子鸣，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。