一种基于TinyML和MCU的区域检测系统技术方案

本发明专利技术提供一种基于TinyML和MCU的区域检测系统，属于图像处理领域，本发明专利技术利用上位机标注出检测的区域，在MCU中运行TinyML网络，将标注区域的检测结果发布至云平台并在Web或App客户端显示，以达到区域检测远程监控的目的。的。的。

【技术实现步骤摘要】
Client，二者通过Tcp/ip协议建立通信；上位机通过监听MCU获取图像采集模块采集到的图像信息，将图像显示在界面上；
[0015]在上位机画出目标区域位置，设定的区域的名称以及区域检测阈值信息，并将信息传输给MCU，实现动态的控制。
[0016]上位机每次只获取一帧图像，在向MCU传输完信息后便关闭通信。
[0017]在上位机的图像显示界面上标注出要检测的区域，区域为一个封闭的多边形，标定完成后将信息传给主控MCU；当空间场景布局发生变化或者图像采集模块位置发生移动时，可重新设定目标区域。
[0018]开始区域检测
[0019]主控MCU平台实时读取图像采集模块采集到的每一帧图像，将读取到的图像输入到模型；若检测到目标，判断目标是否在步骤2划定的区域内；当连续两帧图像的区域中的目标数量不一致时，主控MCU将检测结果通过网络协议发送至云平台服务器，云服务器将消息推送至Web或App客户端，客户端接收云平台数据可实时显示区域检测结果，当检测数量超出区域设定的阈值会给出提示。
[0020]再进一步的，
[0021]具体的流程步骤如下
[0022]a:首先加载模型，然后判断是否与上位机建立通信，若通信成功则等待，判断是否需要重新标注检测区域；若未建立通信或者不需要重新标注区域，则跳转到b；
[0023]b:主控MCU读取一帧图像，并将其输入到主控MCU的TinyML网络中，判断图像中是否有目标。若检测到目标，判断是否在标定的区域内，若未检测到目标则跳转到a；
[0024]c:若检测到连续两帧某个区域的目标数量不一致，将检测结果通过网络协议发布至云平台；
[0025]d:若检测结果超出设定的阈值，给出提示；
[0026]e:云平台服务器将数据推送至其客户端，在Web或者App显示检测结果。
[0027]本专利技术在制作的数据集上进行训练，将训练好的检测模型优化并部署至嵌入式应用平台。当图像采集设备发生移动或场景布局发生变化时，可以利用上位机实现监测区域的动态设定。区域检测的结果发布至云端，可实现远程查询区域检测结果，实现区域目标检测与远程网络通信的结合，可应用于智能家居，智慧交通等现代化场合，从而提高现代人工智能物联网设备的智能化和便捷性。
附图说明
[0028]附图1：区域检测系统结构图；
[0029]附图2：区域检测整体流程；
[0030]附图3：标注检测区域示意图；
[0031]附图4：主控MCU区域检测流程图。
具体实施方式
[0032]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]本专利技术是一种基于微控制器(MCU)设备和微型机器学习(TinyML)的区域检测系统。利用上位机标注出检测的区域，在MCU中运行TinyML网络，检测出标注区域的检测结果并发布到云平台并在Web或App客户端显示，以达到区域检测远程监控的目的。
[0034]硬件系统主要由图像采集模块、WiFi模块、图像显示模块、主控MCU组成；软件系统主要由上位机(负责设置检测区域等信息)Web端或App端(显示区域检测目标的结果)组成。整个系统的检测过程主要分为模型训练与部署、设置目标检测区域和开始区域检测三个步骤，如附图2所示，具体步骤如下：
[0035]步骤1：模型训练与部署。选取大量有检测目标的图像(如：人)，采用标注工具进行人工标注，制作符合应用场景数据集。选用主流目标检测算法对数据集进行训练，将训练好的模型优化至最佳状态，并转化为MCU支持的格式，将模型通过微型机器学习将其部署至嵌入式应用平台。
[0036]步骤2：设置目标检测区域。利用开发的上位机软件设置监测区域。上位机配置为Tcp Server，MCU配置为Tcp Client，二者通过Tcp/ip协议建立通信。上位机通过监听MCU获取图像采集模块采集到的图像信息，将图像显示在界面上。在上位机画出目标区域位置，设定的区域的名称以及区域检测阈值等信息，并将信息传输给MCU，实现动态的控制。为了提高系统的运行速度，上位每次只获取一帧图像，在向MCU传输完信息后便关闭通信。如附图3所示，统计授课教室中不同区域学生的落座人数，中间区域的落座率高可以反应学生对该课程的重视程度。在上位机的图像显示界面上手动标注出要检测的区域(例如:区域A，区域B)，区域应为一个封闭的多边形，标定完成后将信息传给MCU。当空间场景布局发生变化或者图像采集模块位置发生移动时，还可重新设定目标区域。
[0037]步骤3：开始区域检测。嵌入式MCU平台实时读取图像采集模块采集到的每一帧图像，将读取到的图像输入步骤1部署好的神经网络模型；若检测到目标，判断目标是否在步骤2划定的区域内；当连续两帧图像的区域中的目标数量不一致时，主控MCU将检测结果通过网络协议发送至云平台服务器，云服务器将消息推送至Web或App客户端，客户端接收云平台数据可实时显示区域检测结果，当检测数量超出区域设定的阈值会给出提示。具体的流程分为a
‑
e步骤，如附图4所示。
[0038]a:首先加载步骤1中部署的模型，然后判断是否与上位机建立通信，若通信成功则等待一段时间，判断是否需要重新标注检测区域；若未建立通信或者不需要重新标注区域，则跳转到b
[0039]b:MCU读取一帧图像，并将其输入到MCU的TinyML网络中，判断图像中是否有目标。若检测到目标，判断是否在步骤2标定的区域内，若未检测到目标则跳转到a
[0040]c:若检测到连续两帧某个区域的目标数量不一致，将检测结果通过网络协议发布至云平台
[0041]d:若检测结果超出设定的阈值，给出提示
[0042]e:云平台服务器将数据推送至其客户端，在Web或者App显示检测结果
[0043]以上所述仅为本专利技术的较佳实施例，仅用于说明本专利技术的技术方案，并非用于限定本专利技术的保护范围。凡在本专利技术的精神和原则之内所做的任何修改、等同替换、改进等，
均包含在本专利技术的保护范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于TinyML和MCU的区域检测系统，其特征在于，其硬件系统包括图像采集模块、WiFi模块、图像显示模块、主控MCU；其软件系统包括上位机(负责设置检测区域)、Web端或App端(显示区域检测目标的结果)；图像采集模块实时采集图像，主控MCU运行目标检测的TinyML模型，利用WiFi模块连接云端服务器，将检测与统计的数量发布到云端，并在软件系统实时显示区域的检测结果。2.根据权利要求1所述的系统，其特征在于，先通过机器学习(ML)训练检测目标的模型，将模型部署到主控MCU平台上，在主控MCU加载模型并运行TinyML，结合上位机设定的目标检测区域，将区域检测结果通过网络协议传输至云端并显示在可视化界面中。3.根据权利要求2所述的系统，其特征在于，模型训练与部署选取有检测目标的图像，采用标注工具进行标注，制作数据集；对数据集进行训练，将训练好的模型优化至最佳状态，并转化为MCU支持的格式，将模型通过微型机器学习将其部署至主控MCU平台。4.根据权利要求2所述的系统，其特征在于，设置目标检测区域利用上位机软件设置监测区域；上位机配置为Tcp Server，MCU配置为Tcp Client，二者通过Tcp/ip协议建立通信；上位机通过监听MCU获取图像采集模块采集到的图像信息，将图像显示在界面上；在上位机画出目标区域位置，设定的区域的名称以及区域检测阈值信息，并将信息传输给MCU，实现动态的控制。5.根据权利要求4所述的系统，其特征在于...

【专利技术属性】
技术研发人员：张永昊，李锐，王洪添，朱翔宇，胡佳，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：