【技术实现步骤摘要】
本专利技术涉及一种基于嵌入式的wifi相机通信系统，具体涉及一种适合嵌入式的无线视频传输的视觉识别方法。
技术介绍
1、随着嵌入式系统的不断发展以及嵌入式芯片性能的不断提高，无线传输以及深度学习算法在嵌入式设备中的应用也越来越多,而算法的高效实现与准确控制是目前追求的重要目标。
2、对于目前市面上的智能监控相机来说，一种是通过前端硬件对视频进行智能化分析，另一种是后端服务器分析。对于这两种部署方式来说，前端智能化硬件分析侧重于对视频的实时分析，对硬件的性能要求较高。后端智能是将信息上传到服务器进行算法的识别，来降低硬件设备成本，但对网络要求较高，同时需要服务器具有较高的性能来处理多个相机的大量数据，稳定性与实时性不足。
3、目前深度学习算法网络直接部署到嵌入式设备中，会导致网络性能降低，误识别与虚警概率较高。
技术实现思路
1、针对上述问题，本专利技术提供了一种基于嵌入式的wifi相机通信系统，可以在前端进行智能算法的计算，应对不同的计算结果进行响应并与相关设备进行联动。
2、本专利技术公开了一种基于嵌入式的wifi相机通信系统，主要包括海思hi3516dv300智能ai芯片、wifi模块、转台联动模块、双路摄像头模块、电源模块、相机无线开关模块等。
3、本专利技术具有较高的数据传输速度，可以上传加密编码视频数据到云端并解码播放，并可以通过云端发送指令控制相机码率，动静态拍照视频模式切换，控制云台带动相机转动，开启补光灯，控制云台转动
4、所述的hi3516dv300是海思一款支持ai算法的智能芯片，nnie是neural networkinference engine的简称，是海思媒体soc中专门针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元，支持目前大部分的公开网络，具有1tops算力，可以实现实时的深度学习图像检测。
5、所述算法为本专利技术对于目标检测算法的优化，使用一种基于yolov5s基础网络改进的yolo_d网络，为了使yolov5s网络在嵌入式设备上部署效果更好，针对嵌入式设备特性对网络进行修改得到yolo_d网络，使网络在嵌入式设备中性能大幅度提高。
6、所述的wifi模块，使用rtl8188无线wifi模块，具有良好的网络传输速度与稳定性，通过与云端上位机的连接，实现云端对智能相机的指令控制，相机将视频数据添加帧头帧尾封包并进行加密发送给云端，通过图采与控制软件对数据进行校验，并取出视频数据进行解码显示。
7、所述的转台联动模块，转动精度为1°，俯仰角范围为-30°到90°，方位角范围为-170°到170°，与相机通过ttl电平串口双向接口进行信息交互。相机通过串口接口向转台机构发送转动控制指令和遥测轮询请求；转台通过串口接口向相机发送应答和遥测数据。相机根据算法对视频图像进行检测，并判断识别目标所在位置，根据实际位置信息，通过串口控制转台转动，使目标处于视场中心。
8、所述的双路摄像头模块，由于过大和过小的目标会影响图像的检测与识别效果，所以通过两路不同视场角的摄像头来获取不同的图像进行识别，并根据所识别物体在市场中所占比例来作为视场切换的条件。
9、在指令相机指令接收处采用环形缓冲区来保证接收的指令数据和遥测数据完整且不遗漏，在视频码流封包后使用大型的环形缓冲区来存储视频数据等待数据的发送，防止视频数据发送时粘包或由于wifi因素导致传输速度过慢而引起的视频丢帧。
10、在wifi相机与云端设备wifi连接过程中，采用了tcp进行数据传输与指令接收，wifi可能会受到距离影响或者其他意外因素干扰导致wifi断线时，本系统采用了每隔5秒发送一次心跳包的方式来判断是否发生wifi断线，发生后启动断线重连。
11、相机电源供电模块分别配备电池和有线供电模块，并使用samr30进行控制，可通过云端控制samr30控制相机端samr30对相机进行供电，实现远程无线控制相机开启与关闭。
12、本专利技术采用海思ai芯片进行前端识别，通过wifi进行指令控制与视频流传输，通过切换视场来实现更好的识别效果，相较于市面上的智能相机系统有更快的识别速度，以及控制云台对目标的自动追踪效果，更稳定的wifi传输方式，并有效地降低了成本。
本文档来自技高网...【技术保护点】
1.一种基于WiFi通信的智能跟踪相机系统，其特征在于，包括：WiFi相机、视觉识别部署、相机电源及开关系统、云端软件模块、转台控制装置系统；所述WiFi通信的智能跟踪相机系统包括两个不同视场成像传感器、主控海思芯片、WiFi模块、补光灯模组，用于获取动静态视频流传输到云端，并对云端的控制指令进行响应。
2.根据权利要求1所述的基于WiFi通信的智能跟踪相机系统，其特征在于，所述两个不同视场成像传感器能够获取远近不同视场的视频数据，使目标在视场内大小适中，有利于算法识别和目标显示。
3.根据权利要求1所述的基于WiFi通信的智能跟踪相机系统，其特征在于，其中主控海思芯片能够将采集到的图像数据设置图像参数与帧率、曝光时间参数，将图像数据进行视频压缩编码，添加帧头帧尾校验等进行封包处理，并通过TCP进行数据发送；可提供深度学习部署的硬件支持，也用于接收云端模块发送的指令并进行处理；可用于与转台通过串口进行指令与遥测信息交互。
4.根据权利要求1所述的基于WiFi通信的智能跟踪相机系统，其特征在于，其中WiFi模块可以使相机通过WiFi与云端建立TC
5.根据权利要求1所述的基于WiFi通信的智能跟踪相机系统，其特征在于，所述补光灯模组能够通过WiFi相机IO电平来控制补光灯模组开关，实现暗视野的亮度增强。
6.根据权利要求1所述的基于WiFi通信的智能跟踪相机系统，其特征在于，相机电源及开关系统能够选择通过直流电源或电池来为相机进行供电，云端通过SAMR30来与相机端SAMR30进行无线信息传输来控制电源开关，实现远程无线控制相机启动。
7.根据权利要求1-6任一项所述的基于WiFi通信的智能跟踪相机系统，其特征在于，云端软件模块包括图采与遥测显示软件、指令控制软件，其用于接收并保存数据流，建立WiFi网络AP端，并对WiFi进行相应配置；控制相机加断电操作。
8.根据权利要求7所述的基于WiFi通信的智能跟踪相机系统，其特征在于，图采与遥测显示软件用于将WiFi相机发送过来的视频流进行校验拆包去掉帧头帧尾并重新组帧，并显示在软件界面，同时解析收到遥测数据并显示在视频界面旁边。
9.根据权利要求8所述的基于WiFi通信的智能跟踪相机系统，其特征在于，指令控制软件通过修改软件界面参数并发送指令控制相机成像模式、补光灯开关、转台角度等。
10.根据权利要求9所述的基于WiFi通信的智能跟踪相机系统，其特征在于，转台控制装置系统能够与WiFi相机主控芯片进行实时遥测信息传递与WiFi相机指令控制，并可在相机实时追踪目标时进行转动时，通过转台系统的遥测信息返回来确定转台位置是否正确，并进行位置调整。
...【技术特征摘要】
1.一种基于wifi通信的智能跟踪相机系统，其特征在于，包括：wifi相机、视觉识别部署、相机电源及开关系统、云端软件模块、转台控制装置系统；所述wifi通信的智能跟踪相机系统包括两个不同视场成像传感器、主控海思芯片、wifi模块、补光灯模组，用于获取动静态视频流传输到云端，并对云端的控制指令进行响应。
2.根据权利要求1所述的基于wifi通信的智能跟踪相机系统，其特征在于，所述两个不同视场成像传感器能够获取远近不同视场的视频数据，使目标在视场内大小适中，有利于算法识别和目标显示。
3.根据权利要求1所述的基于wifi通信的智能跟踪相机系统，其特征在于，其中主控海思芯片能够将采集到的图像数据设置图像参数与帧率、曝光时间参数，将图像数据进行视频压缩编码，添加帧头帧尾校验等进行封包处理，并通过tcp进行数据发送；可提供深度学习部署的硬件支持，也用于接收云端模块发送的指令并进行处理；可用于与转台通过串口进行指令与遥测信息交互。
4.根据权利要求1所述的基于wifi通信的智能跟踪相机系统，其特征在于，其中wifi模块可以使相机通过wifi与云端建立tcp连接，并可以在一定范围内进行快速无线数据传输。
5.根据权利要求1所述的基于wifi通信的智能跟踪相机系统，其特征在于，所述补光灯模组能够通过wifi相机io电平来控制补光灯模组开关，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。