基于深度学习的座位检测与识别系统技术方案

本发明专利技术公开了一种基于深度学习的座位检测与识别系统，包括：图像采集传输模块，用于将摄像头采集到的图像信息传输给服务器，服务器对摄像头采集到的座位的实时视频图像后，截取其中的部分图像帧，经过抗畸变处理之后作为图像特征传递给座位检测模块；座位检测模块，采用预训练的深度学习检测模型对图像特征进行检测并分割出每个座位；座位识别模块，采用预训练的ResNet101网络实时识别每个分割出来的座位的当前状态；用户界面模块，用于可视化地展示当前场景内的座位情况，通过可视化的楼层与区域显示，将接收到的座位识别模块传入的座位信息实时传递给用户。本发明专利技术可解决目前图书馆占座现象导致的座位流通差等问题。馆占座现象导致的座位流通差等问题。馆占座现象导致的座位流通差等问题。

【技术实现步骤摘要】
基于深度学习的座位检测与识别系统


[0001]本专利技术涉及图像识别的
，尤其是指一种基于深度学习的座位检测与识别系统。

技术介绍

[0002]图像识别技术是以图像的主要特征为基础的识别技术。每个图像都有它的特征，对图像识别时眼动的研究表明，视线总是集中在图像的主要特征上，也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方，这些地方的信息量最大。而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上。由此可见，在图像识别过程中，知觉机制必须排除输入的多余信息,抽出关键的信息。同时,在大脑里必定有一个负责整合信息的机制，它能把分阶段获得的信息整理成一个完整的知觉映象。
[0003]在人类图像识别系统中，对复杂图像的识别往往要通过不同层次的信息加工才能实现。对于熟悉的图形,由于掌握了它的主要特征，就会把它当作一个单元来识别，而不再注意它的细节了。这种由孤立的单元材料组成的整体单位叫做组块，每一个组块是同时被感知的。在文字材料的识别中，人们不仅可以把一个汉字的笔划或偏旁等单元组成一个组块，而且能把经常在一起出现的字或词组成组块单位来加以识别。
[0004]图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。文字识别的研究是从1950年开始的，一般是识别字母、数字和符号，从印刷文字识别到手写文字识别，应用非常广泛。
[0005]数字图像处理和识别的研究很早，至今也有近50年历史。数字图像与模拟图像相比具有存储，传输方便可压缩、传输过程中不易失真、处理方便等巨大优势，这些都为图像识别技术的发展提供了强大的动力。
[0006]物体的识别主要指的是对三维世界的客体及环境的感知和认识，属于高级的计算机视觉范畴。它是以数字图像处理与识别为基础的结合人工智能、系统学等学科的研究方向，其研究成果被广泛应用在各种工业及探测机器人上。现代图像识别技术的一个不足就是自适应性能差，一旦目标图像被较强的噪声污染或是目标图像有较大残缺往往就得不出理想的结果。
[0007]图像识别问题的数学本质属于模式空间到类别空间的映射问题。目前，在图像识别的发展中，主要有三种识别方法：统计模式识别、结构模式识别、模糊模式识别。图像分割是图像处理中的一项关键技术，自20世纪70年代，其研究已经有几十年的历史，一直都受到人们的高度重视，至今借助于各种理论提出了数以千计的分割算法，而且这方面的研究仍然在积极地进行着。
[0008]由于时代的发展以及人们对于自身的要求逐渐提高，加之竞争越来越激烈，内卷现象越来越严重，导致同学们对于专注学习的热情逐步提升，对提供专注的学习环境的呼声越来越高。加之同学们在追求自身提升与发展的过程中，对于考公考研的热情逐渐提高，导致考公考研数量激增，这也带来自习需求增加。数量的增加加之竞争的激烈导致图书馆
的座位常常供不应求，许多同学因为种种原因不能整日待在图书馆，又为了防止自己本来学习的座位被别人占据，导致占座行为频发，大规模图书馆占座现象严重。
[0009]在自习需求激增，自习热情高涨的情况下，自习产业正在悄然出现，一些APP帮助同学限制手机使用频率提高自习效率，一些商家开办付费自习室提供良好环境等等。这些无一不说明学校图书馆没有办法满足许多同学的自习需求，现有的图书馆自习管理系统也不完善不健全，因此开发一款图书馆座位监管系统以提高座位利用率，促进座位流通势在必行。
[0010]图书馆占座现象严重，导致座位利用率不高，许多真正想学习的人因为他人占座而要找很久位置，耽误时间；一些没有在自习的同学长时间霸占座位，不利于座位流通的同时大大降低每个座位带给同学的自习收益。
[0011]图书馆场景大，楼层多且结构复杂，管理员监控难以顾及这么大的范围。学校的图书馆监管系统并没有对占座行为进行明确限制规定，仅靠标语等软措施很难真正将占座问题解决，也很难给占座同学以警示。新来的学生找位置困难，明明有大片空座位，却因为占座而没法自习，时间成本增加，自习同学心情变差。
[0012]数据显示，只有少部分同学经常使用座位管理系统，超过9成的同学偶尔使用或不使用，系统使用率低；大部分同学对于座位管理系统的评价是满意的,并且认为该系统有助于学校图书馆座位管理。并且高校座位系统在功能配备上较完备,但仍可以进一步改善提升。近三成同学认为无需使用座位管理系统；对于有需求的同学来说，如果推行座位管理系统，他们愿意使用，同时也希望该系统在功能上更加完整。

技术实现思路

[0013]本专利技术的目的在于克服现有技术的不足与缺点，提出了一种基于深度学习的座位检测与识别系统，解决目前图书馆占座现象导致的座位流通差等问题。
[0014]为实现上述目的，本专利技术所提供的技术方案为：基于深度学习的座位检测与识别系统，包括：
[0015]图像采集传输模块，用于将摄像头采集到的图像信息传输给服务器，服务器对摄像头采集到的座位的实时视频图像后，截取其中的部分图像帧，经过抗畸变处理之后作为图像特征传递给座位检测模块；
[0016]座位检测模块，采用预训练的深度学习检测模型对图像特征进行检测并分割出每个座位；其中，所述深度学习检测模型集成了Cascade
‑
RCNN、FPN和ResNeSt网络；
[0017]座位识别模块，采用预训练的ResNet101网络实时识别每个分割出来的座位的当前状态；
[0018]用户界面模块，用于可视化地展示当前场景内的座位情况，通过可视化的楼层与区域显示，将接收到的座位识别模块传入的座位信息实时传递给用户。
[0019]进一步，所述图像采集传输模块通过OV2640广角镜头，以60帧率采集图像数据并通过串口向WIFI模块传送，所述WIFI模块接入ONENET协议完成网络配置，设置协议模式实现对视频数据的保护工作，局域网内工作传输时，作为TCP client向服务器进程TCP server发送视频流，最后在服务器端根据广角镜头提前测定的畸变参数，采用矩阵变换的方法对畸变进行矫正。
[0020]进一步，所述座位检测模块采用了集成Cascade
‑
RCNN、FPN、ResNeSt网络的深度学习检测模型，其中，Cascade
‑
RCNN网络使用ResNeSt作为多通道注意力的骨架网络处理输入图像，ResNeSt网络是基于注意力的ResNet最新改进模型，ResNeSt网络在SK
‑
Net的通道间注意力的基础上进行改进，增设了多个Cardinal组即基数组，进行组内的通道注意力融合后，又将全局不同基数组的特征进行拼接，大幅增加了下层的特征丰富性，Cascade
‑
RCNN网络输出特征后，再使用多个不同IoU值的检测框detector进行级联，逐步对低IoU值的框进行优化，每个detector的RPN检测框模块都使用FPN特征金字塔结构，对输入特征进行多尺度处理，增强不同尺度的检测能力。
[0021]进一步，所述座位识别模块采用ResNet101本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的座位检测与识别系统，其特征在于，包括：图像采集传输模块，用于将摄像头采集到的图像信息传输给服务器，服务器对摄像头采集到的座位的实时视频图像后，截取其中的部分图像帧，经过抗畸变处理之后作为图像特征传递给座位检测模块；座位检测模块，采用预训练的深度学习检测模型对图像特征进行检测并分割出每个座位；其中，所述深度学习检测模型集成了Cascade
‑
RCNN、FPN和ResNeSt网络；座位识别模块，采用预训练的ResNet101网络实时识别每个分割出来的座位的当前状态；用户界面模块，用于可视化地展示当前场景内的座位情况，通过可视化的楼层与区域显示，将接收到的座位识别模块传入的座位信息实时传递给用户。2.根据权利要求1所述的基于深度学习的座位检测与识别系统，其特征在于：所述图像采集传输模块通过OV2640广角镜头，以60帧率采集图像数据并通过串口向WIFI模块传送，所述WIFI模块接入ONENET协议完成网络配置，设置协议模式实现对视频数据的保护工作，局域网内工作传输时，作为TCP client向服务器进程TCP server发送视频流，最后在服务器端根据广角镜头提前测定的畸变参数，采用矩阵变换的方法对畸变进行矫正。3.根据权利要求1所述的基于深度学习的座位检测与识别系统，其特征在于：所述座位检测模块采用了集成Cascade
‑
RCNN、FPN、ResNeSt网络的深度学习检测模型，其中，Cascade
‑
RCNN网络使用ResNeSt作为多通道注意力的骨架网络处理输入图像，ResNeSt网络是基于注意力的ResNet最新改进模型，ResNeSt网络在SK
...

【专利技术属性】
技术研发人员：李磊，廖文辉，殷卓文，李腾，葛龙飞，陈钦阳，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：