基于目标检测的移动设备端签状物根数计数方法及系统技术方案

本发明专利技术实施例公开了基于目标检测的移动设备端签状物根数计数方法及系统，所述签状物根数计数系统包括：移动设备摄相设备、采集图像所得照片传入模块、目标检测识别模块、签状物的根数计算模块及计数结果输出模块。本发明专利技术实施例基于人工智能中的目标检测算法，利用一些深度神经网络结构对图片进行特征提取，并完成对于每根签状物的自动标注，利用大量训练数据将测试准确率提升至98％以上，减少了手工计数的人力耗散，提升串串香火锅店对竹签计数效率和准确率。

【技术实现步骤摘要】
基于目标检测的移动设备端签状物根数计数方法及系统
本专利技术涉及智能餐饮
，具体涉及基于目标检测的移动设备端签状物根数计数方法及系统。
技术介绍
目前，市场上大部分串串香火锅店在进行串串香计数方法上大部分采用人工计数方法，耗时耗力；少部分串串香店在计数时采用称重方式进行计数，该方法计数准确度较低，难以取信食客。上述两种方法均存在明显缺陷，除了这两种方法以外并没有其他智能化实现计数的方法可以完成该任务。
技术实现思路
本专利技术实施例的目的在于提供基于目标检测的移动设备端签状物根数计数方法及系统，用以解决目前签状物根数计数缺少智能化而耗时耗力或计数准确度低的问题。为实现上述目的，本专利技术实施例提供了基于目标检测的移动设备端签状物根数计数方法，所述签状物根数计数方法包括：握住需要计数的签状物，使得签状物一端面尽量平整，并将该端面朝上；利用移动设备摄相设备，打开闪光灯对手中所握签状物端面拍照进行图像采集；将采集图像所得照片传入目标检测算法神经网络对签状物进行目标检测识别；根据目标检测识别结果计算识别的签状物的根数；及输出并显示签状物的总根数和带框标注的签状物图片。进一步地，利用所述移动设备摄相设备采集图像时，在摄像界面加入一个位于中心的圆框，用于辅助拍照时将所有签状物置于摄像视野中心；采集图像后，进行裁剪，只保留圆框的外切正方形区域，裁剪对图像进行缩放，使得图像边长最大为1000像素值。进一步地，所述目标检测算法神经网络对签状物进行目标检测识别的方法包括：输入采集图像照片至第一目标检测算法神经网络；经过特征提取网络提取图像特征形成签状物特征图；根据签状物特征图生成多个签状物的矩形候选框；对生成的候选框进行一次分类并得出目标分类概率得分；对一次分类后的候选框进行一次位置修正；将生成的候选框映射到签状物特征图上并从签状物特征图中得到候选框的特征；根据候选框的特征对候选框进行二次分类并得出目标分类概率得分；对候选框进行二次位置修正；及输出经二次位置修正后二次分类目标分类概率得分超过预定阈值的候选框或取经二次位置修正后按二次分类目标分类概率得分从高至低排序的前N个候选框输出。进一步地，所述一次分类和所述二次分类的方法包括：对生成的候选框进行前景和背景分类，预测生成的候选框属于目标前景和背景的概率；及根据预测的候选框属于前景分类的概率得出目标分类概率得分；其中，所述一次分类后判断前景分类是否为一类；当一次分类后前景分类判断为一类时，目标前景分类的检测识别不受目标前景之外前景分类的干扰，则根据预测的候选框属于前景分类的概率得出一次分类目标分类概率得分。进一步地，所述一次分类和所述二次分类后均对生成的候选框进行非极大抑制去除高重叠度的候选框。进一步地，所述多个签状物的矩形候选框的生成方法包括：在图像中按照不同长宽比和不同面积大小生成多个的矩形候选框，其包括：经过一个3×3的卷积层使得签状物特征图上像素点感知范围扩展为以原图上stride＝(M,M)的像素点为中心的一大片区域；针对签状物特征图中的每个像素以一个预定面积为基础，生成多种不同长宽比的矩形候选框；及将预定面积依次扩大成多个不同大小的面积再分别生成多种不同长宽比的矩形候选框。进一步地，所述一次位置修正和所述二次位置修正的方法包括：利用像素点的特征来预测该像素点生成的多个候选框的精确位置，所述像素点的特征是像素点的N_CHANNEL的值，其中，所述利用像素点的特征来预测该像素点生成的多个候选框的精确位置的方法包括：利用BoundingBoxRegression方法通过一层全连接层来回归dx、dy、dw、dh四个值，然后利用dx、dy、dw、dh四个值来对候选框的位置进行修正，其中，dx和dy为边框中心点坐标修正值，dw边框宽度修正值，dh边框高度修正值。进一步地，当所述一次分类后前景分类判断为至少两类时，目标前景分类的检测识别受到目标前景之外前景分类的干扰，则所述目标检测算法神经网络对签状物进行目标检测识别的方法包括：输入采集图像照片至第二目标检测算法神经网络；经过特征提取网络提取图像特征形成签状物特征图；将签状物特征图池化成128×128、64×64或32×32的网格；在网格中每个像素点多尺度生成多个签状物的矩形候选框；通过一个3×3的卷积层直接预测出候选框的各类前景分类及背景分类概率得分和位置修正值；及输出经位置修正后目标前景分类概率得分超过预定阈值的候选框或取经二次位置修正后按目标前景分类概率得分从高至低排序的前N个候选框输出。本专利技术实施例还提供了基于目标检测的移动设备端签状物根数计数系统，所述签状物根数计数系统包括：移动设备摄相设备，用于打开闪光灯对手中所握签状物端面拍照进行图像采集；采集图像所得照片传入模块，用于将采集图像所得照片传入目标检测识别模块；目标检测识别模块，用于利用目标检测算法神经网络对签状物进行目标检测识别；签状物的根数计算模块，用于根据目标检测识别结果计算识别的签状物的根数；及计数结果输出模块，用于输出并显示签状物的总根数和带框标注的签状物图片。进一步地，所述目标检测识别模块包括：第一目标检测识别模块，用于通过第一目标检测算法神经网络对签状物进行目标检测识别；前景分类数量判断模块，用于判断所述第一目标检测识别模块一次分类结果中前景分类是否为一类；及第二目标检测识别模块，用于通过第二目标检测算法神经网络对签状物进行目标检测识别；其中，所述前景分类数量判断模块判断所述第一目标检测识别模块一次分类结果中前景分类为一类时，目标前景分类的检测识别不受目标前景之外前景分类的干扰，则继续利用所述第一目标检测识别模块根据预测的候选框属于前景分类的概率得出一次分类目标分类概率得分并得出目标检测识别结果；及所述前景分类数量判断模块判断所述第一目标检测识别模块一次分类结果中前景分类至少两类时，目标前景分类的检测识别受到目标前景之外前景分类的干扰，则通过所述采集图像所得照片传入模块将所述采集图像所得照片传入所述第二目标检测算法神经网络对签状物进行目标检测识别。本专利技术实施例具有如下优点：本专利技术实施例基于人工智能中的目标检测算法，利用一些深度神经网络结构对图片进行特征提取，并完成对于每根签状物的自动标注，利用大量训练数据将测试准确率提升至98％以上，减少了手工计数的人力耗散，提升串串香火锅店对竹签计数效率和准确率。附图说明图1为本专利技术实施例公开的基于目标检测的移动设备端签状物根数计数方法的流程图。图2为本专利技术实施例公开的目标检测算法神经网络对签状物进行目标检测识别的方法的第一实施例的流程图。图3为本专利技术实施例公开的目标检测算法神经网络对签状物进行目标检测识别的方法的第二实施例的流程图。图4为本专利技术实施例公开的基于目标检测的移动设备端签状物根数计数系统的逻辑结构图。具体实施方式以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。实施例1参考图1，本实施例公开的基于目标检测的移动设备端签状物根数计数方法包括：握住需要计数的签状物，使得签状物一端面尽量平整，并将该端面朝上；利用移动设备摄相设备，对手中所握签状物端面拍照进行图像采集；将采集图像所得照片传入目标检测算法神经网络对签状物进行目标检测识别；根据目标检测识别结果计算识别的签状物的根数；及输出并显示签状物的总根数本文档来自技高网...

【技术保护点】
1.基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述签状物根数计数方法包括：握住需要计数的签状物，使得签状物一端面尽量平整，并将该端面朝上；利用移动设备摄相设备，打开闪光灯对手中所握签状物端面拍照进行图像采集；将采集图像所得照片传入目标检测算法神经网络对签状物进行目标检测识别；根据目标检测识别结果计算识别的签状物的根数；及输出并显示签状物的总根数和带框标注的签状物图片。

【技术特征摘要】
1.基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述签状物根数计数方法包括：握住需要计数的签状物，使得签状物一端面尽量平整，并将该端面朝上；利用移动设备摄相设备，打开闪光灯对手中所握签状物端面拍照进行图像采集；将采集图像所得照片传入目标检测算法神经网络对签状物进行目标检测识别；根据目标检测识别结果计算识别的签状物的根数；及输出并显示签状物的总根数和带框标注的签状物图片。2.根据权利要求1所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，利用所述移动设备摄相设备采集图像时，在摄像界面加入一个位于中心的圆框，用于辅助拍照时将所有签状物置于摄像视野中心；采集图像后，进行裁剪，只保留圆框的外切正方形区域，裁剪对图像进行缩放，使得图像边长最大为1000像素值。3.根据权利要求1所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述目标检测算法神经网络对签状物进行目标检测识别的方法包括：输入采集图像照片至第一目标检测算法神经网络；经过特征提取网络提取图像特征形成签状物特征图；根据签状物特征图生成多个签状物的矩形候选框；对生成的候选框进行一次分类并得出目标分类概率得分；对一次分类后的候选框进行一次位置修正；将生成的候选框映射到签状物特征图上并从签状物特征图中得到候选框的特征；根据候选框的特征对候选框进行二次分类并得出目标分类概率得分；对候选框进行二次位置修正；及输出经二次位置修正后二次分类目标分类概率得分超过预定阈值的候选框或取经二次位置修正后按二次分类目标分类概率得分从高至低排序的前N个候选框输出。4.根据权利要求3所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述一次分类和所述二次分类的方法包括：对生成的候选框进行前景和背景分类，预测生成的候选框属于目标前景和背景的概率；及根据预测的候选框属于前景分类的概率得出目标分类概率得分；其中，所述一次分类后判断前景分类是否为一类；当一次分类后前景分类判断为一类时，目标前景分类的检测识别不受目标前景之外前景分类的干扰，则根据预测的候选框属于前景分类的概率得出一次分类目标分类概率得分。5.根据权利要求4所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述一次分类和所述二次分类后均对生成的候选框进行非极大抑制去除高重叠度的候选框。6.根据权利要求3所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述多个签状物的矩形候选框的生成方法包括：在图像中按照不同长宽比和不同面积大小生成多个的矩形候选框，其包括：经过一个3×3的卷积层使得签状物特征图上像素点感知范围扩展为以原图上stride＝(M,M)的像素点为中心的一大片区域；针对签状物特征图中的每个像素以一个预定面积为基础，生成多种不同长宽比的矩形候选框；及将预定面积依次扩大成多个不同大小的面积再分别生成多种不同长宽比的矩形候选框。7.根据权利要求3所述的基于目标检测的移动设备端签状物根数...

【专利技术属性】
技术研发人员：高龑，方宏坚，
申请(专利权)人：高龑，方宏坚，
类型：发明
国别省市：北京,11