基于深度学习的目标清点方法、装置和设备制造方法及图纸

本发明专利技术提供一种基于深度学习的目标清点方法、装置和设备，可对具有固定形状的目标物进行数量清点。所述目标清点方法包括：获取包含目标物的图像作为样本图像并进行预处理；根据预处理后的所述样本图像对预设的目标检测模型进行训练和测试；基于训练和测试后的所述目标检测模型，将获取的待清点的第一图像进行目标检测，获取检测结果，并将所述检测结果转换为被检出物的数量信息。本发明专利技术可以解决现有的目标清点方法普适性不高，灵活性较差，对于目标物的采集条件和目标物的类别限制较多等问题，具有较好适用性和灵活性。

Object counting method, device and equipment based on deep learning

【技术实现步骤摘要】
基于深度学习的目标清点方法、装置和设备
本专利技术涉及计算机视觉领域，尤其涉及一种目标清点方法和装置。
技术介绍
目前成堆物体的清点工作一般采用人工计数的方式，这种传统的工作方式相对繁琐，并且需要消耗很多人力资源，极大的限制了生产效率，然而目前在物体清点问题上却暂时并无高效的解决方法将人工清点取而代之。目前
中，针对清点问题的解决方法主要分有接触式与无接触式两种。有接触式清点办法中，大多使用外部仪器辅助进行称重、检测等工作以达到清点目的，如专利技术专利《一种药品清点计数装置及其方法》提出采用仪器称重方法进行记数，但对于体积过大和/或重量过大的物体，则难以设计可以同时保证低误差与高可操作性两点需求称量仪器；如专利技术专利《一种基于RFID技术的货物清点扫描拍》提出采用RFID技术进行记数，但对于堆放零落的物体，无法保证RFID相关设备不受损坏，亦无法高效地安装与回收相关装置，故也并不能根本上解决问题。无接触式清点办法主要依托于计算机视觉技术，如专利技术专利《一种基于实例分割算法的栏内哺乳动物清点方法》采用实例分割算法对采集的栏内哺乳动物情况对图像进行检测，以达到记数的目的，但对于横截面积较小，且堆放情况复杂，重叠、遮挡和形变现象较多的物体，难以取得类似栏中哺乳动物的被检物大体积、分散的图像，则清点效果不佳；又如专利技术专利《一种基于人脸识别的用户行为信息统计方法》提出对摄像头采集到的人脸图像进行识别以统计数目的方法，但该方法对于图像采集时的光照条件和拍摄角度要求较高，不适用于光照条件随机不稳定，或图像采集角度不固定等情况。因此，目前现有的目标清点方法仍然存在普适性不高，灵活性较差等问题，对清点时的采集条件或目标物的类别要求较高，且由于受采集条件的限制，难以对目标物进行动态实时的数量清点。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于深度学习的目标清点方法、装置和设备，可以解决现有的目标清点方法普适性不高，灵活性较差，对于目标物的采集条件和目标物的类别限制较多等问题。为实现上述目的及其他相关目的，本专利技术提供一种基于深度学习的目标清点方法，其特征在于，适用于对具有固定形状的目标物进行数量清点，所述目标清点方法包括：获取包含目标物的图像作为样本图像，进行预处理；根据预处理后的所述样本图像对预设的目标检测模型进行训练和测试；获取待清点的第一图像；基于训练和测试后的所述目标检测模型，对所述第一图像进行目标检测，获取检测结果，并将所述检测结果转换为被检出物的数量信息。于本专利技术一实施例中，所述预处理包括：将获取的所述样本图像按照训练集、测试集和验证集的类别进行划分；对所述样本图形中的目标物进行标注，获取所述样本图像中目标物的训练信息，包括位置信息和形状信息。于本专利技术一实施例中，所述预设的目标检测模型包括单阶段式目标检测模型。于本专利技术一实施例中，利用所述训练信息对所述单阶段式目标检测模型中的默认框的尺寸特征进行调整，基于调整后的默认框进行模型训练和测试。于本专利技术一实施例中，对所述默认框的调整方式包括基于所述训练信息中的形状信息，结合所述默认框的通用值采用聚类分析方法获取新的默认框尺寸特征。于本专利技术一实施例中，所述默认框的调整方式还包括对通过聚类分析方法获得的新的默认框尺寸特征进行实验室微调。于本专利技术一实施例中，所述目标清点方法还包括：当获取的所述第一图像为一组具有时间序列的连续图像时，基于训练和测试后的所述目标检测模型，将获取的所述第一图像进行连续的目标检测，获取检测结果，将所述检测结果转换为反映数量信息的单调数组，取所述单调数组的中位数作为所述第一图像中所述被检出物的数量信息。本专利技术提供一种基于深度学习的目标清点装置，用于对具有固定形状的目标物进行数量清点，所述目标清点装置包括：读取模块、预处理模块，模型训练模块和检测模块。所述读取模块用于获取包含目标物的图像作为所述模型训练模块的样本图像，以及获取待清点的第一图像；所述预处理模块用于对所述读取模块获得的所述样本图像进行预处理，包括样本分类子模块和训练信息获取子模块；所述样本分类子模块用于将所述样本图像按照训练集、测试集和验证集三种类别进行划分；所述训练信息获取子模块用于获取所述样本图像中的每个图像的训练信息；所述模型训练模块为根据所述预处理模块获取的分类后的所述样本图像以及所述训练信息，对预设的目标检测模型进行训练和测试，从而获得训练和测试后的与目标物适配的所述目标检测模型；所述检测模块，用于将所述读取模块获取的所述第一图像导入所述模型训练模块获取的所述目标检测模型中，通过目标检测后获取目标检测结果，并将所述目标检测结果转换为被检出物的数量信息。于本专利技术一实施例中，所述模型训练模块中所述预设的目标检测模型包括单阶段式目标检测模型。于本专利技术一实施例中，所述模型训练模块对所述预设的所述单阶段式目标检测模型的训练和测试过程包括利用所述训练信息对所述单阶段式目标检测模型中的默认框的尺寸特征采用聚类分析方法进行调整，基于调整后的默认框进行模型训练和测试。于本专利技术一实施例中，所述目标清点装置还包括显示模块，用于读取所述检测模块中的所述目标检测结果，将所述检测结果通过文字和/或图像信息显示。本专利技术提供一种电子设备，包括：处理器、通信接口、存储器以及通信总线；所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；所述存储器用于存放至少一指令；所述指令使所述处理器执行如权利要求1-8中任一项所述的一种基于深度学习的目标清点方法。如上所述，本专利技术所述的一种基于深度学习的目标清点方法、装置和设备，具有以下有益效果：本专利技术在设计目标检测模型结构时采用单阶段目标检测方法，可以保证模型运行在处理性能较低的移动设备上时也能实时输出检测结果，在进行目标物数量清点时具有较好的时效性；且基于预先采集的样本图像中目标物的训练信息，对所述预设的目标检测模型中的默认框的尺寸特征进行调整，从而使所述目标检测模型更好地适配目标物，在提升检测精度的同时也提升了本方法的适用性和灵活性；只需更换对应样本数据集并对模型进行重新训练，即可完成其他种类物件检测而不再需要其他适配过程，简单方便，易于使用。此外，基于本专利技术还可以实现对目标物实时动态的数量清点，实用性强。附图说明图1显示为本专利技术一种基于深度学习的目标清点方法于一实施例的适用场景图图2显示为本专利技术一种基于深度学习的目标清点方法于一实施例的流程示意图图3显示为本专利技术一种基于深度学习的目标清点方法中所述预处理过程于一实施例的流程示意图图4显示为本专利技术一种基于深度学习的目标清点方法中所述默认框调整方法于一实施例的流程示意图图5显示为本专利技术一种基于深度学习的目标清点方法中所述默认框调整方法于另一实施例的流程示意图图6显示为本专利技术一种基于深度学习的目标清点装置于一实施例的功能结构示意图图7显示为本专利技术一种基于深度学习的目标清点装置于另一实施例的功能结构示意图元件本文档来自技高网...

【技术保护点】
1.一种基于深度学习的目标清点方法，其特征在于，适用于对具有固定形状的目标物进行数量清点，所述目标清点方法包括：/n获取包含目标物的图像作为样本图像，进行预处理；/n根据预处理后的所述样本图像对预设的目标检测模型进行训练和测试；/n获取待清点的第一图像；/n基于训练和测试后的所述目标检测模型，对所述第一图像进行目标检测，获取检测结果，并将所述检测结果转换为被检出物的数量信息。/n

【技术特征摘要】
1.一种基于深度学习的目标清点方法，其特征在于，适用于对具有固定形状的目标物进行数量清点，所述目标清点方法包括：
获取包含目标物的图像作为样本图像，进行预处理；
根据预处理后的所述样本图像对预设的目标检测模型进行训练和测试；
获取待清点的第一图像；
基于训练和测试后的所述目标检测模型，对所述第一图像进行目标检测，获取检测结果，并将所述检测结果转换为被检出物的数量信息。


2.根据权利要求1所述的一种基于深度学习的目标清点方法，其特征在于，所述预处理包括：
将获取的所述样本图像按照训练集、测试集和验证集的类别进行划分；
对所述样本图形中的目标物进行标注，获取所述样本图像中目标物的训练信息，包括位置信息和形状信息。


3.根据权利要求2所述的一种基于深度学习的目标清点方法，其特征在于：所述预设的目标检测模型包括单阶段式目标检测模型。


4.根据权利要求3所述的一种基于深度学习的目标清点方法，其特征在于：利用所述训练信息对所述单阶段式目标检测模型中的默认框的尺寸特征进行调整，基于调整后的默认框进行模型训练和测试。


5.根据权利要求4所述的一种基于深度学习的目标清点方法，其特征在于：对所述默认框的调整方式包括基于所述训练信息中的形状信息，结合所述默认框的通用值采用聚类分析方法获取新的默认框尺寸特征。


6.根据权利要求5所述的一种基于深度学习的目标清点方法，其特征在于：所述默认框的调整方式还包括对通过聚类分析方法获得的所述新的默认框尺寸特征进行实验室微调。


7.根据权利要求1-6中任一项所述的一种基于深度学习的目标清点方法，其特征在于，所述目标清点方法还包括：当获取的所述第一图像为一组具有时间序列的连续图像时，基于训练和测试后的所述目标检测模型，将获取的所述第一图像进行连续的目标检测，获取检测结果，将所述检测结果转换为反映数量信息的单调数组，取所述单调数组的中位数作为所述第一图像中所述被检出物的数量信息。


8.一种...

【专利技术属性】
技术研发人员：康琦，陈劲树，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31