派件货框超载识别方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，公开了一种派件货框超载识别方法、装置、计算机设备和存储介质。该方法通过利用在PyTorch框架中搭建的NanoDet网络，在优化网络结构后转换模型格式部署到移动端设备上，通过移动端设备采集派件货框装载好包裹的图像，对图像进行识别，输出超载识别结果呈现在移动端设备上，对货框未超载的派件任务进行放行，整个过程利用移动端设备拍照取图，监测电瓶车派件货框装载的实时情况，对超载现象进行及时警告和制止，进一步保障人员安全和快件安全，能减少人工监管的工作，提高快递企业的监管效率。提高快递企业的监管效率。提高快递企业的监管效率。

【技术实现步骤摘要】
派件货框超载识别方法、装置、计算机设备和存储介质


[0001]本专利技术涉及人工智能
，尤其涉及计算机视觉和深度学习领域的派件货框超载识别方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着互联网技术的发展和各大电商平台的兴起，越来越多的消费者选择网购，网购使用率逐年上升，网络购物已经成为人们日常生活的一部分，网购的继续渗透，人们对快递的需求也越来越大。在物流的末端配送中，由于道路管理等限制因素，有些地区不能使用货车、三轮小车配送包裹，快递员需要使用两轮电瓶车进行配送。快递员在骑两轮电瓶车送快递时，包裹装在电瓶车后面的货框里，如果包裹堆放的过高，在超过一定的装载率之后，行驶途中容易掉落，影响行车安全，容易发生交通事故。
[0003]目前快递末端配送网点，均采用管理人员日常监管的方式，对电瓶车货框载货进行管理，快递总部指定安检员通过网点的摄像头进行货框载货情况抽查。但该监管方式人力成本要求较高，存在漏检误检情况，不能在车辆上路行驶之前及时制止超载行为的发生。

技术实现思路

[0004]有鉴于此，有必要针对现有人工监管派送电瓶车货框超载存在漏检误检的技术问题，提供一种派件货框超载识别方法方法、装置、计算机设备和存储介质。
[0005]一种派件货框超载识别方法，包括：获取派件出发前装载好包裹的货框图片，对所述货框图片进行预处理，制作成样本图片数据集，并将所述样本图片数据集划分为训练集和测试集；基于PyTorch框架构建NanoDet网络，配置主干网络backbone、特征提取neck模块和检测头Head；对所述NanoDet网络进行优化，将图片的输入尺寸从320x320修改为640x640，去掉padding步骤，得到优化后的NanoDet网络；将所述训练集和测试集输入到所述优化后的NanoDet网络中进行模型训练，得到派件货框超载识别模型，使用ONNX将PyTorch框架中定义的模型转换为ONNX格式，将其加载到Caffe2中，并将其部署在移动端；通过移动端设备采集装载完成的派件货框图片，并加载部署在移动端设备上的派件货框超载识别模型进行识别，得到超载识别结果呈现在移动端设备上，对派件行为进行放行。
[0006]在其中一个实施例中，所述获取派件出发前装载好包裹的货框图片，对所述货框图片进行预处理，制作成样本图片数据集，并将所述样本图片数据集划分为训练集和测试集，包括：获取快递营业部、驿站快递员派件之前完成包裹装载的货框图片；将所述货框图片中心像素点设置为坐标系原点，往沿坐标轴的方向外裁剪，裁剪后的图片四个顶点像素坐标为(320，320)、(
‑
320，320)、(
‑
320，
‑
320)、(320，
‑
320)，得到640x640尺寸的预处理图片；使用LabelImg对所述预处理图片进行图像标注，标注为空载、正常载货和超载三种状态，标注完成后将图片存储至对应的目录下，制作成样本图片数据集；将样本图片数据集按照7:3的比例划分为训练集和测试集。
[0007]在其中一个实施例中，所述基于PyTorch框架构建NanoDet网络，配置主干网络
backbone、特征提取neck模块和检测头Head,包括：配置主干网络backbone采用ShuffleNetV2 1.0x，并删除最后卷积层，抽取8、16和32倍下采样特征作为下层输入；配置特征提取neck模块由优化后的极小PAN构成，只包含自上而下和自下而上两条通路；配置检测头head选取FOOS系列检测头并进行优化，放弃共享权重，使用不同卷积组完成各层特征提取。
[0008]在其中一个实施例中，所述对所述NanoDet网络进行优化，将图片的输入尺寸从320x320修改为640x640，去掉padding步骤，得到优化后的NanoDet网络，包括：将所述NanoDet网络的输入图片尺寸参数设置从320x320修改为640x640，经过forward前向计算后会得到80x80，40x40，20x20三种尺度的特征图；取消padding步骤，使用5*5卷积核代替3*3卷积核，使得变大输入图像大小，获取更多信息；优化完成得到优化后的NanoDet网络。
[0009]在其中一个实施例中，所述将所述训练集和测试集输入到所述优化后的NanoDet网络中进行模型训练，得到派件货框超载识别模型，使用ONNX将PyTorch框架中定义的模型转换为ONNX格式，将其加载到Caffe2中，并将其部署在移动端，包括：利用所述训练集的图像对所述优化后的NanoDet网络进行训练，将所述测试集输入到训练后的NanoDet网络中，输出所述测试集的识别结果，得到派件货框超载识别模型；调用torch.onnx.export()函数从PyTorch中导出所述派件货框超载识别模型，并转换为ONNX格式；使用Caffe2的mobile_exporter生成可在移动设备上运行的两个模型protobufs，init_net用于使用正确的权重初始化网络，predict_net实际运行执行模型，在Caffe2中运行并输出，最终将所述导出的派件货框超载识别模型部署在移动端上执行。
[0010]在其中一个实施例中，所述通过移动端设备采集装载完成的派件货框图片，并加载派件货框超载识别模型进行识别，得到超载识别结果呈现在移动端设备上，对派件行为进行放行，包括：调用移动端设备的摄像头采集装载完成的派件货框图片；在移动端加载所述部署完成的派件货框超载识别模型，对所述派件货框图片进行识别；输出识别结果，呈现在移动端设备上，所述识别结果分为空载、正常载货和超载；若识别结果为空载和正常载货，则移动端设备上传数据，对此次派件任务进行放行，若识别结果为超载，则锁定本次派件任务，暂时关闭派件订单不予放行，要求快递员进行重新装载，并返回执行调用移动端设备的摄像头采集装载完成的派件货框图片及后续步骤，直至识别结果为空载和正常载货，对此次派件任务进行放行。
[0011]一种派件货框超载识别装置，包括：获取模块，用于获取派件出发前装载好包裹的货框图片，对所述货框图片进行预处理，制作成样本图片数据集，并将所述样本图片数据集划分为训练集和测试集；构建模块，用于基于PyTorch框架构建NanoDet网络，配置主干网络backbone、特征提取neck模块和检测头Head；优化模块，用于对所述NanoDet网络进行优化，将图片的输入尺寸从320x320修改为640x640，去掉padding步骤，得到优化后的NanoDet网络；部署模块，用于将所述训练集和测试集输入到所述优化后的NanoDet网络中进行模型训练，得到派件货框超载识别模型，使用ONNX将PyTorch框架中定义的模型转换为ONNX格式，将其加载到Caffe2中，并将其部署在移动端；识别模块，用于通过移动端设备采集装载完成的派件货框图片，并加载部署在移动端设备上的派件货框超载识别模型进行识别，得到超载识别结果呈现在移动端设备上，对派件行为进行放行。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种派件货框超载识别方法，其特征在于，所述派件货框超载识别的方法包括以下步骤：获取派件出发前装载好包裹的货框图片，对所述货框图片进行预处理，制作成样本图片数据集，并将所述样本图片数据集划分为训练集和测试集；基于PyTorch框架构建NanoDet网络，配置主干网络backbone、特征提取neck模块和检测头Head；对所述NanoDet网络进行优化，将图片的输入尺寸从320x320修改为640x640，去掉padding步骤，得到优化后的NanoDet网络；将所述训练集和测试集输入到所述优化后的NanoDet网络中进行模型训练，得到派件货框超载识别模型，使用ONNX将PyTorch框架中定义的模型转换为ONNX格式，将其加载到Caffe2中，并将其部署在移动端；通过移动端设备采集装载完成的派件货框图片，并加载部署在移动端设备上的派件货框超载识别模型进行识别，得到超载识别结果呈现在移动端设备上，对派件行为进行放行。2.根据权利要求1所述的派件货框超载识别方法，其特征在于，所述获取派件出发前装载好包裹的货框图片，对所述货框图片进行预处理，制作成样本图片数据集，并将所述样本图片数据集划分为训练集和测试集，包括：获取快递营业部、驿站快递员派件之前完成包裹装载的货框图片；将所述货框图片中心像素点设置为坐标系原点，往沿坐标轴的方向外裁剪，裁剪后的图片四个顶点像素坐标为(320，320)、(
‑
320，320)、(
‑
320，
‑
320)、(320，
‑
320)，得到640x640尺寸的预处理图片；使用LabelImg对所述预处理图片进行图像标注，标注为空载、正常载货和超载三种状态，标注完成后将图片存储至对应的目录下，制作成样本图片数据集；将样本图片数据集按照7:3的比例划分为训练集和测试集。3.根据权利要求1所述的派件货框超载识别方法，其特征在于，所述基于PyTorch框架构建NanoDet网络，配置主干网络backbone、特征提取neck模块和检测头Head,包括：配置主干网络backbone采用ShuffleNetV2 1.0x，并删除最后卷积层，抽取8、16和32倍下采样特征作为下层输入；配置特征提取neck模块由优化后的极小PAN构成，只包含自上而下和自下而上两条通路；配置检测头head选取FOOS系列检测头并进行优化，放弃共享权重，使用不同卷积组完成各层特征提取。4.根据权利要求1所述的派件货框超载识别方法，其特征在于，所述对所述NanoDet网络进行优化，将图片的输入尺寸从320x320修改为640x640，去掉padding步骤，得到优化后的NanoDet网络，包括：将所述NanoDet网络的输入图片尺寸参数设置从320x320修改为640x640，经过forward前向计算后会得到80x80，40x40，20x20三种尺度的特征图；取消padding步骤，使用5*5卷积核代替3*3卷积核，使得变大输入图像大小，获取更多信息；优化完成得到优化后的NanoDet网络。
5.根据权利要求1所述的派件货框超载识别方法，其特征在于，所述将所述训练集和测试集输入到所述优化后的NanoDet网络中进行模型训练，得到派件货框超载识别模型，使用ONNX将PyTorch框架中定义的模型转换为ONNX格式，将其加载到Caffe2中，并将其部署在移动端，包括：利用所述训练集的图像对所述优化后的NanoDet网络进行训练，将所述测试集输入到训练后的NanoDet网络中，输出所述测试集的识别结果，得到派件货...

【专利技术属性】
技术研发人员：徐梦佳，李斯，杨周龙，
申请(专利权)人：上海东普信息科技有限公司，
类型：发明
国别省市：