【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于固定点位单目相机的大宗货物体积测量方法。
技术介绍
1、大宗商品仓储监管和体积测量是供应链场景中的重要技术。
2、仓储常规智能视频监管仅限于对人员、车辆等异常目标进行自动检测，近年来，基于图像实例分割技术对货物轮廓识别逐渐投入行业应用，但对货物轮廓的测量并不能准确度量货物总量的大小，基于常规监控对大宗散货体积进行测量的技术实现较少。现有技术通常使用无人机拍多张图像，通过无人机定位轨迹数据点与三维重建位姿估计轨迹点的配准关联计算获得货物点云数据，其原理与双目相机相似，需特殊设备的支持，且运维和操作的成本较高，难以实现全天候的货物监测。此外，现有公开的专利中对于图像和点云中货物区域的提取环节通常靠人为划定兴趣区域，或进行手动处理去掉环境干扰物，处理环节复杂，增加了工作量，人工成本较高。
3、基于此，本申请提出一种基于传统监控摄像头对大宗货物进行全天候体积监测的方法，具有自动化程度高、设备成本低、运维简单、易推广、效率高等特点。
技术实现思路
1、本专利技术的目的在于克服现有技术的缺点，提供了一种基于固定点位单目相机的大宗货物体积测量方法，具体通过以下技术方案来实现：
2、本专利技术提供了一种基于固定点位单目相机的大宗货物体积测量方法，包括以下步骤：
3、通过双目相机拍摄仓库环境图像和货物存储形态图像，作为样本数据集；
4、通过训练和筛选获得轮廓计算模型；
5、通过训练和筛选获
6、通过单目相机获取待测量货物图像；
7、将待测量货物图像输入轮廓计算模型和深度计算模型，获得货物轮廓数据和货物深度信息图；
8、将货物深度信息图与待测量货物图像融合，通过计算获得3d点云数据；
9、根据货物轮廓数据对3d点云数据进行提取，获得货物3d点云数据；
10、根据货物3d点云数据建立货物3d模型；
11、根据货物3d模型计算出货物体积。
12、可选或优选地，获得轮廓计算模型的步骤包括：
13、a、标注样本数据集中的货物轮廓信息，制作出图像实例分割样本数据集，并划分出训练集、测试集、验证集；
14、b、选择实例分割模型，结合上述图像实例分割样本数据集，设置模型相关参数，训练后获得多个备选模型；
15、c、对步骤b中获得的多个备选模型进行筛选，获得轮廓计算模型。
16、可选或优选地，样本数据集包含相机拍摄图像和深度信息；所述样本数据集包括货物堆叠、摆放的多种形态。
17、可选或优选地，所述实例分割模型为mask r-cnn、faster r-cnn或yolact中的一种。
18、可选或优选地，在筛选获得轮廓计算模型时，根据f1值和map指标对备选模型进行筛选。
19、可选或优选地，获得深度计算模型的步骤包括：
20、a、将所述样本数据集和深度训练数据集合并形成新的样本数据集，并按照8:1:1的比例划分训练集、验证集、测试集；
21、b、使用glp depth模型的神经网络结构和上述新的样本数据集，配置包括最大深度、学习率、迭代次数在内的相关参数，训练后得到多个备选模型；
22、c、对步骤b中获得的多个备选模型进行筛选，获得深度计算模型。
23、可选或优选地，所述深度训练数据集为nyu-v2-depth数据集。
24、可选或优选地，在筛选获得深度计算模型时，根据准确率、召回率和f1值指标对备选模型进行对比，将最优的备选模型作为深度计算模型。
25、可选或优选地，在计算3d点云数据时，将货物深度信息图与待测量货物图像融合，得到rgbd深度图像，根据rgbd深度图像的内参数，计算得到对应的3d点云数据。
26、可选或优选地，在建立货物3d模型时，先将3d点云数据按照待测量货物图像的视角投影至二维平面，使用货物轮廓数据提取范围内的点云数据，得到货物3d点云数据；基于上述货物3d点云数据建立3d模型，获得货物3d模型。
27、可选或优选地，在计算货物体积时，包括步骤：
28、a、基于货物3d模型，按照尺寸s进行体素化均匀下采样，将得到的数据投影至水平面，遍历水平面内所有数据点，计算所在3d体素网格垂直方向上所有点的y值的最大值和最小值；其中，s为体素化的参数，表示单位距离；i=1,2,3…n，n代表水平面上点的个数；j=1,2,3…m，m代表水平面上第i个点所在3d体素网格垂直方向上点的个数；y为点的纵坐标，代表点的纵坐标值；
29、b、计算所在体素网格的体积，累加得到整个3d模型的体积v，即：
30、。
31、基于上述技术方案，可产生如下技术效果：
32、本专利技术提供的一种基于固定点位单目相机的大宗货物体积测量方法，适用于有固定点位摄像头的仓储监管场景。本专利技术所需要的设备成本低廉，支持普通摄像头，可直接对接已安装监控设备的仓库，实现普通仓库的智能监管，节省人力物力。相比于无人机飞行测绘，本技术方案运维成本低，无需人工干预，避免了室内无人机作业的局限性和续航问题，可全天候运行。本技术方案可基于深度学习模型自动提取场景中的货物信息，提高了数据处理的的时效性，使整个过程可全自动运行，提高系统的效率。
本文档来自技高网...【技术保护点】
1.一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于，包括：
2.根据权利要求1所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于，获得轮廓计算模型的步骤包括：
3.根据权利要求2所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于：所述样本数据集包含相机拍摄图像和深度信息；所述样本数据集包括货物堆叠、摆放的多种形态。
4. 根据权利要求2所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于：所述实例分割模型为Mask R-CNN、Faster R-CNN或Yolact中的一种。
5.根据权利要求2所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于：在筛选获得轮廓计算模型时，根据F1值和mAP指标对备选模型进行筛选。
6.根据权利要求1所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于，获得深度计算模型的步骤包括：
7.根据权利要求6所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于，所述深度训练数据集为NYU-V2-D
8.根据权利要求6所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于：在筛选获得深度计算模型时，根据准确率、召回率和F1值指标对备选模型进行对比，将最优的备选模型作为深度计算模型。
9.根据权利要求1所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于，在计算3D点云数据时，将货物深度信息图与待测量货物图像融合，得到RGBD深度图像，根据RGBD深度图像的内参数，计算得到对应的3D点云数据。
10.根据权利要求1所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于，在建立货物3D模型时，先将3D点云数据按照待测量货物图像的视角投影至二维平面，使用货物轮廓数据提取范围内的点云数据，得到货物3D点云数据；基于上述货物3D点云数据建立3D模型，获得货物3D模型。
11.根据权利要求1所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于，在计算货物体积时，包括步骤：
...【技术特征摘要】
1.一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于，包括：
2.根据权利要求1所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于，获得轮廓计算模型的步骤包括：
3.根据权利要求2所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于：所述样本数据集包含相机拍摄图像和深度信息；所述样本数据集包括货物堆叠、摆放的多种形态。
4. 根据权利要求2所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于：所述实例分割模型为mask r-cnn、faster r-cnn或yolact中的一种。
5.根据权利要求2所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于：在筛选获得轮廓计算模型时，根据f1值和map指标对备选模型进行筛选。
6.根据权利要求1所述的一种基于固定点位单目相机的大宗货物体积测量方法，其特征在于，获得深度计算模型的步骤包括：
7.根据权利要求6所述的一种基于固定点位单目相机的大宗货物体积测量...
【专利技术属性】
技术研发人员：叶昕，赵培，黄和文，雷丕贵，陆熙，赵志凯，周明佳，吴睿璇，
申请(专利权)人：四川港投云港科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。